Je ne sais pas quel service utiliser
Merci de lire cet article.
Comment nous citer
Si le travail a bénéficié d'un support purement ISEM fourni par ISI, voici le texte à inclure :
"This work benefited from the ISEM computing facility, at ISI service."
J'arrive à me connecter à MBBWorflow mais je ne peux pas utiliser mes données
MBBWorkflow doit faire l'objet d'une demande dédiée afin que vous ayez un $HOME
visible sur les conteneurs.
Merci de contacter l'équipe MBB pour plus d'informations.
Transferts de données
J'ai transféré des données texte éditées sous Windows
Il faudra les transformer avec l'outil dos2unix
. Vous pouvez vérifier que votre fichier ne contient pas de caratères spéciaux avec cat
:
cat -vt mon_fichier.txt
# si vous voyez des caratères tels que "^M" en fin de ligne, il faudra convertir le fichier.
Hint Pour MacOS, vous avez également le programme
mac2unix
contenu dans la packagedos2unix
qui fera la même chose !
Soucis FileZilla et Fail2ban
Nos serveurs sont équipés du logiciel Fail2ban
pour éviter des tentatives de piratage depuis l'extérieur. Cela peut poser des problèmes au logiciel FileZilla
qui tente de muliplier le nombre de connexions / threads. En effet, votre machine sera vue comme une machine faisant des tentatives d'attaque de type DDoS par nos serveurs.
Afin de contourner le problème, vous pouvez réduire le nombre de threads simultanés à 2 dans FileZilla.
Utiliser R avec SLURM
Exemple de code R (somme.R):
args<-commandArgs(TRUE);
debut = as.numeric(args[1]);
fin = as.numeric(args[2]);
vect = seq(debut, fin);
cat(sum(vect),"\n");
Exemple de script SLURM (submit_somme.sbatch
):
#!/bin/bash
#SBATCH --job-name="R somme"
#### si on ne précise pas de sortie erreur, la sortie
#### standard et la sortie erreur iront dans le même
#### fichier de sortie
#SBATCH -o submit_somme.o
#SBATCH -t 5:0:0 #### 5 heures demandées
version="3.5.3"
module load R/$version
R CMD BATCH --slave "--args $1 $2" somme.R sortie.txt
Info voir comment utiliser module
Lancer avec SLURM pour faire la somme des entiers de 1 à 10 :
sbatch submit_somme.sge 1 10
squeue
# on dort tant qu'on a pas le fichier puis on le lit
until cat sortie.txt; do sleep 3; done
Comment lancer un job en réservant de la mémoire pour son job
# pour réserver 15Go de RAM par ex.
sbatch --mem=15G <my_submit_file.sbatch>
# par coeur (sinon écrasé par valeur par défaut)
sbatch --mem-per-cpu=4G <my_submit_file.sbatch>
Tag En cas de job OpenMP, il peut être utile de rajouter
--exclusive
; à utiliser avec parcimonie ! Pour plus d'informations, voir ici