Mésocentre SPIN Calcul¶

Machine de calcul MPI, THOR¶

La machine de calcul Thor est un cluster MPI SGI ICE-X de 2300 coeurs. Il est composé de 115 lames de calcul bi-socket Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz (20 coeurs par lames) avec 32 Go de mémoire par socket soit 3.2 Go par coeurs.

Chaque lame est raccordée à un réseau Infiniband hypercube enhanced FDR à 56 Gbit/s. Le stockage des données de calcul est basé sur un système de fichier parallèle Lustre 2.5 via le réseau Infiniband. Il offre une capacité de 56 To pour le répertoire /scratch et de 21 To pour le répertoire /home.

La connexion à la machine se fait à l'adresse thor.univ-poitiers.fr par ssh sur le port 86 :

ssh -p 86 -X homer@thor.univ-poitiers.fr

monitoring : http://thor-ganglia.univ-poitiers.fr

PBS¶

introduction¶

création de script de soumission, soumission et suivi¶

• principales directives de PBS

• commandes PBS

• variables définies à la soumission d'un job

codes de retour suite à l'arrêt d'un calcul¶

• codes de retour

Documentations à télécharger¶

• Fiche pratique Thor : source:sheet/thor/thorsheet.pdf

• Formation utilisateurs : formation utilisateur thor

librairies MPI¶

Codes installés¶

Les codes installées sont à utilisés avec l'utilitaire module pour le chargement adhoc des variables d'environnement :

[homer@thor ~]$ module avail codes

------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
codes/abinit/7.10.1   codes/lammps/2013     codes/saturne/3.2.1   codes/vasp/5.3/kpar   codes/wien2k/2014
codes/espresso/5.1.1  codes/openfoam/2.3.1  codes/vasp/5.3/gamma  codes/vasp/5.3/noncol codes/zebulon/Z8.6

• Code VASP
• Code LAMMPS
• Abinit
• Espresso
• Code Saturne
• abaqus
• foam

librairies installés¶

les librairies dynamiques possèdent généralement un module associé afin de charger correctement l'environnement :

[homer@thor ~]$ module avail lib
------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
lib/boost/1.55      lib/fftw/3.3.4      lib/mumps/4.10.0    lib/parmetis/4.0.3  lib/petsc/3.5.2-opt
lib/cgns/3.1.4      lib/metis/5.1.0     lib/mumps/5.0.0     lib/petsc/3.4.3-opt lib/vtk/5.10.1

• VTK visualization toolkit
• BOOST librairie c++
• PETSc librairie de calcul parallèle
• blcr utilitaire pour faire du Checkpoint / Restart
• perfboost utilitaire pour améliorer les performances d'un code MPI non compilé avec la librairie MPT de SGI

Commandes¶

espace disque et quota¶

• Connaitre l'espace utilisé sur le systême de fichier LUSTRE et le quota associé au compte : lfs quota /home ; lfs quota /scratch ; lfs help quota
  

  [homer@thor]$ lfs quota -h /scratch
  Disk quotas for user homer (uid WWWW):
       Filesystem    used   quota   limit   grace   files   quota   limit   grace
         /scratch  138.3G      0k      0k       -    6788       0       0       -
  Disk quotas for group springfield (gid ZZZZ):
       Filesystem    used   quota   limit   grace   files   quota   limit   grace
         /scratch  7.301T      0k      0k       -  446904       0       0       -
  [homer@thor]$ lfs quota -h /home
  Disk quotas for user homer (uid WWWW):
       Filesystem    used   quota   limit   grace   files   quota   limit   grace
            /home  12.11G      500G      2T       -  288527       0       0       -
  Disk quotas for group springfield (gid ZZZZ):
       Filesystem    used   quota   limit   grace   files   quota   limit   grace
            /home  2.294T      0k      0k       - 1059718       0       0       -
  

• Connaitre l'espace utilisé sur un répertoire
  

  [homer@thor]$ du -sh
  376K    .
  

commandes propres à thor¶

ces scripts sont localisés sous /sw/tools/bin. Pour les utiliser ajouter ce chemin au PATH dans votre .bashrc

PATH=$PATH:/sw/tools/bin

• qmem : permet de tracer l'utilisation mémoire d'un job
• gload : charge machine données par l'outil de monitoring ganglia
  

  [homer@thor]$ gload
          total cpus available  : 2460
          total used nodes      : 110
          total used process    : 1969
          1mn load on thor      : 78.9272357723577 %
          idle load on thor     : 20.4073170731707 %
  
  

• pbsn : liste les noeuds et leurs états (down, job-exclusive, free)
  

  [homer@thor]$ pbsn |grep free
  r1i4n11    free    65000000kb    20
  r1i4n15    free    65000000kb    20
  r1i5n13    free    65000000kb    20
  r1i7n9    free    65000000kb    20