Wiki » History » Version 55

« Previous - Version 55/169 (diff) - Next » - Current version
Gueguen Mikael, 05/22/2015 04:38 PM


Mésocentre SPIN Calcul

Machine de calcul MPI, THOR

La machine de calcul Thor est un cluster MPI SGI ICE-X de 2300 coeurs. Il est composé de 115 lames de calcul bi-socket Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz (20 coeurs par lames) avec 32 Go de mémoire par socket soit 3.2 Go par coeurs.

Chaque lame est raccordée à un réseau Infiniband hypercube enhanced FDR à 56 Gbit/s. Le stockage des données de calcul est basé sur un système de fichier parallèle Lustre 2.5 via le réseau Infiniband. Il offre une capacité de 56 To pour le répertoire /scratch et de 21 To pour le répertoire /home.

architecture

La connexion à la machine se fait à l'adresse thor.univ-poitiers.fr par ssh sur le port 86 :

ssh -p 86 -X homer@thor.univ-poitiers.fr

monitoring : http://thor-ganglia.univ-poitiers.fr

PBS

introduction

création de script de soumission, soumission et suivi

codes de retour suite à l'arrêt d'un calcul

Documentations à télécharger

librairies MPI

Codes installés

librairies installés

  • VTK vizualisation toolkit
  • BOOST librairie c++
  • PETSc librairie de calcul parallèle
  • blcr utilitaire pour faire du Checkpoint / Restart
  • perfboost utilitaire pour améliorer les performances d'un code MPI non compilé avec la librairie MPT de SGI

Commandes

espace disque et quota

  • Connaitre l'espace utilisé sur le systême de fichier LUSTRE et le quota associé au compte : lfs quota /home ; lfs quota /scratch ; lfs help quota
    [homer@thor]$ lfs quota -h /scratch
    Disk quotas for user homer (uid WWWW):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
           /scratch  138.3G      0k      0k       -    6788       0       0       -
    Disk quotas for group springfield (gid ZZZZ):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
           /scratch  7.301T      0k      0k       -  446904       0       0       -
    [homer@thor]$ lfs quota -h /home
    Disk quotas for user homer (uid WWWW):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
              /home  12.11G      500G      2T       -  288527       0       0       -
    Disk quotas for group springfield (gid ZZZZ):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
              /home  2.294T      0k      0k       - 1059718       0       0       -
    
  • Connaitre l'espace utilisé sur un répertoire
    [homer@thor]$ du -sh
    376K    .
    

commandes propres à thor

ces scripts sont localisés sous /sw/tools/bin. Pour les utiliser ajouter ce chemin au PATH dans votre .bashrc

PATH=$PATH:/sw/tools/bin

  • qmem : permet de tracer l'utilisation mémoire d'un job
  • gload : charge machine données par l'outil de monitoring ganglia
    [homer@thor]$ gload
            total cpus available  : 2460
            total used nodes      : 110
            total used process    : 1969
            1mn load on thor      : 78.9272357723577 %
            idle load on thor     : 20.4073170731707 %
    
    
  • pbsn : liste les noeuds et leurs états (down, job-exclusive, free)
    [homer@thor]$ pbsn |grep free
    r1i4n11    free    65000000kb    20
    r1i4n15    free    65000000kb    20
    r1i5n13    free    65000000kb    20
    r1i7n9    free    65000000kb    20
    

archi_thor.png - architecture (356 KB) Gueguen Mikael, 05/22/2015 03:27 PM

thor.jpg (519 KB) Gueguen Mikael, 05/22/2015 03:28 PM

IMG_1361.JPG - vue thor (103 KB) Gueguen Mikael, 09/01/2015 11:17 AM

initiation_linux_15-03-2021.pdf (4.61 MB) Laplaceta Pierre Francois, 03/15/2021 04:39 PM