Wiki » History » Version 84

« Previous - Version 84/169 (diff) - Next » - Current version
Gueguen Mikael, 10/20/2015 11:23 AM


Mésocentre SPIN Calcul

Introduction/Les calculateurs

2 machines de calcul sont disponibles pour des usages différents :

  • une machine SMP (à mémoire partagée)
  • une machine à mémoire distribuée.

Chaque calculateur dispose de PBSpro avec des files et des usages définis spécifiquement.

PBS

introduction

création de script de soumission, soumission et suivi

codes de retour suite à l'arrêt d'un calcul


Machine de calcul MPI, THOR

La machine de calcul Thor est un cluster MPI SGI ICE-X de 2300 coeurs. Il est composé de 115 lames de calcul bi-socket Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz (20 coeurs par lames) avec 32 Go de mémoire par socket soit 3.2 Go par coeurs.

Chaque lame est raccordée à un réseau Infiniband hypercube enhanced FDR à 56 Gbit/s. Le stockage des données de calcul est basé sur un système de fichier parallèle Lustre 2.5 via le réseau Infiniband. Il offre une capacité de 56 To pour le répertoire /scratch et de 21 To pour le répertoire /home.

vue thor architecture

La connexion à la machine se fait à l'adresse thor.univ-poitiers.fr par ssh sur le port 86 :

ssh -p 86 -X homer@thor.univ-poitiers.fr

monitoring : http://thor-ganglia.univ-poitiers.fr

Documentations à télécharger

librairies MPI

Compilateurs

Codes installés

Les codes installées sont à utilisés avec l'utilitaire module pour le chargement adhoc des variables d'environnement :

[homer@thor ~]$ module avail codes

------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
codes/abinit/7.10.1   codes/lammps/2013     codes/saturne/3.2.1   codes/vasp/5.3/kpar   codes/wien2k/2014
codes/espresso/5.1.1  codes/openfoam/2.3.1  codes/vasp/5.3/gamma  codes/vasp/5.3/noncol codes/zebulon/Z8.6

librairies installés

les librairies dynamiques possèdent généralement un module associé afin de charger correctement l'environnement :

[homer@thor ~]$ module avail lib
------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
lib/boost/1.55      lib/fftw/3.3.4      lib/mumps/4.10.0    lib/parmetis/4.0.3  lib/petsc/3.5.2-opt
lib/cgns/3.1.4      lib/metis/5.1.0     lib/mumps/5.0.0     lib/petsc/3.4.3-opt lib/vtk/5.10.1

  • VTK visualization toolkit
  • BOOST librairie c++
  • PETSc librairie de calcul parallèle
  • blcr utilitaire pour faire du Checkpoint / Restart
  • perfboost utilitaire pour améliorer les performances d'un code MPI non compilé avec la librairie MPT de SGI

Commandes

espace disque et quota

  • Connaitre l'espace utilisé sur le systême de fichier LUSTRE et le quota associé au compte : lfs quota /home ; lfs quota /scratch ; lfs help quota
    [homer@thor]$ lfs quota -h /scratch
    Disk quotas for user homer (uid WWWW):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
           /scratch  138.3G      0k      0k       -    6788       0       0       -
    Disk quotas for group springfield (gid ZZZZ):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
           /scratch  7.301T      0k      0k       -  446904       0       0       -
    [homer@thor]$ lfs quota -h /home
    Disk quotas for user homer (uid WWWW):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
              /home  12.11G      500G      2T       -  288527       0       0       -
    Disk quotas for group springfield (gid ZZZZ):
         Filesystem    used   quota   limit   grace   files   quota   limit   grace
              /home  2.294T      0k      0k       - 1059718       0       0       -
    
  • Connaitre l'espace utilisé sur un répertoire
    [homer@thor]$ du -sh
    376K    .
    

commandes propres à thor

ces scripts sont localisés sous /sw/tools/bin. Pour les utiliser ajouter ce chemin au PATH dans votre .bashrc

PATH=$PATH:/sw/tools/bin

  • qmem : permet de tracer l'utilisation mémoire d'un job
  • gload : charge machine données par l'outil de monitoring ganglia
    [homer@thor]$ gload
            total cpus available  : 2460
            total used nodes      : 110
            total used process    : 1969
            1mn load on thor      : 78.9272357723577 %
            idle load on thor     : 20.4073170731707 %
    
    
  • pbsn : liste les noeuds et leurs états (down, job-exclusive, free)
  • connaitre les noeuds libres :
    [homer@thor]$ pbsn |grep free
    r1i4n11    free    65000000kb    20
    r1i4n15    free    65000000kb    20
    r1i5n13    free    65000000kb    20
    r1i7n9    free    65000000kb    20
    
  • compte le nombre de noeuds utilisés
    [homer@thor ~]$ pbsn | grep job | wc -l
    31
    

HULK - SGI UV2000 - Machine NUMA

Le calculateur SGI - UV2000 est une machine à architecture NUMA composée de :
  • 58 lames de calcul bi-socket avec des processeurs Intel Xeon Sandy Bridge E5-4650 (8 coeurs) et 32 Go de mémoire par lame
  • 2 lames de calcul GPGPU Nvidia K20
  • 2 lames de calcul avec carte graphique K2000
  • un réseau NumaLink6 topologie Hypercube
  • un espace de stockage de 19 To utile /data
Soit un total de :
  • 928 coeurs logiques (hyperthreading actif)
  • 1771.84 GB de mémoire total
[homer@hulk ~]$ cpumap
Tue Aug 25 13:56:14 CEST 2015
hulk

This is an SGI UV
model name           : Intel(R) Xeon(R) CPU E5-4650 0 @ 2.70GHz
Architecture         : x86_64
cpu MHz              : 2701.000
cache size           : 20480 KB (Last Level)

Total Number of Sockets                 : 58
Total Number of Cores                   : 464    (8 per socket)
Hyperthreading                          : ON
Total Number of Physical Processors     : 464
Total Number of Logical Processors      : 928    (2 per Phys Processor)

UV Information
 HUB Version:                  UVHub  3.0
 Number of Hubs:              60
 Number of connected Hubs:          58
 Number of connected NUMAlink ports:      576


Connexion à la machine de visualisation

Soumission interactive sur les GPUS

Librairies installées

Codes Installés

Codes sur GPU

archi_thor.png - architecture (356 KB) Gueguen Mikael, 05/22/2015 03:27 PM

thor.jpg (519 KB) Gueguen Mikael, 05/22/2015 03:28 PM

IMG_1361.JPG - vue thor (103 KB) Gueguen Mikael, 09/01/2015 11:17 AM

initiation_linux_15-03-2021.pdf (4.61 MB) Laplaceta Pierre Francois, 03/15/2021 04:39 PM