Wiki » History » Version 95

Version 94 (Gueguen Mikael, 10/20/2015 05:05 PM) → Version 95/169 (Gueguen Mikael, 10/20/2015 05:08 PM)

h1. Mésocentre SPIN Calcul

h1. Introduction/Les calculateurs

2 machines de calcul de marque _SGI_ sont disponibles pour des usages différents :

* une machine SMP (à mémoire partagée)
* une machine à mémoire distribuée.

Chaque calculateur dispose de PBSpro avec des files et des usages définis spécifiquement. Ils disposent aussi d'outils et librairies de calcul spécifiques performants proposés par le constructeur (@mpt,perfboost,MPInside, blcr@).

h2. assistance

* utiliser l'adresse @hpc@support.univ-poitiers.fr@
* création d'un ticket sur la site : https://forge.univ-poitiers.fr/projects/mesocentre-spin-git/issues/new

h2. PBS

h3. [[introduction]]

h3. création de script de soumission, soumission et suivi

* [[principales directives de PBS]]

* [[commandes PBS]]

* [[ variables définies à la soumission d'un job]]

* [[ files définies ]] pour les calculateurs

* [[ dépendances entre jobs]]

* [[ jobs array]]


h3. codes de retour suite à l'arrêt d'un calcul

* [[codes de retour]]

h3. [[ exemples de scripts ]]


-----------------------------------------------------

h1. Machine de calcul MPI, THOR

p. La machine de calcul Thor est un cluster MPI SGI ICE-X de 2300 coeurs. Il est composé de 115 lames de calcul bi-socket Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz (20 coeurs par lames) avec 32 Go de mémoire par socket soit 3.2 Go par coeurs.

p. Chaque lame est raccordée à un réseau Infiniband hypercube enhanced FDR à 56 Gbit/s. Le stockage des données de calcul est basé sur un système de fichier parallèle Lustre 2.5 via le réseau Infiniband. Il offre une capacité de 56 To pour le répertoire /scratch et de 21 To pour le répertoire /home.

p=. !{width: 20%}IMG_1361.JPG! !{width: 40%}archi_thor.png!

La connexion à la machine se fait à l'adresse @thor.univ-poitiers.fr@ par @ssh@ sur le port 86 :

<pre><code>ssh -p 86 -X homer@thor.univ-poitiers.fr</code></pre>

p. monitoring : http://thor-ganglia.univ-poitiers.fr

h2. Documentations à télécharger

* Fiche pratique Thor : source:sheet/thor/thorsheet.pdf

* Formation utilisateurs : {{dmsf(113)}}

h2. [[librairies MPI]]

h2. [[Compilateurs]]

h2. Codes installés

Les codes installées sont à utilisés avec l'utilitaire module pour le chargement adhoc des variables d'environnement :
<pre>
[homer@thor ~]$ module avail codes

------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
codes/abinit/7.10.1 codes/lammps/2013 codes/saturne/3.2.1 codes/vasp/5.3/kpar codes/wien2k/2014
codes/espresso/5.1.1 codes/openfoam/2.3.1 codes/vasp/5.3/gamma codes/vasp/5.3/noncol codes/zebulon/Z8.6
</pre>

* [[spin_vasp|Code VASP]]
* [[spin_lammps|Code LAMMPS]]
* [[spin_abinit| Abinit]]
* [[spin_espresso| Espresso]]
* [[spin_saturne| Code Saturne]]
* [[spin_abq| abaqus]]
* [[spin_openfoam| foam]]

h2. librairies installés

les librairies dynamiques possèdent généralement un module associé afin de charger correctement l'environnement :
<pre>
[homer@thor ~]$ module avail lib
------------------------------------------------------- /sw/Modules/modulefiles -------------------------------------------------------
lib/boost/1.55 lib/fftw/3.3.4 lib/mumps/4.10.0 lib/parmetis/4.0.3 lib/petsc/3.5.2-opt
lib/cgns/3.1.4 lib/metis/5.1.0 lib/mumps/5.0.0 lib/petsc/3.4.3-opt lib/vtk/5.10.1
</pre>

* [[spin_vtk| VTK]] visualization toolkit
* [[spin_boost| BOOST]] librairie c++
* [[PETSc]] librairie de calcul parallèle
* [[blcr]] utilitaire pour faire du Checkpoint / Restart
* [[perfboost]] utilitaire pour améliorer les performances d'un code MPI non compilé avec la librairie MPT de SGI

h2. Commandes

h3. espace disque et quota

* La partition @/home@ dispose de 500Go de quota en soft et 2To en hard ; la partition @/scratch@ ne possède pas de quota ;
* Connaitre l'espace utilisé sur le systême de fichier LUSTRE et le quota associé au compte : @lfs quota /home ; lfs quota /scratch ; lfs help quota@

<pre>
[homer@thor]$ lfs quota -h /scratch
Disk quotas for user homer (uid WWWW):
Filesystem used quota limit grace files quota limit grace
/scratch 138.3G 0k 0k - 6788 0 0 -
Disk quotas for group springfield (gid ZZZZ):
Filesystem used quota limit grace files quota limit grace
/scratch 7.301T 0k 0k - 446904 0 0 -
[homer@thor]$ lfs quota -h /home
Disk quotas for user homer (uid WWWW):
Filesystem used quota limit grace files quota limit grace
/home 12.11G 500G 2T - 288527 0 0 -
Disk quotas for group springfield (gid ZZZZ):
Filesystem used quota limit grace files quota limit grace
/home 2.294T 0k 0k - 1059718 0 0 -
</pre>

* Connaitre l'espace utilisé sur un répertoire
<pre>
[homer@thor]$ du -sh
376K .
</pre>

h3. commandes propres à *thor*

*ces scripts sont localisés sous /sw/tools/bin. Pour les utiliser ajouter ce chemin au @PATH@ dans votre @.bashrc@*
<pre>
PATH=$PATH:/sw/tools/bin
</pre>

* @qmem@ : permet de tracer l'utilisation mémoire d'un job
* @gload@ : charge machine données par l'outil de monitoring ganglia
<pre>
[homer@thor]$ gload
total cpus available : 2460
total used nodes : 110
total used process : 1969
1mn load on thor : 78.9272357723577 %
idle load on thor : 20.4073170731707 %

</pre>
* @showq, pestat, ustat@ : commandes supplémentaires pbs
*
@pbsn@ : liste les noeuds et leurs états (@down, job-exclusive, free@)
> * connaitre les noeuds libres :
> <pre>
[homer@thor]$ pbsn |grep free
r1i4n11 free 65000000kb 20
r1i4n15 free 65000000kb 20
r1i5n13 free 65000000kb 20
r1i7n9 free 65000000kb 20
</pre>
> * compte le nombre de noeuds utilisés
><pre>
[homer@thor ~]$ pbsn | grep job | wc -l
31
</pre>

-------------------------------------------------

h1. HULK - SGI UV2000 - Machine NUMA

Le calculateur SGI - UV2000 est une machine à architecture NUMA composée de :
* 58 lames de calcul bi-socket avec des processeurs Intel Xeon Sandy Bridge E5-4650 (8 coeurs) et 32 Go de mémoire par lame
* 2 lames de calcul GPGPU Nvidia K20
* 2 lames de calcul avec carte graphique K2000
* un réseau NumaLink6 topologie Hypercube
* un espace de stockage de 19 To utile /data

Soit un total de :
* 928 coeurs logiques (@hyperthreading actif@)
* 1771.84 GB de mémoire total

<pre>
[homer@hulk ~]$ cpumap
Tue Aug 25 13:56:14 CEST 2015
hulk

This is an SGI UV
model name : Intel(R) Xeon(R) CPU E5-4650 0 @ 2.70GHz
Architecture : x86_64
cpu MHz : 2701.000
cache size : 20480 KB (Last Level)

Total Number of Sockets : 58
Total Number of Cores : 464 (8 per socket)
Hyperthreading : ON
Total Number of Physical Processors : 464
Total Number of Logical Processors : 928 (2 per Phys Processor)

UV Information
HUB Version: UVHub 3.0
Number of Hubs: 60
Number of connected Hubs: 58
Number of connected NUMAlink ports: 576

</pre>

p=. !{width: 20%}IMG_1352.JPG! !{width: 40%}archi_hulk.png!

----------------------------------------------------------------------------------------------

h2. [[Connexion à la machine de visualisation]]

h2. [[Soumission interactive sur les GPUS]]

h2. [[Librairies installées]]

h2. [[Codes Installés]]

h2. [[Codes sur GPU]]