Tests Ada

Tests sur ada la nouvelle machine de l'Idris

Série de simulations de 5 ans AMIP, ancienne/nouvelle physique sur ada, la nouvelle machine de l'Idris.

Le but est essentiellement de trouver les bonnes options de compilations à utiliser, puis de les tester sur un petit run, et de valider le comportement de la machine.

On utilise libIGCM et donc makelmdz_fcm

avec dans le arch.fcm, (en gros seule la ligne %PROD_FFLAGS va changer d'une

%COMPILER            mpiifort
%LINK                mpiifort
%AR                  ar
%MAKE                gmake
%FPP_FLAGS           -P -traditional
%FPP_DEF             NC_DOUBLE BLAS SGEMV=DGEMV SGEMM=DGEMM FFT_FFTW
%BASE_FFLAGS         -integer-size 32 -real-size 64 -align all
%DEV_FFLAGS          -p -g -O1 -fpe0 -traceback
%DEBUG_FFLAGS        -p -g -O0 -no-ftz -traceback -ftrapuv -fp-stack-check -check -fpe0
%MPI_FFLAGS
%OMP_FFLAGS          -openmp
%BASE_LD             -shared-intel -mcmodel=large -lmkl_intel_lp64 -lmkl_sequential -lmkl_core -lpthread -L/smplocal/pub/FFTW/3.3.3/lib -lfftw3
%MPI_LD
%OMP_LD              -openmp

Liste des simulations:

Toutes les simulations ont tourné en MPI sur 32 processseurs

AMIPADA01

• ancienne physique
• options de compilation utilisée:

%PROD_FFLAGS         -O3 -ip

• la simulation a tourné sans FFT

use_filtre_fft=n

dans run.def

• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA02

• ancienne physique
• options de compilation utilisée:

%PROD_FFLAGS         -O3 -ip -fp-model precise -axAVX,SSE4.2

• la simulation a tourné sans FFT

La simulation tourne mais les fichiers histoire sont remplis de Nan, certains champs ont l'air bon ....

AMIPADA03

• même que AMIPADA01
• nouvelle physique

• la simulation a tourné sans FFT

• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA04

• même que AMIPADA02
• nouvelle physique

• la simulation a tourné sans FFT

La simulation tourne mais les fichiers histoire sont remplis de Nan, certains champs ont l'air bon ....

AMIPADA10

• ancienne physique
• compilation en mode debug
• options de compilation utilisée:

%%DEBUG_FFLAGS        -p -g -O0 -fpe-all=0 -traceback -ftrapuv -fp-stack-check -check all -debug -fp-model strict

• simulation sans FFT

La simulation plante sur

ERROR: 0031-250  task 16: Floating point exception

sans traceback (???)

AMIPADA11

• ancienne physique

• compilation en mode dev
• options de compilation utilisée:

%DEV_FFLAGS          -p -g -O1 -fpe0 -traceback

• simulation sans FFT

La simulation plante sur

ERROR: 0031-250  task 6: Floating point exception
forrtl: error (78): process killed (SIGTERM)
Image              PC                Routine            Line        Source     
      
libpthread.so.0    00002B9F9152C245  Unknown               Unknown  Unknown
libpoe.so          00002B9F961E5B22  Unknown               Unknown  Unknown
libpthread.so.0    00002B9F915247F1  Unknown               Unknown  Unknown
libc.so.6          00002B9F94AEA70D  Unknown               Unknown  Unknown
forrtl: error (78): process killed (SIGTERM)
...

AMIPADA12

• ancienne physique
• options de compilation utilisée:

%PROD_FFLAGS         -O2 -ip -fp-model strict -axAVX,SSE4.2

• la simulation tourne sans FFT
• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA13

• ancienne physique
• options de compilation utilisée:

%PROD_FFLAGS         -O3 -ip -fp-model strict -axAVX,SSE4.2

• la simulation tourne sans FFT

• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA14

• nouvelle physique

• AMIPADA12 sans FFT
• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA15

• ancienne physique

• AMIPADA12 avec FFTW
• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

AMIPADA16

• ancienne physique

• AMIPADA12 avec FFT_mkl, problèmes de compilation, ne trouve pas les modules mkl
  
• temps d'exécution par mois:

• L'atlas des 5 ans de la simulation

Conclusions préliminaires 

• Utiliser l' option

-fp-model strict

en utilisant l'option -fp-model precise, le modèle semble tourner mais produit des résultats difficilement compréhensibles (NaN sur la plupart des champs)

• l'option

-axAVX,SSE4.2

ne semble rien apporter pour l'instant (AMIPADA01 prend moins de temps que AMIPADA12, peut-être l'effet du fp-model, à tester ...)

• pas de grosses différences constatées entre les optimisations -O2 et -O3