Home


About us
PALM
PALM-4U
Installation
Release notes
Documentation
Getting Help
Gallery
Developers area

Ignore:
Timestamp:
Mar 8, 2011 8:27:49 AM (13 years ago)
Author:
raasch
Message:

New:
---
adjustments for ibmkisti (pres, batch_scp, mbuild, mrun, subjob)

new default configuration files .mrun.config.yonsei2011 and .config_block_for_ibmkisti

Changed:

Errors:

bugfix: weighting coefficient added to ibm branch (pres)

File:
1 edited

Legend:

Unmodified
Added
Removed

  • palm/trunk/SCRIPTS/mrun

    r683 r693  
    219219     # 02/02/10 - Siggi  - further adjustments on Tsubame and concerning openMP
    220220     #                     usage
    221      # 09/02/10 - Siggi  - mpt bugfix for netCDF4 usage
     221     # 09/02/10 - Siggi  - adjustments for ibmkisti, mpt bugfix for netCDF4
     222     #                     usage, totalview usage extended
    222223
    223224
    … …  
    304305 then
    305306   return_addres=133.5.185.60
    306    echo "+++ WARNING: return_addres changed to $return_addres !!!!!"
     307   echo "+++ WARNING: fixed return_addres = $return_addres is used !!!!!"
     308 elif [[ `hostname` = climate0 ]]
     309 then
     310   return_addres=165.132.26.68
     311   echo "+++ WARNING: fixed return_addres = $return_addres is used !!!!!"
    307312 else
    308313    return_addres=$(nslookup `hostname` 2>&1 | grep "Address:" | tail -1 | awk '{print $2}')
    … …  
    670675    do_remote=true
    671676    case  $host  in
    672         (ibm|ibmh|ibmku|ibms|ibmy|nech|necriam|lckyoto|lcsgib|lcsgih|unics|lcxt4|lcxt5m|lck)  true;;
     677        (ibm|ibmh|ibmkisti|ibmku|ibms|ibmy|nech|necriam|lckyoto|lcsgib|lcsgih|unics|lcxt4|lcxt5m|lck)  true;;
    673678        (*)  printf "\n"
    674679             printf "\n  +++ sorry: execution of batch jobs on remote host \"$host\""
    … …  
    834839                   do_remote=true
    835840                   case  $host  in
    836                        (ibm|ibmh|ibmku|ibms|ibmy|lckyoto|lcsgib|lcsgih|nech|necriam|unics|lcxt4|lcxt5m|lck)  true;;
     841                       (ibm|ibmh|ibmkisti|ibmku|ibms|ibmy|lckyoto|lcsgib|lcsgih|nech|necriam|unics|lcxt4|lcxt5m|lck)  true;;
    837842                       (*)  printf "\n  +++ sorry: execution of batch jobs on remote host \"$host\""
    838843                            printf "\n      is not available"
    … …  
    10991104    # GLOBALE REVISIONSNUMMER ERMITTELN (FORTSETZUNGSLAEUFEN WIRD DIESE
    11001105    # DURCH OPTION -G MITGETEILT)
    1101  if [[ "$global_revision" = "" ]]
     1106 if [[ "$global_revision" = ""   &&  $host != "ibmkisti" ]]
    11021107 then
    11031108    global_revision=`svnversion $source_path  2>/dev/null`
    … …  
    11161121    do_remote=true
    11171122    case  $host  in
    1118         (ibm|ibmh|ibmku|ibms|ibmy|lckyoto|lcsgib|lcsgih|nech|necriam|unics|lcxt4|lcxt5m|lck)  true;;
     1123        (ibm|ibmh|ibmkisti|ibmku|ibms|ibmy|lckyoto|lcsgib|lcsgih|nech|necriam|unics|lcxt4|lcxt5m|lck)  true;;
    11191124        (*)  printf "\n"
    11201125             printf "\n  +++ sorry: execution of batch jobs on remote host \"$host\""
    … …  
    11451150       # DEFAULT-WERT SETZEN) UND OB SIE EIN GANZZAHLIGER TEILER DER
    11461151       # GESAMTPROZESSORANZAHL IST
    1147     if [[ $host = nech  ||  $host = necriam  ||  $host = ibmh  ||  $host = ibms ]]
     1152    if [[ $host = nech  ||  $host = necriam  ||  $host = ibmh  ||  $host = ibmkisti  ||  $host = ibms ]]
    11481153    then
    11491154       [[ "$tasks_per_node" = "" ]]  &&  tasks_per_node=6
    … …  
    12581263    case  $host  in
    12591264        (ibmh)       queue=no_class;;
     1265        (ibmkisti)   queue=class.32plus;;
    12601266        (ibmy)       queue=parallel;;
    12611267        (lckyoto)    queue=ph;;
    … …  
    29902996    fi
    29912997
     2998    if [[ "$totalview" = true ]]
     2999    then
     3000       printf "\n *** totalview debugger will be used"
     3001       tv_opt="-tv"
     3002    else
     3003       tv_opt=""
     3004    fi
     3005
    29923006    if [[ "$cond1" = debug  ||  "$cond2" = debug ]]
    29933007    then
    … …  
    30633077             then
    30643078                printf "\n     running totalview debugger"
    3065                 mpiexec_mpt -tv -n $ii   ./a.out  $ROPTS  < runfile_atmos
     3079                mpiexec_mpt $tv_opt -n $ii   ./a.out  $ROPTS  < runfile_atmos
    30663080             else
    30673081                mpiexec_mpt -np $ii   ./a.out  $ROPTS  < runfile_atmos
    … …  
    30753089             then
    30763090                printf "\n     running totalview debugger"
    3077                 mpiexec -tv ./a.out  $ROPTS  < runfile_atmos
     3091                mpiexec $tv_opt ./a.out  $ROPTS  < runfile_atmos
    30783092             else
    30793093                mpiexec    ./a.out  $ROPTS  < runfile_atmos
    … …  
    30973111          then
    30983112                # SETUP THE IBM MPI ENVIRONMENT
    3099              if [[ $host != ibmh ]]
     3113             if [[ $host != ibmh  &&  $host != ibmkisti ]]
    31003114             then
    31013115                export MP_SHARED_MEMORY=yes
    … …  
    31123126                [[ $node_usage = not_shared ]]  &&  export MP_SINGLE_THREAD=yes
    31133127             fi
     3128
     3129             if [[ $host = ibmkisti ]]
     3130             then
     3131                export LANG=en_US
     3132                export MP_SHARED_MEMORY=yes
     3133                export MP_SINGLE_THREAD=yes
     3134                export MEMORY_AFFINITY=MCM
     3135             fi
     3136
    31143137             if [[ "$LOADLBATCH" = yes ]]
    31153138             then
    … …  
    31413164                then
    31423165                   poe  a.out  -procs $numprocs  -nodes 1  -rmpool 0  $ROPTS
    3143                 elif [[ $localhost = ibmku  ||  $localhost = ibmy ]]
     3166                elif [[ $localhost = ibmkisti  ||  $localhost = ibmku  ||  $localhost = ibmy ]]
    31443167                then
    31453168                   if [[ -f $hostfile ]]
    … …  
    33133336                      export MPI_GROUP_MAX=64
    33143337                      echo "*** MPI_GROUP_MAX=$MPI_GROUP_MAX"
    3315                       mpiexec_mpt -np $ii   ./a.out  $ROPTS  < runfile_atmos
     3338                      if [[ $use_openmp = true ]]
     3339                      then
     3340                         echo " mpiexec -npernode $tasks_per_node  ./a.out  $ROPTS  <  runfile_atmos"
     3341                         mpiexec -npernode $tasks_per_node $tv_opt ./a.out  $ROPTS  <  runfile_atmos
     3342                      else
     3343                         mpiexec_mpt -np $ii $tv_opt  ./a.out  $ROPTS  < runfile_atmos
     3344                      fi
    33163345
    33173346                          # next is test for openmp usage
    … …  
    33403369                      then
    33413370                         echo " mpiexec -npernode $tasks_per_node  ./a.out  $ROPTS  <  runfile_atmos"
    3342                          mpiexec -npernode $tasks_per_node ./a.out  $ROPTS  <  runfile_atmos
     3371                         mpiexec -npernode $tasks_per_node $tv_opt ./a.out  $ROPTS  <  runfile_atmos
    33433372                      else
    3344                          mpiexec -np $ii ./a.out  $ROPTS  < runfile_atmos
     3373                         mpiexec -np $ii $tv_opt ./a.out  $ROPTS  < runfile_atmos
    33453374                      fi
    33463375                   fi
    … …  
    42364265          then
    42374266
    4238              if [[ $localhost = lcsgih  ||  $localhost = lcsgib  ||  $localhost = nech  ||  $localhost = ibmh  ||  $localhost = ibmku  ||  $localhost = ibms ]]
     4267             if [[ $localhost = lcsgih  ||  $localhost = lcsgib  ||  $localhost = nech  ||  $localhost = ibmh  ||  $localhost = ibmkisti  ||  $localhost = ibmku  ||  $localhost = ibms ]]
    42394268             then
    42404269                echo "*** ssh will be used to initiate restart-runs!"
    … …  
    42454274                   ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/muksoft/packages/intel/Compiler/11.0/083/lib/intel64/;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
    42464275                else
    4247                    ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
     4276                   if [[ $localhost = ibmkisti ]]
     4277                   then
     4278                      ssh $usern@gaiad "ssh $return_addres -l $return_username \"PATH=\\\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc\" "
     4279                   else
     4280                      ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
     4281                   fi
    42484282                fi
    42494283             else
    … …  
    43334367
    43344368       # MRUN-BEFEHL FUER REMOTE-MASCHINE ZUSAMMENSTELLEN
    4335     mrun_com="$mrun_script_name -a $afname -c $config_file -d $fname -h $host -H $fromhost -m $memory -t $cpumax -q $queue -R $return_addres -U $return_username -u $remote_username"
     4369    mrun_com="$mrun_script_name -a $afname -c $config_file -d $fname -h $host -H $fromhost -m $memory -t $cpumax -q \$queue -R $return_addres -U $return_username -u $remote_username"
    43364370    [[ "$cpp_opts" != "" ]]       &&  mrun_com=${mrun_com}" -D \"$cpp_opts\""
    43374371    [[ "$global_revision" != "" ]]  &&  mrun_com=${mrun_com}" -G \"$global_revision\""
    … …  
    43854419       # BEREITSTELLUNG VON QUELLTEXTEN, MRUN-SCRIPTS UND KONFIGURATIONS-
    43864420       # DATEI FUER DEN JOB
    4387     if [[ $( echo $host | cut -c1-5 ) = lcsgi ]]
     4421    if [[ $( echo $host | cut -c1-5 ) = lcsgi  ||  $host = ibmkisti ]]
    43884422    then
    43894423
    … …  
    43974431
    43984432          # SOURCE-VERZEICHNIS VOM LOKALEN RECHNER PER SCP TRANSFERIEREN
     4433          # (BEI JOBS AUF LOKALEM RECHNER REICHT CP)
    43994434       echo  "set -x"  >>  $jobfile
    4400        echo  "scp  -r  $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname ."  >>  $jobfile
     4435       if [[ $host = $localhost ]]
     4436       then
     4437          echo  "cp  -r  $working_directory/SOURCES_FOR_RUN_$fname ."  >>  $jobfile
     4438       else
     4439          if [[ $host != ibmkisti ]]
     4440          then
     4441             echo  "scp  -r  $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname ."  >>  $jobfile
     4442          else
     4443                # on KISTI's IBM firewall is only opened on interactive node
     4444             echo  "localdir=\`pwd\`"                            >>  $jobfile
     4445             echo  "ssh $remote_username@gaiad \"cd \$localdir; scp  -r  $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname .\" "  >>  $jobfile
     4446          fi
     4447       fi
    44014448       echo  "export SOURCES_COMPLETE=true"                      >>  $jobfile
    44024449
    … …  
    44564503          # ABSPEICHERN DER AKTUELLEN MRUN-VERSION
    44574504          # ABDECKZEICHEN VERHINDERN, DASS ERSETZUNGEN ERFOLGEN
    4458        echo  "cat > $mrun_script_name <<\"%END%\""  >>  $jobfile
    4459        cat   ${PALM_BIN}/$mrun_script_name          >>  $jobfile
    4460        echo  "%END%"                                >>  $jobfile
     4505       echo  "cat > $mrun_script_name <<\"%END%\""    >>  $jobfile
     4506       cat   ${PALM_BIN}/$mrun_script_name            >>  $jobfile
     4507       echo  "%END%"                                  >>  $jobfile
    44614508       echo  "chmod u+x $mrun_script_name"          >>  $jobfile
    44624509       echo  "execute_mrun=true"                    >>  $jobfile
    … …  
    45144561    fi
    45154562
    4516        # MRUN AUF ZIELRECHNER AUFRUFEN
     4563       # MRUN AUF ZIELRECHNER AUFRUFEN (queue is workaround for ibmkisti)
    45174564    echo  "set -x"                                      >>  $jobfile
     4565    echo  "queue=$queue"                                >>  $jobfile
    45184566    echo  "[[ \$execute_mrun = true ]]  &&  ./$mrun_com"  >>  $jobfile
    45194567
Note: See TracChangeset for help on using the changeset viewer.
                                                                                                                                                                                                                                                                                                                                                                               
  | Impressum | ©Leibniz Universität Hannover |