Changeset 164 for palm/trunk/SCRIPTS


Ignore:
Timestamp:
May 15, 2008 8:46:15 AM (16 years ago)
Author:
raasch
Message:

optimization of transpositions for 2D decompositions, workaround for using -env option with mpiexec, adjustments for lcxt4

Location:
palm/trunk/SCRIPTS
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • palm/trunk/SCRIPTS/mrun

    r149 r164  
    140140     #                     true, mrun tries "ln -f" on local output and resorts
    141141     #                     to "cp" or "cp -r" on error
     142     # 15/04/08 - Siggi  - argument -c introduced to most of the subjob calls,
     143     #                     which allows the user to choose his own job catalog
     144     #                     by setting job_catalog in the configuration file
     145     #                     (default is ~/job_queue),
     146     #                     workaround for mpixec with -env option,
     147     #                     adjustments for lcxt4 (Bergen Center for Computational
     148     #                     Science)
    142149 
    143150    # VARIABLENVEREINBARUNGEN + DEFAULTWERTE
     
    183190 input_list=""
    184191 interpreted_config_file=""
     192 job_catalog="~/job_queue"
    185193 job_on_file=""
    186194 keep_data_from_previous_run=false
     
    18171825 lopts="$lopts $netcdf_lib $dvrp_lib"
    18181826 ROPTS="$ropts"
    1819  if [[ ( $(echo $host | cut -c1-3) = nec  ||  $(echo $host | cut -c1-3) = ibm  ||  $host = lctit  ||  $host = lcfimm )  &&  -n $numprocs ]]
     1827 if [[ ( $(echo $host | cut -c1-3) = nec  ||  $(echo $host | cut -c1-3) = ibm  ||  $host = lctit  ||  $host = lcfimm  ||  $host = lcxt4 )  &&  -n $numprocs ]]
    18201828 then
    18211829    XOPT="-X $numprocs"
     
    27682776             then
    27692777                printf "\n\n"
    2770                 mpiexec  -machinefile hostfile  -n $ii  a.out  $ROPTS
     2778                if [[ $host = lcxt4 ]]
     2779                then
     2780                   aprun  -n $ii  -N $tasks_per_node  a.out  $ROPTS
     2781                else
     2782                   mpiexec  -machinefile hostfile  -n $ii  a.out  $ROPTS
     2783                fi
    27712784             else
    27722785                ((  iii = ii / 2 ))
     2786                echo "atmosphere_to_ocean"  >  runfile_atmos
     2787                echo "ocean_to_atmosphere"  >  runfile_ocean
     2788
    27732789                printf "\n      coupled run ($iii atmosphere, $iii ocean)"
    27742790                printf "\n\n"
    2775                 mpiexec  -machinefile hostfile  -n $iii  -env coupling_mode atmosphere_to_ocean  a.out  $ROPTS  &
    2776                 mpiexec  -machinefile hostfile  -n $iii  -env coupling_mode ocean_to_atmosphere  a.out  $ROPTS  &
     2791
     2792                if [[ $host == lcxt4 ]]
     2793                then
     2794                   aprun  -n $iii  -N $tasks_per_node  a.out < runfile_atmos  $ROPTS  &
     2795                   aprun  -n $iii  -N $tasks_per_node  a.out < runfile_ocean  $ROPTS  &
     2796                else
     2797
     2798                      # WORKAROUND BECAUSE mpiexec WITH -env option IS NOT AVAILABLE ON SOME SYSTEMS
     2799                   mpiexec  -machinefile hostfile  -n $iii  a.out  $ROPTS  <  runfile_atmos &
     2800                   mpiexec  -machinefile hostfile  -n $iii  a.out  $ROPTS  <  runfile_ocean &
     2801#                   mpiexec  -machinefile hostfile  -n $iii  -env coupling_mode atmosphere_to_ocean  a.out  $ROPTS  &
     2802#                   mpiexec  -machinefile hostfile  -n $iii  -env coupling_mode ocean_to_atmosphere  a.out  $ROPTS  &
     2803                fi
    27772804                wait
    27782805             fi
     
    29702997                      if [[ "$LOGNAME" = b323013 ]]
    29712998                      then
    2972                          subjob  -v  -q c1  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     2999                         subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
    29733000                      else
    2974                          subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     3001                         subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
    29753002                      fi
    29763003                   fi
     
    30453072                      if [[ $LOGNAME = b323013 ]]
    30463073                      then
    3047                          subjob  -v  -q c1  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     3074                         subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
    30483075                      else
    3049                          subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     3076                         subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
    30503077                      fi
    30513078                   fi
     
    32323259                   if [[ $localhost = ibmh  ||  $localhost = ibmb ]]
    32333260                   then
    3234 #                      subjob  -d  -v  -q cdata  -X 0  -m 1000  -t 43200  archive_${frelout[$i]}
    3235                       subjob   -v  -q cdata  -X 0  -m 1000  -t 43200  archive_${frelout[$i]}
     3261#                      subjob  -d  -v  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  archive_${frelout[$i]}
     3262                      subjob   -v  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  archive_${frelout[$i]}
    32363263                   elif [[ $localhost = nech ]]
    32373264                   then
     
    33573384                fi
    33583385
    3359                 subjob  -v  -d  -q cdata  -X 0  -m 1000  -t 43200  archive_${frelout[$i]}
     3386                subjob  -v  -d  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  archive_${frelout[$i]}
    33603387                printf "              Archiving of $tmp_data_catalog/${frelout[$i]} initiated (batch job submitted)\n"
    33613388                file_saved=true
     
    38003827    fi
    38013828
    3802     subjob  $job_on_file  -h $host  -u $remote_username -g $group_number -q $queue  -m $memory  -N $node_usage -t $cpumax  $XOPT  $TOPT  $OOPT  -n $fname  -v  $jobfile
     3829    subjob  $job_on_file  -h $host  -u $remote_username -g $group_number -q $queue  -m $memory  -N $node_usage -t $cpumax  $XOPT  $TOPT  $OOPT  -n $fname  -v  -c $job_catalog $jobfile
    38033830    rm -rf  $jobfile
    38043831
  • palm/trunk/SCRIPTS/subjob

    r129 r164  
    9090     # 19/10/07 - Siggi - a ";" was missing in the last change done by Marcus
    9191     # 30/10/07 - Marcus- further adjustments for queues on lctit
     92     # 15/05/08 - Siggi - adjustments for lcxt4 (Bergen Center for Computational
     93     #                    Science)
    9294
    9395
     
    167169     (gregale)               local_addres=130.75.105.109; local_host=lcmuk;;
    168170     (hababai)               local_addres=130.75.105.108; local_host=lcmuk;;
     171     (hexagon.bccs.uib.no)   local_addres=129.177.20.113; local_host=lcxt4;;
    169172     (hreg*-en0|hanni*-en0)  local_addres=130.75.4.10;    local_host=ibmh;;
    170173     (irifi)                 local_addres=130.75.105.104; local_host=lcmuk;;
    171174     (levanto)               local_addres=130.75.105.45;  local_host=lcmuk;;
    172175     (maestro)               local_addres=130.75.105.2;   local_host=lcmuk;;
     176     (nid*)                  local_addres=129.177.20.113; local_host=lcxt4;;
    173177     (nobel*)                local_addres=150.183.5.101;  local_host=ibms;;
    174178     (orkan)                 local_addres=130.75.105.3;   local_host=lcmuk;;
     
    303307        (lcfimm) remote_addres=172.20.4.2; submcom=/opt/torque/bin/qsub;;
    304308        (lctit)  queue=lctit; remote_addres=172.17.75.161; submcom=/n1ge/TITECH_GRID/tools/bin/n1ge;;
     309        (lcxt4)  remote_addres=129.177.20.113; submcom=/opt/torque/2.3.0/bin/qsub;;
    305310        (nech)   qsubmem=memsz_job; qsubtime=cputim_job; remote_addres=136.172.44.147; submcom="/usr/local/bin/qsub";;
    306311        (neck)   qsubmem=memsz_job; qsubtime=cputim_job; remote_addres=133.5.178.11; submcom="/usr/bin/nqsII/qsub";;
     
    639644%%END%%
    640645
     646 elif [[ $remote_host = lcxt4 ]]
     647 then
     648
     649    if [[ $numprocs != 0 ]]
     650    then
     651       cat > $job_to_send << %%END%%
     652#!/bin/ksh
     653#PBS -S /bin/ksh
     654#PBS -N $job_name
     655#PBS -A nersc
     656#PBS -l walltime=$timestring
     657#PBS -l mppwidth=${numprocs}
     658#PBS -l mppnppn=${tasks_per_node}
     659#PBS -m abe
     660#PBS -M igore@nersc.no
     661#PBS -o $remote_dayfile
     662#PBS -e $remote_dayfile
     663
     664%%END%%
     665
    641666    else
    642667       cat > $job_to_send << %%END%%
     
    10221047       then
    10231048          eval  $submcom  $job_on_remhost
    1024        elif [[ $local_host = lcfimm ]]
    1025        then
    1026           eval  $submcom  $job_on_remhost
    1027           echo "$submcom  $job_on_remhost"
    1028           chmod  u+x  $job_on_remhost
    1029        elif [[ $local_host = lctit ]]
     1049       elif [[  $local_host = lcfimm  ||  $local_host = lctit  ||  $localhost = lcxt4 ]]
    10301050       then
    10311051          eval  $submcom  $job_on_remhost
Note: See TracChangeset for help on using the changeset viewer.