Ignore:
Timestamp:
Feb 10, 2013 1:47:43 AM (9 years ago)
Author:
raasch
Message:

adjustments for Forwind cluster (lcflow) and Kuyshu University computing center (hayaka -lckyuh); further small adjustments for lckyut

File:
1 edited

Legend:

Unmodified
Added
Removed
  • palm/trunk/SCRIPTS/subjob

    r1096 r1099  
    2323# Current revisions:
    2424# ------------------
    25 #
     25# adjustments for Kyushu-Univeristy computing center (lckyuh - hayaka)
     26# and for Forwind cluster (lcflow)
    2627#
    2728# Former revisions:
     
    3435#
    3536# 2013-02-02 07:06:13Z raasch
    36 # adjustments for Kyushu-University computing center (lckyut)
     37# adjustments for Kyushu-University computing center (lckyut - tatara)
    3738# old changelog messages removed
    3839#
     
    128129     (elephanta)             local_addres=130.75.105.6;   local_host=lcmuk;;
    129130     (fimm.bccs.uib.no)      local_addres=172.20.4.2;     local_host=lcfimm;;
     131     (flow01)                local_addres=10.141.255.71;  local_host=lcflow;;
     132     (flow02)                local_addres=10.141.255.72;  local_host=lcflow;;
    130133     (node*)                 local_addres=165.132.26.61   local_host=lck;;
    131134   #  (node*)                 local_addres=210.219.61.8    local_host=lckordi;;
     
    135138     (gregale)               local_addres=130.75.105.109; local_host=lcmuk;;
    136139     (hababai)               local_addres=130.75.105.108; local_host=lcmuk;;
     140     (hayaka*)               local_addres=133.5.4.33;     local_host=lckyuh;;
    137141     (hexagon.bccs.uib.no)   local_addres=129.177.20.113; local_host=lcxe6;;
    138142     (hd1)                   local_addres=130.75.4.104;   local_host=lcsgih;;
     
    150154     (login*)                local_addres=118.128.66.223; local_host=lckiaps;;
    151155     (maestro)               local_addres=130.75.105.2;   local_host=lcmuk;;
     156     (meller)                local_addres=134.106.74.155; local_host=lcfor;;
    152157     (meteo-login*)          local_addres=193.166.211.144;local_host=lcxt5m;;
    153158     (hexagon*)              local_addres=129.177.20.113; local_host=lcxe6;;
     
    156161     (ostria)                local_addres=130.75.105.106; local_host=lcmuk;;
    157162     (paesano)               local_addres=130.75.105.46;  local_host=lcmuk;;
     163     (pcj*)                  local_addres=172.31.120.1;   local_host=lckyut;;
    158164     (pingui)                local_addres=134.106.74.118; local_host=lcfor;;
    159165     (quanero)               local_addres=130.75.105.107; local_host=lcmuk;;
     
    297303        (ibmy)    queue=parallel; remote_addres=165.132.26.58; submcom=/usr/lpp/LoadL/full/bin/llsubmit;;
    298304        (lcfimm)  remote_addres=172.20.4.2; submcom=/opt/torque/bin/qsub;;
     305        (lcflow)  remote_addres=10.140.1.71; submcom=/cm/shared/apps/sge/6.2u5p2/bin/lx26-amd64/qsub;;
    299306        (lckyoto) remote_addres=133.3.51.11; submcom=/thin/local/bin/qsub;;
    300307        (lcsgib)  queue=smallq; remote_addres=130.73.232.104; submcom=/opt/moab/bin/msub;;
     
    303310        (lckiaps) remote_addres=118.128.66.223; submcom=/cm/shared/apps/pbspro/11.0.2.110766/bin/qsub;;
    304311        (lckordi) remote_addres=210.219.61.8; submcom=/usr/torque/bin/qsub;;
     312        (lckyuh)  remote_addres=133.5.4.33; submcom=/usr/bin/pjsub;;
    305313        (lckyut)  remote_addres=133.5.4.37; submcom=/usr/bin/pjsub;;
    306314        (lcsb)    remote_addres=147.46.30.151; submcom=/usr/torque/bin/qsub;;
     
    349357                     (*)                                     error=true;;
    350358                 esac;;
     359        (lcflow) case  $ndq  in
     360                     (cfd_lom_long.q|cfd_him_long.q|cfd_lom_serl.q|cfd_lom_shrt.q|cfd_him_shrt.q)  error=false;;
     361                     (*)                                     error=true;;
     362                 esac;;
    351363        (lckiaps) case  $ndq  in
    352364                     (express|normal)                        error=false;;
     
    355367        (lckyoto) case  $ndq  in
    356368                     (eh|ph)                                 error=false;;
     369                     (*)                                     error=true;;
     370                 esac;;
     371        (lckyuh) case  $ndq  in
     372                     (fx-dbg|fx-single|fx-small|fx-middle|fx-large)  error=false;;
    357373                     (*)                                     error=true;;
    358374                 esac;;
     
    753769    fi
    754770
     771 elif [[ $remote_host = lcflow ]]
     772 then
     773    if [ $memory -gt 1900 ]; then
     774      use_himem=""
     775    else
     776      use_himem="#"
     777    fi
     778    if [[ $numprocs != 0 ]]
     779    then
     780      pe_set="#$ -pe impi $numprocs"
     781    else
     782      pe_set="#$ -pe impi 1"
     783    fi
     784    if [[ $queue = default ]]
     785    then
     786      queue_set=""
     787    else
     788      queue_set="#$ -q $queue"
     789    fi
     790    [[ "$disc_space" = "" ]]  &&  disc_space=50
     791
     792       cat > $job_to_send << %%END%%
     793#!/bin/bash
     794#$ -S /bin/bash
     795#$ -N $job_name
     796#$ -cwd
     797#$ -l h_rt=$timestring
     798#$ -l h_vmem=${memory}M
     799#$ -o $remote_dayfile
     800#$ -j y
     801$pe_set
     802#$ -R y
     803${use_himem}#$ -l highmem=true
     804#$ -l h_fsize=${disc_space}G
     805$queue_set
     806
     807%%END%%
     808
    755809 elif [[ $remote_host = lck || $remote_host = lckordi || $remote_host = lcsb ]]
    756810 then
     
    10291083    fi
    10301084
    1031  elif [[ $remote_host = lckyut ]]
     1085 elif [[ $remote_host = lckyuh ]]
    10321086 then
    10331087    cat > $job_to_send << %%END%%
    10341088#!/bin/bash
     1089#PJM -L "rscgrp=$queue"
     1090#PJM -L "node=$nodes"
     1091#PJM --mpi "proc=$numprocs"
     1092#PJM -L "elapse=$timestring"
     1093#PJM -o $remote_dayfile
     1094#PJM -j
     1095#PJM -X
     1096#PJM --no-stging
     1097
     1098export LANG=en_US.UTF-8
     1099%%END%%
     1100
     1101 elif [[ $remote_host = lckyut ]]
     1102 then
     1103    cat > $job_to_send << %%END%%
     1104#!/bin/bash
     1105#PJM -L "rscgrp=$queue"
    10351106#PJM -L "vnode=$numprocs"
    10361107#PJM -L "vnode-core=1"
    1037 #PJM -L "rscgrp=$queue"
    1038 #PJM --no-stging
    10391108#PJM -L "elapse=$timestring"
    10401109#PJM --mpi proc=$numprocs
    10411110#PJM -o $remote_dayfile
    10421111#PJM -j
     1112#PJM -X
     1113#PJM --no-stging
    10431114
    10441115export LANG=en_US.UTF-8
     
    11621233    echo "trap '"                               >>  $job_to_send
    11631234    echo "set +vx"                              >>  $job_to_send
    1164     if [[ $(echo $remote_host | cut -c1-3) = ibm  ||  $(echo $remote_host | cut -c1-5) = lcsgi  ||  $(echo $remote_host | cut -c1-3) = nec  ||  $remote_host = lckiaps  ||  $remote_host = lckyut ]]
     1235    if [[ $(echo $remote_host | cut -c1-3) = ibm  ||  $(echo $remote_host | cut -c1-5) = lcsgi  ||  $(echo $remote_host | cut -c1-3) = nec  ||  $remote_host = lcflow  ||  $remote_host = lckiaps  ||  $remote_host = lckyu* ]]
    11651236    then
    11661237       if [[ $remote_host = ibmh ]]
     
    11881259       then
    11891260          return_queue=express
     1261       elif [[ $remote_host = lckyuh ]]
     1262       then
     1263          return_queue=cx-single
    11901264       elif [[ $remote_host = lckyut ]]
    11911265       then
     
    12551329          echo "%%END%%"                           >>  $job_to_send
    12561330
     1331       elif [[ $remote_host = lckyuh ]]
     1332       then
     1333          echo "cat > scpjob.$kennung << %%END%%"  >>  $job_to_send
     1334          echo "#!/bin/bash"                       >>  $job_to_send
     1335          echo "#PJM -L \"node=1\""                >>  $job_to_send
     1336          echo "#PJM -L \"rscgrp=$return_queue\""  >>  $job_to_send
     1337          echo "#PJM --no-stging"                  >>  $job_to_send
     1338          echo "#PJM -L \"elapse=30:00\""          >>  $job_to_send
     1339          echo "#PJM -o \$HOME/job_queue/last_job_transfer_protocol"  >>  $job_to_send
     1340          echo "#PJM -j"                           >>  $job_to_send
     1341          echo " "                                 >>  $job_to_send
     1342          echo "export LANG=en_US.UTF-8"           >>  $job_to_send
     1343          echo "set -x"                            >>  $job_to_send
     1344          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1345          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
     1346          echo "%%END%%"                           >>  $job_to_send
     1347
    12571348       elif [[ $remote_host = lckyut ]]
    12581349       then
     
    12881379          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12891380          echo "%%END%%"                           >>  $job_to_send
     1381
     1382       elif [[ $remote_host = lcflow ]]
     1383       then
     1384          echo "cat > scpjob.${kennung}.tmp << %%END%%"                  >>  $job_to_send
     1385          echo "#!/bin/bash"                                             >>  $job_to_send
     1386          echo "SGEPREFIX -S /bin/bash"                                  >>  $job_to_send
     1387          echo "SGEPREFIX -N transfer_$job_name"                         >>  $job_to_send
     1388          echo "SGEPREFIX -cwd"                                          >>  $job_to_send
     1389          echo "SGEPREFIX -l h_rt=01:00:00"                              >>  $job_to_send
     1390          echo "SGEPREFIX -l h_vmem=100M"                                >>  $job_to_send
     1391          echo "SGEPREFIX -j y"                                          >>  $job_to_send
     1392          echo "SGEPREFIX -o ${local_host}_${job_name}_scpjob_$kennung"  >>  $job_to_send
     1393          echo " "                                                       >>  $job_to_send
     1394          echo "set -x"                                                  >>  $job_to_send
     1395          echo "export PALM_BIN=$PALM_BIN" | sed -e 's:'$HOME':$HOME:'   >>  $job_to_send
     1396          echo "export PATH=\$PATH:\$PALM_BIN"                           >>  $job_to_send
     1397          echo ""                                 >>  $job_to_send         
     1398          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  ${job_catalog}/$remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1399          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
     1400          echo "rm -f scpjob.${kennung}"                                 >>  $job_to_send         
     1401          echo "%%END%%"                                                 >>  $job_to_send
     1402          echo "sed -e 's/SGEPREFIX/#$/g' scpjob.${kennung}.tmp > scpjob.${kennung}" >>  $job_to_send         
     1403          echo "rm -f scpjob.${kennung}.tmp"                             >>  $job_to_send         
    12901404
    12911405       else
     
    13341448          echo "ssh $SSH_PORTOPT ${remote_username}@${remote_addres}  \"$submcom ${job_catalog}/scpjob.$kennung\" "  >>  $job_to_send
    13351449          echo "rm  ${job_catalog}/scpjob.$kennung"          >>  $job_to_send
    1336        elif [[ $remote_host = lckyut ]]
     1450       elif [[ $remote_host = lckyu* ]]
    13371451       then
    13381452          echo "scp $PORTOPT scpjob.$kennung  ${remote_username}@${remote_addres}:job_queue"           >>  $job_to_send
    13391453          echo "ssh $SSH_PORTOPT ${remote_username}@${remote_addres}  \"cd job_queue; $submcom scpjob.$kennung; rm scpjob.$kennung\" "  >>  $job_to_send
     1454       elif [[ $remote_host = lcflow ]]
     1455       then
     1456          echo "mv  scpjob.$kennung  $job_catalog"           >>  $job_to_send
     1457          echo "ssh ${remote_username}@${remote_addres}  \"$init_cmds $module_calls cd $job_catalog; $submcom scpjob.$kennung\" "  >>  $job_to_send
    13401458       else
    13411459          echo "$submcom  scpjob.$kennung"      >>  $job_to_send
     
    13701488
    13711489    # remove job file
    1372  if [[ $remote_host = lctit  ||  $remote_host = ibmku ]]
     1490 if [[ $remote_host = lctit  ||  $remote_host = ibmku  ||  $remote_host = lcflow ]]
    13731491 then
    13741492    echo " "                               >>  $job_to_send
     
    14401558       then
    14411559          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost"
     1560       elif [[ $remote_host = lcflow ]]
     1561       then
     1562          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "$init_cmds $module_calls cd $job_catalog; $submcom $job_on_remhost"
    14421563       else
    14431564          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost; rm $job_on_remhost"
     
    14501571       then
    14511572          eval  $submcom  $job_on_remhost
    1452        elif [[  $local_host = lcfimm  ||  $local_host = lctit  ||  $localhost = lcxe6  ||  $localhost = lck  || $localhost = lckordi ||  $localhost = lcyon || $localhost = lcsb  ||  $localhost = lckyut ]]
     1573       elif [[  $local_host = lcfimm  ||  $local_host = lctit  ||  $localhost = lcxe6  ||  $localhost = lck  || $localhost = lckordi ||  $localhost = lcyon || $localhost = lcsb  ||  $localhost = lckyu* ]]
    14531574       then
    14541575          chmod  u+x  $job_on_remhost
     
    14691590          # Jobfile must not be deleted on lctit/ibmku!! This will be done
    14701591          # only at the end of the job.
    1471        if [[ $local_host != lctit  &&  $local_host != ibmku ]]
     1592       if [[ $local_host != lctit  &&  $local_host != ibmku  &&  $local_host != lcflow ]]
    14721593       then
    14731594          rm  $job_on_remhost
     
    14831604 if [[ $no_submit = false ]]
    14841605 then
    1485     rm  $job_to_send
     1606    rm  -f $job_to_send
    14861607 fi
    14871608 [[ $verify = true ]]  &&  printf "\n\n *** SUBJOB finished \n\n"
Note: See TracChangeset for help on using the changeset viewer.