Home


About us
PALM
PALM-4U
Installation
Release notes
Documentation
Getting Help
Gallery
Developers area

Changeset 1094 for palm/trunk/SCRIPTS


Ignore:
Timestamp:
Feb 3, 2013 1:52:12 AM (12 years ago)
Author:
raasch
Message:

scp/ssh port can be set explicitly

Location:
palm/trunk/SCRIPTS
Files:
3 edited

Legend:

Unmodified
Added
Removed

  • palm/trunk/SCRIPTS/batch_scp

    r1091 r1094  
    2222# Current revisions:
    2323# ------------------
    24 #
     24# new option -P for explicit setting of ssh/scp port
    2525#
    2626# Former revisions:
    … …  
    104104
    105105    # SHELLSCRIPT-OPTIONEN EINLESEN
    106  while  getopts  :aAbcCdgmnoqsu:w:  option
     106 while  getopts  :aAbcCdgmnoP:qsu:w:  option
    107107 do
    108108   case  $option  in
    … …  
    117117       (n)   print_local_filename=true;;  # Option ist nicht dokumentiert !
    118118       (o)   overwrite=true;;
     119       (P)   scp_port=$OPTARG;;
    119120       (q)   quote_wait=true;;
    120121       (s)   silent=true;;
    … …  
    243244
    244245
     246    # Set port number option for calls of ssh/scp, subjob and batch_scp scripts
     247 if [[ "$scp_port" != "" ]]
     248 then
     249    PORTOPT="-P $scp_port"
     250    SSH_PORTOPT="-p $scp_port"
     251 fi
     252
     253
    245254    # PRUEFEN, OB LOKALE DATEI/LOKALES VERZEICHNIS VORHANDEN BZW. NICHT VORHANDEN
    246255 if [[ $get = false ]]
    … …  
    300309 if [[ $(echo $local_host | cut -c1-4) = gaia ]]
    301310 then
    302     ssh $local_user@gaiad "ssh $1 -l $remote_user \"cd $3; ls -1; echo '*** list complete'\" "  > $filelist  2>&1
     311    ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"cd $3; ls -1; echo '*** list complete'\" "  > $filelist  2>&1
    303312 else
    304     ssh -p 22 $1 -l $remote_user "cd $3; ls -1; echo '*** list complete'" > $filelist  2>&1
     313    ssh $SSH_PORTOPT $1 -l $remote_user "cd $3; ls -1; echo '*** list complete'" > $filelist  2>&1
    305314 fi
    306315 ssh_status=$?
    … …  
    510519    if [[ $(echo $local_host | cut -c1-4) = gaia ]]
    511520    then
    512        ssh $local_user@gaiad "ssh $1 -l $remote_user \"cd $3\" " > $filelist
     521       ssh $SSH_PORTOPT $local_user@gaiad "ssh $1 -l $remote_user \"cd $3\" " > $filelist
    513522    else
    514        ssh $1 -p 22 -l $remote_user "cd $3" > $filelist
     523       ssh $SSH_PORTOPT $1 -l $remote_user "cd $3" > $filelist
    515524    fi
    516525    if [[ $? != 0 ]]
    … …  
    560569             if [[ $catalog_copy = false ]]
    561570             then
    562                 scp -p -q -v $2 $remote_user@$1:$catalog_name$4$zyklusnr
     571                scp $PORTOPT -p -q -v $2 $remote_user@$1:$catalog_name$4$zyklusnr
    563572             else
    564                 scp -p -r -q -v $2 $remote_user@$1:$catalog_name$4$zyklusnr
     573                scp $PORTOPT -p -r -q -v $2 $remote_user@$1:$catalog_name$4$zyklusnr
    565574             fi
    566575          elif [[ $(echo $local_host | cut -c1-4) = gaia ]]
    … …  
    568577             if [[ $catalog_copy = false ]]
    569578             then
    570                 ssh $local_user@gaiad "cd $local_wdir; scp -p $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
     579                ssh $SSH_PORTOPT $local_user@gaiad "cd $local_wdir; scp $PORTOPT -p $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
    571580             else
    572                 ssh $local_user@gaiad "cd $local_wdir; scp -p -r $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
     581                ssh $SSH_PORTOPT $local_user@gaiad "cd $local_wdir; scp $PORTOPT -p -r $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
    573582             fi
    574583          else
    575584             if [[ $catalog_copy = false ]]
    576585             then
    577                 scp -P 22 -p $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
     586                scp $PORTOPT -p $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
    578587             else
    579                 scp -P 22 -p -r $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
     588                scp $PORTOPT -p -r $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
    580589             fi
    581590          fi
    … …  
    591600             if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    592601             then
    593                 remote_size=`ssh $local_user@gaiad "ssh $1 -l $remote_user \"ls -al $catalog_name$4$zyklusnr\" "`
     602                remote_size=`ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"ls -al $catalog_name$4$zyklusnr\" "`
    594603             else
    595                 remote_size=`ssh $1 -p 22 -l $remote_user "ls -al $catalog_name$4$zyklusnr"`
     604                remote_size=`ssh $SSH_PORTOPT $1 -l $remote_user "ls -al $catalog_name$4$zyklusnr"`
    596605             fi
    597606             remote_size=`echo $remote_size | cut -d" " -f5`
    … …  
    608617          if [[ $(echo $local_host | cut -c1-4) = gaia ]]
    609618          then
    610              ssh $local_user@gaiad "cd $local_wdir; scp -p $2 $remote_user@$1:${catalog_name}batch_scp_append_file.$random"  > /dev/null
     619             ssh $SSH_PORTOPT $local_user@gaiad "cd $local_wdir; scp $PORTOPT -p $2 $remote_user@$1:${catalog_name}batch_scp_append_file.$random"  > /dev/null
    611620          else
    612              scp -P 22 -p $2 $remote_user@$1:${catalog_name}batch_scp_append_file.$random  > /dev/null
     621             scp $PORTOPT -p $2 $remote_user@$1:${catalog_name}batch_scp_append_file.$random  > /dev/null
    613622          fi
    614623          if [[ $? != 0 ]]
    … …  
    621630             if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    622631             then
    623                 remote_size=`ssh $local_user@gaiad "ssh $1 -l $remote_user \"ls -al ${catalog_name}batch_scp_append_file.$random\" "`
     632                remote_size=`ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"ls -al ${catalog_name}batch_scp_append_file.$random\" "`
    624633             else
    625                 remote_size=`ssh $1 -p 22 -l $remote_user "ls -al ${catalog_name}batch_scp_append_file.$random"`
     634                remote_size=`ssh $SSH_PORTOPT $1 -l $remote_user "ls -al ${catalog_name}batch_scp_append_file.$random"`
    626635             fi
    627636             remote_size=`echo $remote_size | cut -d" " -f5`
    … …  
    640649          if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    641650          then
    642              ssh $local_user@gaiad "ssh $1 -l $remote_user \"cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'\" " > $filelist
     651             ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'\" " > $filelist
    643652          else
    644              ssh $1 -p 22 -l $remote_user "cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'" > $filelist
     653             ssh $SSH_PORTOPT $1 -l $remote_user "cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'" > $filelist
    645654          fi
    646655          if [[ $? != 0 ]]
    … …  
    660669       if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    661670       then
    662           ssh $local_user@gaiad "ssh $1 -l $remote_user \"mkdir -p $3\" "
    663        else
    664           ssh $1 -p 22 -l $remote_user "mkdir -p $3"
     671          ssh $SSH_PORTOPT $local_user@gaiad "ssh $1 -l $remote_user \"mkdir -p $3\" "
     672       else
     673          ssh $SSH_PORTOPT $1 -l $remote_user "mkdir -p $3"
    665674       fi
    666675       if [[ $? != 0 ]]
    … …  
    670679       if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    671680       then
    672           ssh $local_user@gaiad "cd $local_wdir; scp -p $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
    673        else
    674           scp -P 22 -p $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
     681          ssh $SSH_PORTOPT $local_user@gaiad "cd $local_wdir; scp $PORTOPT -p $2 $remote_user@$1:$catalog_name$4$zyklusnr"  > /dev/null
     682       else
     683          scp $PORTOPT -p $2 $remote_user@$1:$catalog_name$4$zyklusnr  > /dev/null
    675684       fi
    676685       if [[ $? != 0 ]]
    … …  
    694703          if  [[ $(echo $local_host | cut -c1-4) = gaia ]]
    695704          then
    696              ssh $local_user@gaiad "cd $local_wdir; scp -p $remote_user@$1:$catalog_name$4$zyklusnr $2"  > /dev/null
     705             ssh $SSH_PORTOPT $local_user@gaiad "cd $local_wdir; scp $PORTOPT -p $remote_user@$1:$catalog_name$4$zyklusnr $2"  > /dev/null
    697706          else
    698              scp -P 22 -p $remote_user@$1:$catalog_name$4$zyklusnr $2  > /dev/null
     707             scp $PORTOPT -p $remote_user@$1:$catalog_name$4$zyklusnr $2  > /dev/null
    699708          fi
    700709          if [[ $? != 0 ]]

  • palm/trunk/SCRIPTS/mrun

    r1091 r1094  
    2222# Current revisions:
    2323# ------------------
    24 #
     24# explicit ssh/scp port can be set in config file with environment variable
     25# scp_port.  This port is handled to all ssh/scp/batch_scp calls.
    2526#
    2627# Former revisions:
    … …  
    11001101
    11011102
     1103    # Set port number option for calls of ssh/scp, subjob and batch_scp scripts
     1104 if [[ "$scp_port" != "" ]]
     1105 then
     1106    PORTOPT="-P $scp_port"
     1107    SSH_PORTOPT="-p $scp_port"
     1108 fi
     1109
     1110
    11021111    # FALLS NICHT VORGEGEBEN, DEFAULT-QUEUE AUF DER ZIELMASCHINE FESTLEGEN
    11031112 if [[ $queue = none ]]
    … …  
    27412750       then
    27422751#         init_cmds was ". /SX/opt/etc/initsx.sh;"
    2743           ssh  136.172.44.192 -l $usern "$init_cmds $module_calls cd \$HOME/work/${usern}.$kennung; sxmake $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
     2752          ssh  $SSH_PORTOPT  136.172.44.192 -l $usern "$init_cmds $module_calls cd \$HOME/work/${usern}.$kennung; sxmake $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
    27442753          cp  $TEMPDIR_COMPILE/a.out  .
    27452754          [[ $? != 0 ]]  &&  compile_error=true
    … …  
    27482757       then
    27492758          printf "      compiler is called via ssh on \"plogin1\" \n"
    2750           ssh  plogin1  -l $usern  "$init_cmds export PATH=/sw/ibm/xlf/13.1.0.8/usr/bin:$PATH; $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
     2759          ssh  $SSH_PORTOPT  plogin1  -l $usern  "$init_cmds export PATH=/sw/ibm/xlf/13.1.0.8/usr/bin:$PATH; $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
    27512760          [[ ! -f a.out ]]  &&  compile_error=true
    27522761          continue   # ANDERENFALLS IST STATUS=1, FALLS A.OUT VORHANDEN
    … …  
    27542763       then
    27552764          printf "      compiler is called via ssh on \"bicegate0\" \n"
    2756           ssh  bicegate0  -l $usern  "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
     2765          ssh  $SSH_PORTOPT  bicegate0  -l $usern  "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" "
    27572766          [[ ! -f a.out ]]  &&  compile_error=true
    27582767          continue   # ANDERENFALLS IST STATUS=1, FALLS A.OUT VORHANDEN
    … …  
    27602769       then
    27612770          printf "      compiler is called via ssh on \"hicegate0\" \n"
    2762           ssh  hicegate0  -l $usern  "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" 2>&1 "
     2771          ssh  $SSH_PORTOPT  hicegate0  -l $usern  "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out  F90=$compiler_name  COPT=\"$cpp_options\"  F90FLAGS=\"$fopts\"  LDFLAGS=\"$lopts\" 2>&1 "
    27632772          [[ ! -f a.out ]]  &&  compile_error=true
    27642773          continue   # ANDERENFALLS IST STATUS=1, FALLS A.OUT VORHANDEN
    … …  
    27662775       then
    27672776          printf "      compiler is called via ssh on \"flow\" \n"
    2768           ssh  flow02.hpc.uni-oldenburg.de -l $usern "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out F90=$compiler_name COPT=\"$cpp_options\" F90FLAGS=\"$fopts\" LDFLAGS=\"$lopts\" "
     2777          ssh  $SSH_PORTOPT  flow02.hpc.uni-oldenburg.de -l $usern "$init_cmds $module_calls cd $TEMPDIR; make $mopts -f Makefile PROG=a.out F90=$compiler_name COPT=\"$cpp_options\" F90FLAGS=\"$fopts\" LDFLAGS=\"$lopts\" "
    27692778          [[ ! -f a.out ]]  &&  compile_error=true
    27702779          continue   # ANDERENFALLS IST STATUS=1, FALLS A.OUT VORHANDEN
    … …  
    29712980                if [[ $localhost = lcsgih ]]
    29722981                then
    2973                    ssh  $usern@hicedata.hlrn.de  "cp  $PERM/${frelin[$i]}  $PWD"
     2982                   ssh  $SSH_PORTOPT  $usern@hicedata.hlrn.de  "cp  $PERM/${frelin[$i]}  $PWD"
    29742983                else
    2975                    ssh  $usern@bicedata.hlrn.de  "cp  $PERM/${frelin[$i]}  $PWD"
     2984                   ssh  $SSH_PORTOPT  $usern@bicedata.hlrn.de  "cp  $PERM/${frelin[$i]}  $PWD"
    29762985                fi
    29772986             else
    … …  
    29812990                   if [[ $localhost = lcsgih ]]
    29822991                   then
    2983                       ssh  $usern@hicedata.hlrn.de  "cd $PWD; tar  xf  $PERM/${frelin[$i]}/${frelin[$i]}.node_$inode.tar"
     2992                      ssh  $SSH_PORTOPT  $usern@hicedata.hlrn.de  "cd $PWD; tar  xf  $PERM/${frelin[$i]}/${frelin[$i]}.node_$inode.tar"
    29842993                   else
    2985                       ssh  $usern@bicedata.hlrn.de  "cd $PWD; tar  xf  $PERM/${frelin[$i]}/${frelin[$i]}.node_$inode.tar"
     2994                      ssh  $SSH_PORTOPT  $usern@bicedata.hlrn.de  "cd $PWD; tar  xf  $PERM/${frelin[$i]}/${frelin[$i]}.node_$inode.tar"
    29862995                   fi
    29872996                   (( inode = inode + 1 ))
    … …  
    39403949                   printf "\n              ${pathout[$i]}/${localhost}_${fname}${endout[$i]}$cst"
    39413950                   printf "\n              or higher cycle\n"
    3942                    echo "batch_scp $cps -b -m -u $return_username $return_addres  $file_to_transfer \"${pathout[$i]}\" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}"  >>  transfer_${localout[$i]}
     3951                   echo "batch_scp $PORTOPT $cps -b -m -u $return_username $return_addres  $file_to_transfer \"${pathout[$i]}\" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}"  >>  transfer_${localout[$i]}
    39433952
    39443953                   echo "[[ \$? = 0 ]]  &&  rm  $file_to_transfer"  >>  transfer_${localout[$i]}
    … …  
    39463955                   if [[ $localhost = nech ]]
    39473956                   then
    3948                       subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     3957                      subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 900  $PORTOPT  transfer_${localout[$i]}
    39493958                   else
    39503959                      if [[ "$LOGNAME" = b323013 ]]
    39513960                      then
    3952                          subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
     3961                         subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  $PORTOPT  transfer_${localout[$i]}
    39533962                      else
    3954                          subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
     3963                         subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  $PORTOPT  transfer_${localout[$i]}
    39553964                      fi
    39563965                   fi
    … …  
    39623971                   printf "\n  >>> OUTPUT: ${localout[$i]}$cst  by SCP to"
    39633972                   printf "\n              ${pathout[$i]}/${localhost}_${fname}${endout[$i]}$cst\n"
    3964                    batch_scp $cps -b -m -u $return_username $return_addres  ${localout[$i]} "${pathout[$i]}" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}
     3973                   batch_scp $PORTOPT $cps -b -m -u $return_username $return_addres  ${localout[$i]} "${pathout[$i]}" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}
    39653974                   [[ $? != 0 ]]  &&  transfer_failed=true
    39663975
    … …  
    40154024                   printf "\n              ${pathout[$i]}/${localhost}_${fname}${endout[$i]}"
    40164025                   printf "\n              or higher cycle\n"
    4017                    echo "batch_scp -A -b -m -u $return_username $return_addres  $file_to_transfer \"${pathout[$i]}\" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}"  >>  transfer_${localout[$i]}
     4026                   echo "batch_scp $PORTOPT -A -b -m -u $return_username $return_addres  $file_to_transfer \"${pathout[$i]}\" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}"  >>  transfer_${localout[$i]}
    40184027
    40194028                   echo "[[ \$? = 0 ]]  &&  rm  $file_to_transfer"  >>  transfer_${localout[$i]}
    … …  
    40214030                   if [[ $localhost = nech ]]
    40224031                   then
    4023                       subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 900  transfer_${localout[$i]}
     4032                      subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 900  $PORTOPT  transfer_${localout[$i]}
    40244033                   else
    40254034                      if [[ $LOGNAME = b323013 ]]
    40264035                      then
    4027                          subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
     4036                         subjob  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  $PORTOPT  transfer_${localout[$i]}
    40284037                      else
    4029                          subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  transfer_${localout[$i]}
     4038                         subjob  -d  -v  -q c1  -X 0  -m 1000  -t 900  -c $job_catalog  $PORTOPT  transfer_${localout[$i]}
    40304039                      fi
    40314040                   fi
    … …  
    40374046                   printf "\n  >>> OUTPUT: ${localout[$i]}  append by SCP to"
    40384047                   printf "\n              ${pathout[$i]}/${localhost}_${fname}${endout[$i]}\n"
    4039                    batch_scp -A -b -m -u $return_username  $return_addres ${localout[$i]} "${pathout[$i]}" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}
     4048                   batch_scp $PORTOPT -A -b -m -u $return_username  $return_addres ${localout[$i]} "${pathout[$i]}" ${localhost}_${fname}${endout[$i]}  ${extout[$i]}
    40404049                   [[ $? != 0 ]]  &&  transfer_failed=true
    40414050
    … …  
    42154224                   if [[ $localhost = lcsgih  ||  $localhost = lcsgib ]]
    42164225                   then
    4217 #                      subjob  -d  -v  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  archive_${frelout[$i]}
    4218                       subjob   -v  -q permq  -X 1 -T 1  -m 1000  -t 172800  -c $job_catalog  archive_${frelout[$i]}
     4226#                      subjob  -d  -v  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  $PORTOPT  archive_${frelout[$i]}
     4227                      subjob   -v  -q permq  -X 1 -T 1  -m 1000  -t 172800  -c $job_catalog  $PORTOPT  archive_${frelout[$i]}
    42194228                   elif [[ $localhost = nech ]]
    42204229                   then
    4221                       subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 7200  archive_${frelout[$i]}
     4230                      subjob  -d  -c /pf/b/$usern/job_queue  -v  -q pp  -X 0  -m 1000  -t 7200  $PORTOPT  archive_${frelout[$i]}
    42224231                   fi
    42234232                   printf "              Archiving of $tmp_data_catalog/${frelout[$i]} initiated (batch job submitted)\n"
    … …  
    43404349                fi
    43414350
    4342                 subjob  -v  -d  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  archive_${frelout[$i]}
     4351                subjob  -v  -d  -q cdata  -X 0  -m 1000  -t 43200  -c $job_catalog  $PORTOPT  archive_${frelout[$i]}
    43434352                printf "              Archiving of $tmp_data_catalog/${frelout[$i]} initiated (batch job submitted)\n"
    43444353                file_saved=true
    … …  
    43744383                fi
    43754384
    4376                 subjob  -v  -c /pf/b/$usern/job_queue  -d  -q pp  -X 0  -m 1000  -t 7200  archive_${frelout[$i]}
     4385                subjob  -v  -c /pf/b/$usern/job_queue  -d  -q pp  -X 0  -m 1000  -t 7200  $PORTOPT  archive_${frelout[$i]}
    43774386                printf "              Archiving of $tmp_data_catalog/${frelout[$i]} initiated (batch job submitted)\n"
    43784387                file_saved=true
    … …  
    45274536                if [[ $(echo $return_addres | grep -c "130.75.105") = 1 ]]
    45284537                then
    4529                    ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;. /muksoft/packages/intel/bin/compilervars.sh intel64;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
     4538                   ssh $SSH_PORTOPT $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;. /muksoft/packages/intel/bin/compilervars.sh intel64;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
    45304539                else
    45314540                   if [[ $localhost = ibmkisti ]]
    45324541                   then
    4533                       ssh $usern@gaiad "ssh $return_addres -l $return_username \"PATH=\\\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc\" "
     4542                      ssh $SSH_PORTOPT $usern@gaiad "ssh $SSH_PORTOPT $return_addres -l $return_username \"PATH=\\\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc\" "
    45344543                   else
    4535                       ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
     4544                      ssh $SSH_PORTOPT $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
    45364545                   fi
    45374546                fi
    … …  
    45574566             if [[ $localhost = lcfimm ]]
    45584567             then
    4559                 ssh $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
     4568                ssh $SSH_PORTOPT $return_addres -l $return_username "PATH=\$PATH:$LOCAL_MRUN_PATH;export PALM_BIN=$LOCAL_MRUN_PATH;cd $LOCAL_PWD; $mc "
    45604569             else
    45614570                eval  $mc                # ' MUESSEN AUSGEWERTET WERDEN
    … …  
    47084717          if [[ $host != ibmkisti ]]
    47094718          then
    4710              echo  "scp  -r $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname ."  >>  $jobfile
     4719             echo  "scp $PORTOPT -r $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname ."  >>  $jobfile
    47114720          else
    47124721                # on KISTI's IBM firewall is only opened on interactive node
    47134722             echo  "localdir=\`pwd\`"                            >>  $jobfile
    4714              echo  "ssh $remote_username@gaiad \"cd \$localdir; scp -r  $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname .\" "  >>  $jobfile
     4723             echo  "ssh $SSH_PORTOPT $remote_username@gaiad \"cd \$localdir; scp $PORTOPT -r  $return_username@$return_addres:$working_directory/SOURCES_FOR_RUN_$fname .\" "  >>  $jobfile
    47154724          fi
    47164725       fi
    … …  
    48004809             echo  "%END%"                                    >>  $jobfile
    48014810          else
    4802              echo  "batch_scp -b -o -g -s -u $return_username $return_addres ${remotepathin[$i]} \"${pathin[$i]}\" ${frelin[$i]}" >>  $jobfile
     4811             echo  "batch_scp $PORTOPT -b -o -g -s -u $return_username $return_addres ${remotepathin[$i]} \"${pathin[$i]}\" ${frelin[$i]}" >>  $jobfile
    48034812          fi
    48044813
    … …  
    48504859    fi
    48514860
    4852     subjob  $job_on_file  -h $host  -u $remote_username -g $group_number -q $queue  -m $memory  -N $node_usage -t $cpumax  $XOPT  $TOPT  $OOPT  -n $fname  -v  -c $job_catalog  -e $email_notification  $jobfile
     4861    subjob  $job_on_file  -h $host  -u $remote_username -g $group_number -q $queue  -m $memory  -N $node_usage -t $cpumax  $XOPT  $TOPT  $OOPT  -n $fname  -v  -c $job_catalog  -e $email_notification  $PORTOPT  $jobfile
    48534862    rm -rf  $jobfile
    48544863

  • palm/trunk/SCRIPTS/subjob

    r1091 r1094  
    2323# Current revisions:
    2424# ------------------
    25 #
     25# new option -P for explicit setting of ssh/scp port
    2626#
    2727# Former revisions:
    … …  
    181181
    182182    # PROZEDUROPTIONEN EINLESEN
    183  while  getopts  :c:dDe:g:h:m:n:N:O:q:t:T:u:vX:  option
     183 while  getopts  :c:dDe:g:h:m:n:N:O:P:q:t:T:u:vX:  option
    184184 do
    185185   case  $option  in
    … …  
    194194       (N)   node_usage=$OPTARG;;
    195195       (O)   threads_per_task=$OPTARG;;
     196       (P)   scp_port=$OPTARG;;
    196197       (q)   no_default_queue=$OPTARG;;
    197198       (t)   cputime=$OPTARG;;
    … …  
    226227    printf "\n        -n    jobname                             <jobdatei>"
    227228    printf "\n        -O    threads per task (for OpenMP usage) 1"
     229    printf "\n        -P    ssh/scp port                        default port"
    228230    printf "\n        -q    job-queue to be used                default"
    229231    printf "\n        -t    allowed cpu-time in seconds         ---"
    … …  
    478480 fi
    479481
     482
    480483    # Calculate number of processes per node
    481484 (( processes_per_node = tasks_per_node * threads_per_task ))
    482485
     486
    483487    # Calculate number of MPI tasks
    484488 (( mpi_tasks = numprocs / threads_per_task ))
     489
     490
     491    # Set port number option for calls of ssh/scp, subjob and batch_scp scripts
     492 if [[ "$scp_port" != "" ]]
     493 then
     494    PORTOPT="-P $scp_port"
     495    SSH_PORTOPT="-p $scp_port"
     496 fi
    485497
    486498
    … …  
    12071219
    12081220          echo "echo \"set -x\" >> scpjob.$kennung"                   >>  $job_to_send
    1209           echo "echo \"batch_scp  -d  -w 10  -u $local_user  $local_addres  ${job_catalog}/$remote_dayfile  \\\"$job_catalog\\\"  $local_dayfile\" >> scpjob.$kennung"  >>  $job_to_send
     1221          echo "echo \"batch_scp  $PORTOPT  -d  -w 10  -u $local_user  $local_addres  ${job_catalog}/$remote_dayfile  \\\"$job_catalog\\\"  $local_dayfile\" >> scpjob.$kennung"  >>  $job_to_send
    12101222          if [[ $remote_host = ibmku ]]
    12111223          then
    … …  
    12241236          echo "set -x"                            >>  $job_to_send
    12251237          echo "cd /pf/b/${remote_user}/job_queue" >>  $job_to_send
    1226           echo "batch_scp  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1238          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
    12271239          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12281240          echo "%%END%%"                           >>  $job_to_send
    … …  
    12361248          echo " "                                 >>  $job_to_send
    12371249          echo "set -x"                            >>  $job_to_send
    1238           echo "batch_scp  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1250          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
    12391251          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12401252          echo "%%END%%"                           >>  $job_to_send
    … …  
    12531265          echo "export LANG=en_US.UTF-8"           >>  $job_to_send
    12541266          echo "set -x"                            >>  $job_to_send
    1255           echo "batch_scp  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1267          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  $remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
    12561268          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12571269          echo "%%END%%"                           >>  $job_to_send
    … …  
    12701282          echo ". /usr/share/modules/init/bash"    >>  $job_to_send
    12711283          echo "set -x"                            >>  $job_to_send
    1272           echo "batch_scp  -d  -w 10  -u $local_user $local_addres  ${job_catalog}/$remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
     1284          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  ${job_catalog}/$remote_dayfile  \"$job_catalog\"  $local_dayfile"  >>  $job_to_send
    12731285          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12741286          echo "%%END%%"                           >>  $job_to_send
    … …  
    12951307          fi
    12961308          echo "set -x"                            >>  $job_to_send
    1297           echo "batch_scp  -d  -w 10  -u $local_user $local_addres  ${job_catalog}/$remote_dayfile  \"$job_catalog\"  $local_dayfile  >  /dev/null"  >>  $job_to_send
     1309          echo "batch_scp  $PORTOPT  -d  -w 10  -u $local_user $local_addres  ${job_catalog}/$remote_dayfile  \"$job_catalog\"  $local_dayfile  >  /dev/null"  >>  $job_to_send
    12981310          echo "[[ \"\$for_subjob_to_do\" != \"\" ]]  &&  eval \$for_subjob_to_do"  >>  $job_to_send
    12991311          echo "%%END%%"                           >>  $job_to_send
    … …  
    13171329       then
    13181330          echo "mv  scpjob.$kennung  $job_catalog"           >>  $job_to_send
    1319           echo "ssh ${remote_username}@${remote_addres}  \"$submcom ${job_catalog}/scpjob.$kennung\" "  >>  $job_to_send
     1331          echo "ssh $SSH_PORTOPT ${remote_username}@${remote_addres}  \"$submcom ${job_catalog}/scpjob.$kennung\" "  >>  $job_to_send
    13201332          echo "rm  ${job_catalog}/scpjob.$kennung"          >>  $job_to_send
    13211333       elif [[ $remote_host = lckyut ]]
    13221334       then
    1323           echo "scp -P 22 scpjob.$kennung  ${remote_username}@${remote_addres}:job_queue"           >>  $job_to_send
    1324           echo "ssh -p 22 ${remote_username}@${remote_addres}  \"cd job_queue; $submcom scpjob.$kennung; rm scpjob.$kennung\" "  >>  $job_to_send
     1335          echo "scp $PORTOPT scpjob.$kennung  ${remote_username}@${remote_addres}:job_queue"           >>  $job_to_send
     1336          echo "ssh $SSH_PORTOPT ${remote_username}@${remote_addres}  \"cd job_queue; $submcom scpjob.$kennung; rm scpjob.$kennung\" "  >>  $job_to_send
    13251337       else
    13261338          echo "$submcom  scpjob.$kennung"      >>  $job_to_send
    … …  
    13931405             # VERWENDUNG VON SCP AUF DECALPHA FRAGT FEHLERHAFTERWEISE
    13941406             # PASSWORT AB
    1395           /bin/scp  $job_to_send  ${remote_user}@${remote_addres}:${job_catalog}/$job_on_remhost
     1407          /bin/scp  $PORTOPT  $job_to_send  ${remote_user}@${remote_addres}:${job_catalog}/$job_on_remhost
    13961408       elif [[ $remote_host = nech ]]
    13971409       then
    13981410             # DATEIEN KOENNEN NUR UEBER DEN ARCHIVE-SERVER DES DKRZ
    13991411             # TRANSFERIERT WERDEN
    1400           scp  $job_to_send  ${remote_user}@136.172.44.205:${job_catalog}/$job_on_remhost
     1412          scp  $PORTOPT  $job_to_send  ${remote_user}@136.172.44.205:${job_catalog}/$job_on_remhost
    14011413       else
    1402           scp  $job_to_send  ${remote_user}@${remote_addres}:${job_catalog}/$job_on_remhost
     1414          scp  $PORTOPT  $job_to_send  ${remote_user}@${remote_addres}:${job_catalog}/$job_on_remhost
    14031415       fi
    14041416       if [[ $? = 1 ]]
    … …  
    14261438       then
    14271439          printf "\n >>> submit with HLRN qos-feature hiprio...\n"
    1428           ssh  $remote_addres  -l $remote_user  "cd $job_catalog; $submcom -l qos=hiprio $job_on_remhost; rm $job_on_remhost"
     1440          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom -l qos=hiprio $job_on_remhost; rm $job_on_remhost"
    14291441       elif [[ $remote_host = ibmku ]]
    14301442       then
    1431           ssh  $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost"
     1443          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost"
    14321444       else
    1433           ssh  $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost; rm $job_on_remhost"
     1445          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost; rm $job_on_remhost"
    14341446       fi
    14351447
Note: See TracChangeset for help on using the changeset viewer.
                                                                                                                                                                                                                                                                                                                                                                               
  | Impressum | ©Leibniz Universität Hannover |