Home


About us
PALM
PALM-4U
Installation
Release notes
Documentation
Getting Help
Gallery
Developers area

Changeset 1202 for palm/trunk


Ignore:
Timestamp:
Jul 10, 2013 4:22:07 PM (11 years ago)
Author:
witha
Message:

script adjustments for Forwind cluster (lcflow)

Location:
palm/trunk/SCRIPTS
Files:
3 edited

Legend:

Unmodified
Added
Removed

  • palm/trunk/SCRIPTS/.mrun.config.forwind

    r1152 r1202  
    1010# by "/iwes/" if your user directory resides in /iwes/.
    1111################################################################################
    12 %output_data       /data/work/fw/<REPLACE BY YOUR USERNAME>/palm/current_version/JOBS
     12%output_data       /data/work/gpfs/fw/<REPLACE BY YOUR USERNAME>/palm/current_version/JOBS
    1313%source_path       $base_directory/trunk/SOURCE
    1414%add_source_path   $base_directory/USER_CODE/$fname
    … …  
    6666################################################################################
    6767%remote_username   <USERNAME_FLOW>                                                                                               lcflow parallel
    68 %tmp_user_catalog  /data/work/fw/$remote_username/tmp                                                                            lcflow parallel
    69 %tmp_data_catalog  /data/work/fw/$remote_username/palm_restart_data                                                              lcflow parallel
     68%tmp_user_catalog  /data/work/gpfs/fw/$remote_username/tmp                                                                            lcflow parallel
     69%tmp_data_catalog  /data/work/gpfs/fw/$remote_username/palm_restart_data                                                              lcflow parallel
    7070%compiler_name     mpiifort                                                                                                      lcflow parallel
    7171%compiler_name_ser ifort                                                                                                         lcflow parallel
    … …  
    7777%lopts             -xhost:-O3:-fpp:-r8:-align:all:-ftz:-fno-alias:-no-scalar-rep:-no-prec-sqrt:-ip:-nbs:-static-intel:-Wl,-rpath:/cm/shared/apps/intel/ics-2011.0.013/composerxe-2011.0.084/compiler/lib/intel64          lcflow parallel
    7878%login_init_cmd    .:/etc/bashrc                     lcflow parallel
    79 %modules           sge/6.2u5p2:netcdf/4.2.1.1/intel/64/2011.0.013:netcdf-fortran/4.2/intel/64/2011.0.013:intel/ics/64/2011.0.013:intel/impi/64/4.0.1.007:hdf5/1.8.9/intel/64/2011.0.013:qt4     lcflow parallel
     79%modules           sge/6.2u5p2:netcdf/4.2.1.1/intel/64/2011.0.013:netcdf-fortran/4.2/intel/64/2011.0.013:intel/ics/64/2011.0.013:intel/impi/64/4.1.0.024:hdf5/1.8.9/intel/64/2011.0.013:qt4     lcflow parallel
    8080%disc_space        50                                                                                                            lcflow parallel
    8181#
    … …  
    108108# List of input-files
    109109#----------------------------------------------------------------------------
    110 PARIN                    in:job        d3#      $base_data/$fname/INPUT    _p3d
    111 PARIN                    in:job        d3f      $base_data/$fname/INPUT    _p3df
    112 TOPOGRAPHY_DATA          in:locopt     d3#:d3f  $base_data/$fname/INPUT    _topo
    113 BININ                    in:loc:flpe   d3f:rec  $base_data/$fname/RESTART  _d3d
    114 PARTICLE_RESTART_DATA_IN in:loc:flpe   prtf     $base_data/$fname/RESTART  _rprt
    115 DATA_1D_PR_NETCDF        in:locopt     prf      $output_data/$fname/OUTPUT   _pr     nc
    116 DATA_1D_SP_NETCDF        in:locopt     spf      $output_data/$fname/OUTPUT   _sp     nc
    117 DATA_1D_TS_NETCDF        in:locopt     tsf      $output_data/$fname/OUTPUT   _ts     nc
    118 DATA_1D_PTS_NETCDF       in:locopt     ptsf     $output_data/$fname/OUTPUT   _pts    nc
    119 DATA_2D_XY_NETCDF        in:locopt     xyf      $output_data/$fname/OUTPUT   _xy     nc
    120 DATA_2D_XY_AV_NETCDF     in:locopt     xyf      $output_data/$fname/OUTPUT   _xy_av  nc
    121 DATA_2D_XZ_NETCDF        in:locopt     xzf      $output_data/$fname/OUTPUT   _xz     nc
    122 DATA_2D_XZ_AV_NETCDF     in:locopt     xzf      $output_data/$fname/OUTPUT   _xz_av  nc
    123 DATA_2D_YZ_NETCDF        in:locopt     yzf      $output_data/$fname/OUTPUT   _yz     nc
    124 DATA_3D_NETCDF           in:locopt     3df      $output_data/$fname/OUTPUT   _3d     nc
    125 DATA_3D_AV_NETCDF        in:locopt     3df      $output_data/$fname/OUTPUT   _3d_av  nc
    126 DATA_PRT_NETCDF          in:locopt:pe  prtf     $output_data/$fname/OUTPUT   _prt
     110PARIN                    in:job        d3#      $base_data/$fname/INPUT     _p3d
     111PARIN                    in:job        d3f      $base_data/$fname/INPUT     _p3df
     112TOPOGRAPHY_DATA          in:locopt     d3#:d3f  $base_data/$fname/INPUT     _topo
     113BININ                    in:loc:flpe   d3f:rec  $base_data/$fname/RESTART   _d3d
     114PARTICLE_RESTART_DATA_IN in:loc:flpe   prtf     $base_data/$fname/RESTART   _rprt
     115DATA_1D_PR_NETCDF        in:locopt     prf      $output_data/$fname/OUTPUT  _pr     nc
     116DATA_1D_SP_NETCDF        in:locopt     spf      $output_data/$fname/OUTPUT  _sp     nc
     117DATA_1D_TS_NETCDF        in:locopt     tsf      $output_data/$fname/OUTPUT  _ts     nc
     118DATA_1D_PTS_NETCDF       in:locopt     ptsf     $output_data/$fname/OUTPUT  _pts    nc
     119DATA_2D_XY_NETCDF        in:locopt     xyf      $output_data/$fname/OUTPUT  _xy     nc
     120DATA_2D_XY_AV_NETCDF     in:locopt     xyf      $output_data/$fname/OUTPUT  _xy_av  nc
     121DATA_2D_XZ_NETCDF        in:locopt     xzf      $output_data/$fname/OUTPUT  _xz     nc
     122DATA_2D_XZ_AV_NETCDF     in:locopt     xzf      $output_data/$fname/OUTPUT  _xz_av  nc
     123DATA_2D_YZ_NETCDF        in:locopt     yzf      $output_data/$fname/OUTPUT  _yz     nc
     124DATA_2D_YZ_AV_NETCDF     in:locopt     yzf      $output_data/$fname/OUTPUT  _yz_av  nc
     125DATA_3D_NETCDF           in:locopt     3df      $output_data/$fname/OUTPUT  _3d     nc
     126DATA_3D_AV_NETCDF        in:locopt     3df      $output_data/$fname/OUTPUT  _3d_av  nc
     127DATA_PRT_NETCDF          in:locopt:pe  prtf     $output_data/$fname/OUTPUT  _prt    nc
    127128#
    128129#----------------------------------------------------------------------------
    … …  
    139140CPU_MEASURES      out:loc:tra  d3f     $base_data/$fname/MONITORING  _cpu
    140141#
    141 DATA_1D_PR_NETCDF      out:loc    pr#       $output_data/$fname/OUTPUT  _pr     nc
    142 DATA_1D_PR_NETCDF      out:loc    prf       $output_data/$fname/OUTPUT  _pr     nc
    143 DATA_1D_SP_NETCDF      out:loc    sp#       $output_data/$fname/OUTPUT  _sp     nc
    144 DATA_1D_SP_NETCDF      out:loc    spf       $output_data/$fname/OUTPUT  _sp     nc
    145 DATA_1D_TS_NETCDF      out:loc    ts#       $output_data/$fname/OUTPUT  _ts     nc
    146 DATA_1D_TS_NETCDF      out:loc    tsf       $output_data/$fname/OUTPUT  _ts     nc
    147 DATA_1D_PTS_NETCDF     out:loc    pts#      $output_data/$fname/OUTPUT  _pts    nc
    148 DATA_1D_PTS_NETCDF     out:loc    ptsf      $output_data/$fname/OUTPUT  _pts    nc
    149 DATA_2D_XY_NETCDF      out:loc    xy#:xyf   $output_data/$fname/OUTPUT  _xy     nc
    150 DATA_2D_XY_AV_NETCDF   out:loc    xy#:xyf   $output_data/$fname/OUTPUT  _xy_av  nc
    151 DATA_2D_XZ_NETCDF      out:loc    xz#:xzf   $output_data/$fname/OUTPUT  _xz     nc
    152 DATA_2D_XZ_AV_NETCDF   out:loc    xz#:xzf   $output_data/$fname/OUTPUT  _xz_av  nc
    153 DATA_2D_YZ_NETCDF      out:loc    yz#:yzf   $output_data/$fname/OUTPUT  _yz     nc
    154 DATA_2D_YZ_AV_NETCDF   out:loc    yz#:yzf   $output_data/$fname/OUTPUT  _yz_av  nc
    155 DATA_3D_NETCDF         out:loc    3d#:3df   $output_data/$fname/OUTPUT  _3d     nc
    156 DATA_3D_AV_NETCDF      out:loc    3d#:3df   $output_data/$fname/OUTPUT  _3d_av  nc
     142DATA_1D_PR_NETCDF      out:loc    pr#       $output_data/$fname/OUTPUT  _pr      nc
     143DATA_1D_PR_NETCDF      out:loc    prf       $output_data/$fname/OUTPUT  _pr      nc
     144DATA_1D_SP_NETCDF      out:loc    sp#       $output_data/$fname/OUTPUT  _sp      nc
     145DATA_1D_SP_NETCDF      out:loc    spf       $output_data/$fname/OUTPUT  _sp      nc
     146DATA_1D_TS_NETCDF      out:loc    ts#       $output_data/$fname/OUTPUT  _ts      nc
     147DATA_1D_TS_NETCDF      out:loc    tsf       $output_data/$fname/OUTPUT  _ts      nc
     148DATA_1D_PTS_NETCDF     out:loc    pts#      $output_data/$fname/OUTPUT  _pts     nc
     149DATA_1D_PTS_NETCDF     out:loc    ptsf      $output_data/$fname/OUTPUT  _pts     nc
     150DATA_2D_XY_NETCDF      out:loc    xy#:xyf   $output_data/$fname/OUTPUT  _xy      nc
     151DATA_2D_XY_AV_NETCDF   out:loc    xy#:xyf   $output_data/$fname/OUTPUT  _xy_av   nc
     152DATA_2D_XZ_NETCDF      out:loc    xz#:xzf   $output_data/$fname/OUTPUT  _xz      nc
     153DATA_2D_XZ_AV_NETCDF   out:loc    xz#:xzf   $output_data/$fname/OUTPUT  _xz_av   nc
     154DATA_2D_YZ_NETCDF      out:loc    yz#:yzf   $output_data/$fname/OUTPUT  _yz      nc
     155DATA_2D_YZ_AV_NETCDF   out:loc    yz#:yzf   $output_data/$fname/OUTPUT  _yz_av   nc
     156DATA_3D_NETCDF         out:loc    3d#:3df   $output_data/$fname/OUTPUT  _3d      nc
     157DATA_3D_AV_NETCDF      out:loc    3d#:3df   $output_data/$fname/OUTPUT  _3d_av   nc
    157158DATA_MASK_01_NETCDF    out:loc    ma#:maf   $output_data/$fname/OUTPUT  _m01     nc
    158159DATA_MASK_01_AV_NETCDF out:loc    ma#:maf   $output_data/$fname/OUTPUT  _m01_av  nc
    … …  
    195196DATA_MASK_20_NETCDF    out:loc    ma#:maf   $output_data/$fname/OUTPUT  _m20     nc
    196197DATA_MASK_20_AV_NETCDF out:loc    ma#:maf   $output_data/$fname/OUTPUT  _m20_av  nc
    197 DATA_PRT_NETCDF        out:loc:pe prt#:prtf $output_data/$fname/OUTPUT  _prt    nc
    198 DATA_PRT_NETCDF        out:loc:pe prt#:prtf $output_data/$fname/OUTPUT  _prt    nc
     198DATA_PRT_NETCDF        out:loc:pe prt#:prtf $output_data/$fname/OUTPUT  _prt     nc
    199199DATA_DVR               out:loc:pe dvr       $output_data/$fname/OUTPUT  _dvr
    200200#

  • palm/trunk/SCRIPTS/batch_scp

    r1100 r1202  
    2222# Current revisions:
    2323# ------------------
    24 #
     24# adjustments for Forwind cluster (lcflow): using absolute paths for ssh
    2525#
    2626# Former revisions:
    … …  
    258258
    259259
     260   # Using absolute paths for ssh on lcflow (nodes "cfd_*") as the paths of the
     261   # job scheduler have changed
     262 if [[ $(echo $local_host | cut -c1-3) = "cfd" ]]
     263 then
     264   SSH_BIN=/usr/bin/ssh
     265 else
     266   SSH_BIN=ssh
     267 fi
     268
     269
    260270    # PRUEFEN, OB LOKALE DATEI/LOKALES VERZEICHNIS VORHANDEN BZW. NICHT VORHANDEN
    261271 if [[ $get = false ]]
    … …  
    317327    ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"unset LANG; cd $3; ls -1; echo '*** list complete'\" "  > $filelist  2>&1
    318328 else
    319     ssh $SSH_PORTOPT $1 -l $remote_user "unset LANG; cd $3; ls -1; echo '*** list complete'" > $filelist  2>&1
     329    $SSH_BIN $SSH_PORTOPT $1 -l $remote_user "unset LANG; cd $3; ls -1; echo '*** list complete'" > $filelist  2>&1
    320330 fi
    321331 ssh_status=$?
    … …  
    527537       ssh $SSH_PORTOPT $local_user@gaiad "ssh $1 -l $remote_user \"cd $3\" " > $filelist
    528538    else
    529        ssh $SSH_PORTOPT $1 -l $remote_user "cd $3" > $filelist
     539       $SSH_BIN $SSH_PORTOPT $1 -l $remote_user "cd $3" > $filelist
    530540    fi
    531541    if [[ $? != 0 ]]
    … …  
    608618                remote_size=`ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"ls -al $catalog_name$4$zyklusnr\" "`
    609619             else
    610                 remote_size=`ssh $SSH_PORTOPT $1 -l $remote_user "ls -al $catalog_name$4$zyklusnr"`
     620                remote_size=`$SSH_BIN $SSH_PORTOPT $1 -l $remote_user "ls -al $catalog_name$4$zyklusnr"`
    611621             fi
    612622             remote_size=`echo $remote_size | cut -d" " -f5`
    … …  
    638648                remote_size=`ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"ls -al ${catalog_name}batch_scp_append_file.$random\" "`
    639649             else
    640                 remote_size=`ssh $SSH_PORTOPT $1 -l $remote_user "ls -al ${catalog_name}batch_scp_append_file.$random"`
     650                remote_size=`$SSH_BIN $SSH_PORTOPT $1 -l $remote_user "ls -al ${catalog_name}batch_scp_append_file.$random"`
    641651             fi
    642652             remote_size=`echo $remote_size | cut -d" " -f5`
    … …  
    657667             ssh $SSH_PORTOPT $local_user@gaiad "ssh $SSH_PORTOPT $1 -l $remote_user \"cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'\" " > $filelist
    658668          else
    659              ssh $SSH_PORTOPT $1 -l $remote_user "cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'" > $filelist
     669             $SSH_BIN $SSH_PORTOPT $1 -l $remote_user "cd $3; cat batch_scp_append_file.$random >> $4$zyklusnr; rm batch_scp_append_file.$random; echo '*** append complete'" > $filelist
    660670          fi
    661671          if [[ $? != 0 ]]
    … …  
    677687          ssh $SSH_PORTOPT $local_user@gaiad "ssh $1 -l $remote_user \"mkdir -p $3\" "
    678688       else
    679           ssh $SSH_PORTOPT $1 -l $remote_user "mkdir -p $3"
     689          $SSH_BIN $SSH_PORTOPT $1 -l $remote_user "mkdir -p $3"
    680690       fi
    681691       if [[ $? != 0 ]]

  • palm/trunk/SCRIPTS/subjob

    r1200 r1202  
    2323# Current revisions:
    2424# ------------------
    25 #
     25# adjustments for Forwind cluster (lcflow)
    2626#
    2727# Former revisions:
    … …  
    837837 elif [[ $remote_host = lcflow ]]
    838838 then
    839     if [ $memory -gt 1900 ]; then
     839    if [ $memory -gt 1800 ]; then
    840840      use_himem=""
    841841    else
    … …  
    844844    if [[ $numprocs != 0 ]]
    845845    then
    846       pe_set="#$ -pe impi $numprocs"
    847     else
    848       pe_set="#$ -pe impi 1"
     846      pe_set="#$ -pe impi41 $numprocs"
     847    else
     848      pe_set="#$ -pe impi41 1"
    849849    fi
    850850    if [[ $queue = default ]]
    … …  
    14541454          echo "SGEPREFIX -cwd"                                          >>  $job_to_send
    14551455          echo "SGEPREFIX -l h_rt=01:00:00"                              >>  $job_to_send
    1456           echo "SGEPREFIX -l h_vmem=100M"                                >>  $job_to_send
     1456          echo "SGEPREFIX -l h_vmem=500M"                                >>  $job_to_send
     1457          echo "SGEPREFIX -l excl_flow=false"                            >>  $job_to_send
    14571458          echo "SGEPREFIX -j y"                                          >>  $job_to_send
    14581459          echo "SGEPREFIX -o ${local_host}_${job_name}_scpjob_$kennung"  >>  $job_to_send
    … …  
    15211522       then
    15221523          echo "mv  scpjob.$kennung  $job_catalog"           >>  $job_to_send
    1523           echo "ssh ${remote_username}@${remote_addres}  \"$init_cmds $module_calls cd $job_catalog; $submcom scpjob.$kennung\" "  >>  $job_to_send
     1524          echo "/usr/bin/ssh ${remote_username}@${remote_addres}  \"$init_cmds $module_calls cd $job_catalog; $submcom scpjob.$kennung\" "  >>  $job_to_send
    15241525       else
    15251526          echo "$submcom  scpjob.$kennung"      >>  $job_to_send
    … …  
    16261627       elif [[ $remote_host = lcflow ]]
    16271628       then
    1628           ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "$init_cmds $module_calls cd $job_catalog; $submcom $job_on_remhost"
     1629          /usr/bin/ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "$init_cmds $module_calls cd $job_catalog; $submcom $job_on_remhost"
    16291630       else
    16301631          ssh  $SSH_PORTOPT $remote_addres  -l $remote_user  "cd $job_catalog; $submcom $job_on_remhost; rm $job_on_remhost"
Note: See TracChangeset for help on using the changeset viewer.
                                                                                                                                                                                                                                                                                                                                                                               
  | Impressum | ©Leibniz Universität Hannover |