Changeset 678


Ignore:
Timestamp:
Feb 2, 2011 2:31:56 PM (13 years ago)
Author:
raasch
Message:

New:
---

further adjustments on Tsubame and concerning openMP usage
(mrun, mbuild, subjob)

Changed:


Errors:


Bugfix in calculation of divergence of vertical flux of resolved scale
energy, pressure fluctuations, and flux of pressure fluctuation itself
(flow statistics)

Bugfix: module pegrid was missing. (user_statistics)

Location:
palm/trunk
Files:
5 edited

Legend:

Unmodified
Added
Removed
  • palm/trunk/SCRIPTS/mbuild

    r635 r678  
    10431043          if [[ "$modules" != "" ]]
    10441044          then
    1045              module_calls="module load ${modules};"
     1045             if [[ $remote_host = lctit ]]
     1046             then
     1047                module_calls=". $modules"
     1048             else
     1049                module_calls="module load ${modules};"
     1050             fi
    10461051
    10471052                # bugfix for wrong netcdf module
     
    12031208          if [[ "$modules" != "" ]]
    12041209          then
    1205              module_calls="module load ${modules};"
     1210             if [[ $remote_host = lctit ]]
     1211             then
     1212                module_calls=". $modules"
     1213             else
     1214                module_calls="module load ${modules};"
     1215             fi
    12061216
    12071217                # bugfix for wrong netcdf module
     
    12631273       if [[ "$modules" != "" ]]
    12641274       then
    1265           module load ${modules}
     1275          if [[ $remote_host = lctit ]]
     1276          then
     1277             . $modules
     1278          else
     1279             module load ${modules}
     1280          fi
    12661281       fi
    12671282
  • palm/trunk/SCRIPTS/mrun

    r670 r678  
    217217     # 23/12/10 - Micha  - different number of processors in ocean and atmosphere
    218218     #                     is now allowed
     219     # 02/02/10 - Siggi  - further adjustments on Tsubame and concerning openMP
     220     #                     usage
     221
    219222
    220223
     
    21022105 if [[ "$modules" != "" ]]
    21032106 then
    2104     export module_calls="module load ${modules};"
     2107    if [[ $host = lctit ]]
     2108    then
     2109       export module_calls=". $modules"
     2110    else
     2111       export module_calls="module load ${modules};"
     2112    fi
    21052113 fi
    21062114
     
    33143322               #          export MV2_CPU_MAPPING=0,1,4,5,2,3,6,7
    33153323               #       fi
    3316                       [[ $use_openmp = true ]]  &&  unset MV2_CPU_MAPPING
    3317                       echo "*** MV2_CPU_MAPPING=$MV2_CPU_MAPPING"
    33183324                      if [[ $use_openmp = true ]]
    33193325                      then
     3326                         unset MV2_CPU_MAPPING
     3327                         export MV2_ENABLE_AFFINITY=0
     3328                      fi
     3329                      echo "*** MV2_CPU_MAPPING=$MV2_CPU_MAPPING"
     3330                      echo "*** MV2_ENABLE_AFFINITY=$MV2_ENABLE_AFFINITY"
     3331                      if [[ $use_openmp = true ]]
     3332                      then
     3333                         echo " mpiexec -npernode $tasks_per_node  ./a.out  $ROPTS  <  runfile_atmos"
    33203334                         mpiexec -npernode $tasks_per_node  ./a.out  $ROPTS  <  runfile_atmos
    33213335                      else
     
    34353449          elif [[ $host = lctit ]]
    34363450          then
    3437              mpirun  -np $numprocs  -hostfile $PBS_NODEFILE ./a.out  $ROPTS
     3451             export OMP_NUM_THREADS=$threads_per_task
     3452             echo "OMP_NUM_THREADS=$OMP_NUM_THREADS"
     3453             if [[ "$threads_per_task" != 1 ]]
     3454             then
     3455                export MV2_ENABLE_AFFINITY=0
     3456             fi
     3457             echo "----- PBS_NODEFILE content:"
     3458             cat $PBS_NODEFILE
     3459             echo "-----"
     3460             (( ii = $numprocs / $threads_per_task ))
     3461             echo "mpirun  -np $ii  -hostfile $PBS_NODEFILE ./a.out  $ROPTS"
     3462             mpirun  -np $ii  -hostfile $PBS_NODEFILE ./a.out  $ROPTS
    34383463          else
    34393464             mpprun  -n $numprocs  a.out  $ROPTS
  • palm/trunk/SCRIPTS/subjob

    r635 r678  
    126126     # 14/12/10 - Siggi - adjustments for new Tsubame system at Tokyo
    127127     #                    institute of technology (lctit)
     128     # 02/02/11 - Siggi - further asjustments for Tsubame concerning openMP
     129
    128130
    129131
     
    10381040#!/bin/ksh
    10391041
     1042$module_calls
     1043
    10401044%%END%%
    10411045
    10421046       # OPTIONEN FUER SUBMIT-KOMMANDO ZUSAMMENSTELLEN
    1043     submcom="$submcom -W group_list=$group_number -N $job_name -l walltime=$timestring -l select=$nodes:ncpus=$processes_per_node:mpiprocs=$tasks_per_node:mem=${Memory}gb -l place=scatter -o $remote_dayfile -j oe -q $queue "
     1047    if [[ $tasks_per_node != $processes_per_node ]]
     1048    then
     1049       submcom="$submcom -W group_list=$group_number -N $job_name -l walltime=$timestring -l select=$nodes:ncpus=$processes_per_node:mpiprocs=$tasks_per_node:mem=${Memory}gb -o $remote_dayfile -j oe -q $queue "
     1050    else
     1051       submcom="$submcom -W group_list=$group_number -N $job_name -l walltime=$timestring -l select=$nodes:ncpus=$processes_per_node:mpiprocs=$tasks_per_node:mem=${Memory}gb -l place=scatter -o $remote_dayfile -j oe -q $queue "
     1052    fi
    10441053
    10451054 else
  • palm/trunk/SOURCE/flow_statistics.f90

    r674 r678  
    44! Current revisions:
    55! -----------------
     6! Bugfix in calculation of divergence of vertical flux of resolved scale
     7! energy, pressure fluctuations, and flux of pressure fluctuation itself
    68!
    79! Former revisions:
     
    802804                   sums_ll(k,1) = sums_ll(k,1) + 0.5 * w(k,j,i) * (        &
    803805                  ( 0.25 * ( u(k,j,i)+u(k+1,j,i)+u(k,j,i+1)+u(k+1,j,i+1)   &
    804                            - 2.0 * ( hom(k,1,1,sr) + hom(k+1,1,1,sr) )     &
     806                           - 0.5 * ( hom(k,1,1,sr) + hom(k+1,1,1,sr) )     &
    805807                           ) )**2                                          &
    806808                + ( 0.25 * ( v(k,j,i)+v(k+1,j,i)+v(k,j+1,i)+v(k+1,j+1,i)   &
    807                            - 2.0 * ( hom(k,1,2,sr) + hom(k+1,1,2,sr) )     &
     809                           - 0.5 * ( hom(k,1,2,sr) + hom(k+1,1,2,sr) )     &
    808810                           ) )**2                                          &
    809811                   + w(k,j,i)**2                                  )
     
    820822          sums_ll(nzt+1,2) = 0.0
    821823
    822           DO  k = nzb_s_inner(j,i)+1, nzt
     824          DO  k = nzb+1, nzt
    823825             sums_l(k,55,tn) = ( sums_ll(k,1) - sums_ll(k-1,1) ) * ddzw(k)
    824826             sums_l(k,56,tn) = ( sums_ll(k,2) - sums_ll(k-1,2) ) * ddzw(k)
  • palm/trunk/SOURCE/user_statistics.f90

    r623 r678  
    44! Current revisions:
    55! -----------------
    6 !
     6! Bugfix: module pegrid was missing
    77!
    88! Former revisions:
     
    3535    USE indices
    3636    USE netcdf_control
     37    USE pegrid
    3738    USE statistics
    3839    USE user
Note: See TracChangeset for help on using the changeset viewer.