source: palm/trunk/SOURCE/init_masks.f90 @ 493

Last change on this file since 493 was 493, checked in by raasch, 14 years ago

New:
---
Output in NetCDF4-format. New d3par-parameter netcdf_data_format.

(check_open, check_parameters, close_file, data_output_2d, data_output_3d, header, modules, netcdf, parin)

Modules to be loaded for compilation (mbuild) or job execution (mrun)
can be given in the configuration file using variable modules. Example:

%modules ifort/11.0.069:netcdf lcsgih parallel

This method replaces the (undocumented) mpilib-variable.

WARNING: All fixed settings of modules in the scripts mbuild, mrun, and subjob
have been removed! Please set the modules variable appropriately in your
configuration file. (mbuild, mrun, subjob)

Changed:


Parameters netcdf_64bit and netcdf_64bit_3d have been removed. Use
netcdf_data_format = 2 for choosing the classic 64bit-offset format (this is
the default). The offset-format can not be set independently for the
3d-output-data any more.

Parameters netcdf_format_mask, netcdf_format_mask_av, and variables
nc_format_mask, format_parallel_io removed. They are replaced by the new
parameter netcdf_data_format. (check_open, close_file,
data_output_mask, header, init_masks, modules, parin)

Errors:


bugfix in trunk/UTIL/Makefile: forgot to compile for interpret_config

Bugfix: timeseries data have to be collected by PE0 (user_statistics)

  • Property svn:keywords set to Id
File size: 28.0 KB
Line 
1 SUBROUTINE init_masks
2
3!------------------------------------------------------------------------------!
4! Current revisions:
5! -----------------
6!
7!
8! Former revisions:
9! -----------------
10! $Id: init_masks.f90 493 2010-03-01 08:30:24Z raasch $
11!
12! 410 2009-12-04 17:05:40Z letzel
13! Initial revision
14!
15!
16! Description:
17! ------------
18! Initialize masked data output
19!------------------------------------------------------------------------------!
20
21    USE arrays_3d
22    USE control_parameters
23    USE grid_variables
24    USE indices
25    USE netcdf_control
26    USE particle_attributes
27    USE pegrid
28
29    IMPLICIT NONE
30
31    CHARACTER (LEN=6)   ::  var
32    CHARACTER (LEN=7)   ::  unit
33    CHARACTER (LEN=10), DIMENSION(max_masks,100) ::  do_mask, do_mask_user
34
35    INTEGER :: i, ilen, ind(6), ind_array(1), j, k, n, sender
36    INTEGER, DIMENSION(:), ALLOCATABLE ::  tmp_array
37
38    LOGICAL ::  found
39!
40!-- Allocation and initialization
41    ALLOCATE( tmp_array( MAX(nx,ny,nz)+1 ) )
42
43    ALLOCATE( mask_i(max_masks,nxr-nxl+1), &
44              mask_j(max_masks,nyn-nys+1), &
45              mask_k(max_masks,nzt-nzb+1) )
46!
47!-- internal mask arrays ("mask,dimension,selection")
48    ALLOCATE( mask(max_masks,3,mask_xyz_dimension), &
49              mask_loop(max_masks,3,3) )
50   
51!
52!-- Parallel mask output not yet tested
53    IF ( netcdf_data_format > 2 )  THEN
54       message_string = 'NetCDF file formats '//                         &
55                        '3 (NetCDF 4) and 4 (NetCDF 4 Classic model)'//  &
56                        '&are currently not supported (not yet tested).'
57       CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
58    ENDIF
59!
60!-- Store data output parameters for masked data output in few shared arrays
61    do_mask( 1,:) = data_output_mask_01; do_mask( 2,:) = data_output_mask_02
62    do_mask( 3,:) = data_output_mask_03; do_mask( 4,:) = data_output_mask_04
63    do_mask( 5,:) = data_output_mask_05; do_mask( 6,:) = data_output_mask_06
64    do_mask( 7,:) = data_output_mask_07; do_mask( 8,:) = data_output_mask_08
65    do_mask( 9,:) = data_output_mask_09; do_mask(10,:) = data_output_mask_10
66    do_mask(11,:) = data_output_mask_11; do_mask(12,:) = data_output_mask_12
67    do_mask(13,:) = data_output_mask_13; do_mask(14,:) = data_output_mask_14
68    do_mask(15,:) = data_output_mask_15; do_mask(16,:) = data_output_mask_16
69    do_mask(17,:) = data_output_mask_17; do_mask(18,:) = data_output_mask_18
70    do_mask(19,:) = data_output_mask_19; do_mask(20,:) = data_output_mask_20
71    do_mask_user( 1,:) = data_output_mask_user_01
72    do_mask_user( 2,:) = data_output_mask_user_02
73    do_mask_user( 3,:) = data_output_mask_user_03
74    do_mask_user( 4,:) = data_output_mask_user_04
75    do_mask_user( 5,:) = data_output_mask_user_05
76    do_mask_user( 6,:) = data_output_mask_user_06
77    do_mask_user( 7,:) = data_output_mask_user_07
78    do_mask_user( 8,:) = data_output_mask_user_08
79    do_mask_user( 9,:) = data_output_mask_user_09
80    do_mask_user(10,:) = data_output_mask_user_10
81    do_mask_user(11,:) = data_output_mask_user_11
82    do_mask_user(12,:) = data_output_mask_user_12
83    do_mask_user(13,:) = data_output_mask_user_13
84    do_mask_user(14,:) = data_output_mask_user_14
85    do_mask_user(15,:) = data_output_mask_user_15
86    do_mask_user(16,:) = data_output_mask_user_16
87    do_mask_user(17,:) = data_output_mask_user_17
88    do_mask_user(18,:) = data_output_mask_user_18
89    do_mask_user(19,:) = data_output_mask_user_19
90    do_mask_user(20,:) = data_output_mask_user_20
91    mask( 1,1,:) = mask_01_x; mask( 2,1,:) = mask_02_x
92    mask( 3,1,:) = mask_03_x; mask( 4,1,:) = mask_04_x
93    mask( 5,1,:) = mask_05_x; mask( 6,1,:) = mask_06_x
94    mask( 7,1,:) = mask_07_x; mask( 8,1,:) = mask_08_x
95    mask( 9,1,:) = mask_09_x; mask(10,1,:) = mask_10_x
96    mask(11,1,:) = mask_11_x; mask(12,1,:) = mask_12_x
97    mask(13,1,:) = mask_13_x; mask(14,1,:) = mask_14_x
98    mask(15,1,:) = mask_15_x; mask(16,1,:) = mask_16_x
99    mask(17,1,:) = mask_17_x; mask(18,1,:) = mask_18_x
100    mask(19,1,:) = mask_19_x; mask(20,1,:) = mask_20_x
101    mask( 1,2,:) = mask_01_y; mask( 2,2,:) = mask_02_y
102    mask( 3,2,:) = mask_03_y; mask( 4,2,:) = mask_04_y
103    mask( 5,2,:) = mask_05_y; mask( 6,2,:) = mask_06_y
104    mask( 7,2,:) = mask_07_y; mask( 8,2,:) = mask_08_y
105    mask( 9,2,:) = mask_09_y; mask(10,2,:) = mask_10_y
106    mask(11,2,:) = mask_11_y; mask(12,2,:) = mask_12_y
107    mask(13,2,:) = mask_13_y; mask(14,2,:) = mask_14_y
108    mask(15,2,:) = mask_15_y; mask(16,2,:) = mask_16_y
109    mask(17,2,:) = mask_17_y; mask(18,2,:) = mask_18_y
110    mask(19,2,:) = mask_19_y; mask(20,2,:) = mask_20_y
111    mask( 1,3,:) = mask_01_z; mask( 2,3,:) = mask_02_z
112    mask( 3,3,:) = mask_03_z; mask( 4,3,:) = mask_04_z
113    mask( 5,3,:) = mask_05_z; mask( 6,3,:) = mask_06_z
114    mask( 7,3,:) = mask_07_z; mask( 8,3,:) = mask_08_z
115    mask( 9,3,:) = mask_09_z; mask(10,3,:) = mask_10_z
116    mask(11,3,:) = mask_11_z; mask(12,3,:) = mask_12_z
117    mask(13,3,:) = mask_13_z; mask(14,3,:) = mask_14_z
118    mask(15,3,:) = mask_15_z; mask(16,3,:) = mask_16_z
119    mask(17,3,:) = mask_17_z; mask(18,3,:) = mask_18_z
120    mask(19,3,:) = mask_19_z; mask(20,3,:) = mask_20_z
121    mask_loop( 1,1,:) = mask_01_x_loop; mask_loop( 2,1,:) = mask_02_x_loop
122    mask_loop( 3,1,:) = mask_03_x_loop; mask_loop( 4,1,:) = mask_04_x_loop
123    mask_loop( 5,1,:) = mask_05_x_loop; mask_loop( 6,1,:) = mask_06_x_loop
124    mask_loop( 7,1,:) = mask_07_x_loop; mask_loop( 8,1,:) = mask_08_x_loop
125    mask_loop( 9,1,:) = mask_09_x_loop; mask_loop(10,1,:) = mask_10_x_loop
126    mask_loop(11,1,:) = mask_11_x_loop; mask_loop(12,1,:) = mask_12_x_loop
127    mask_loop(13,1,:) = mask_13_x_loop; mask_loop(14,1,:) = mask_14_x_loop
128    mask_loop(15,1,:) = mask_15_x_loop; mask_loop(16,1,:) = mask_16_x_loop
129    mask_loop(17,1,:) = mask_17_x_loop; mask_loop(18,1,:) = mask_18_x_loop
130    mask_loop(19,1,:) = mask_19_x_loop; mask_loop(20,1,:) = mask_20_x_loop
131    mask_loop( 1,2,:) = mask_01_y_loop; mask_loop( 2,2,:) = mask_02_y_loop
132    mask_loop( 3,2,:) = mask_03_y_loop; mask_loop( 4,2,:) = mask_04_y_loop
133    mask_loop( 5,2,:) = mask_05_y_loop; mask_loop( 6,2,:) = mask_06_y_loop
134    mask_loop( 7,2,:) = mask_07_y_loop; mask_loop( 8,2,:) = mask_08_y_loop
135    mask_loop( 9,2,:) = mask_09_y_loop; mask_loop(10,2,:) = mask_10_y_loop
136    mask_loop(11,2,:) = mask_11_y_loop; mask_loop(12,2,:) = mask_12_y_loop
137    mask_loop(13,2,:) = mask_13_y_loop; mask_loop(14,2,:) = mask_14_y_loop
138    mask_loop(15,2,:) = mask_15_y_loop; mask_loop(16,2,:) = mask_16_y_loop
139    mask_loop(17,2,:) = mask_17_y_loop; mask_loop(18,2,:) = mask_18_y_loop
140    mask_loop(19,2,:) = mask_19_y_loop; mask_loop(20,2,:) = mask_20_y_loop
141    mask_loop( 1,3,:) = mask_01_z_loop; mask_loop( 2,3,:) = mask_02_z_loop
142    mask_loop( 3,3,:) = mask_03_z_loop; mask_loop( 4,3,:) = mask_04_z_loop
143    mask_loop( 5,3,:) = mask_05_z_loop; mask_loop( 6,3,:) = mask_06_z_loop
144    mask_loop( 7,3,:) = mask_07_z_loop; mask_loop( 8,3,:) = mask_08_z_loop
145    mask_loop( 9,3,:) = mask_09_z_loop; mask_loop(10,3,:) = mask_10_z_loop
146    mask_loop(11,3,:) = mask_11_z_loop; mask_loop(12,3,:) = mask_12_z_loop
147    mask_loop(13,3,:) = mask_13_z_loop; mask_loop(14,3,:) = mask_14_z_loop
148    mask_loop(15,3,:) = mask_15_z_loop; mask_loop(16,3,:) = mask_16_z_loop
149    mask_loop(17,3,:) = mask_17_z_loop; mask_loop(18,3,:) = mask_18_z_loop
150    mask_loop(19,3,:) = mask_19_z_loop; mask_loop(20,3,:) = mask_20_z_loop
151    mask_i = -1; mask_j = -1; mask_k = -1
152!
153!-- Global arrays are required by define_netcdf_header.
154    IF ( myid == 0  .OR.  netcdf_data_format > 2 )  THEN
155       ALLOCATE( mask_i_global(max_masks,nx+1), &
156                 mask_j_global(max_masks,ny+1), &
157                 mask_k_global(max_masks,nz+1) )
158       mask_i_global = -1; mask_j_global = -1; mask_k_global = -1
159    ENDIF
160
161!
162!-- Determine variable names for each mask
163    DO  mid = 1, masks
164!
165!--    Append user-defined data output variables to the standard data output
166       IF ( do_mask_user(mid,1) /= ' ' )  THEN
167          i = 1
168          DO  WHILE ( do_mask(mid,i) /= ' '  .AND.  i <= 100 )
169             i = i + 1
170          ENDDO
171          j = 1
172          DO  WHILE ( do_mask_user(mid,j) /= ' '  .AND.  j <= 100 )
173             IF ( i > 100 )  THEN
174                WRITE ( message_string, * ) 'number of output quantitities ', &
175                     'given by data_output_mask and data_output_mask_user ', &
176                     'exceeds the limit of 100'
177                CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
178             ENDIF
179             do_mask(mid,i) = do_mask_user(mid,j)
180             i = i + 1
181             j = j + 1
182          ENDDO
183       ENDIF
184
185!
186!--    Check and set steering parameters for mask data output and averaging
187       i   = 1
188       DO  WHILE ( do_mask(mid,i) /= ' '  .AND.  i <= 100 )
189!
190!--       Check for data averaging
191          ilen = LEN_TRIM( do_mask(mid,i) )
192          j = 0                                              ! no data averaging
193          IF ( ilen > 3 )  THEN
194             IF ( do_mask(mid,i)(ilen-2:ilen) == '_av' )  THEN
195                j = 1                                           ! data averaging
196                do_mask(mid,i) = do_mask(mid,i)(1:ilen-3)
197             ENDIF
198          ENDIF
199          var = TRIM( do_mask(mid,i) )
200!
201!--       Check for allowed value and set units
202          SELECT CASE ( TRIM( var ) )
203
204             CASE ( 'e' )
205                IF ( constant_diffusion )  THEN
206                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
207                        '" requires constant_diffusion = .FALSE.'
208                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
209                ENDIF
210                unit = 'm2/s2'
211
212             CASE ( 'pc', 'pr' )
213                IF ( .NOT. particle_advection )  THEN
214                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
215                        '" requires a "particles_par"-NAMELIST in the ', &
216                        'parameter file (PARIN)'
217                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
218                ENDIF
219                IF ( TRIM( var ) == 'pc' )  unit = 'number'
220                IF ( TRIM( var ) == 'pr' )  unit = 'm'
221
222             CASE ( 'q', 'vpt' )
223                IF ( .NOT. humidity )  THEN
224                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
225                        '" requires humidity = .TRUE.'
226                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
227                ENDIF
228                IF ( TRIM( var ) == 'q'   )  unit = 'kg/kg'
229                IF ( TRIM( var ) == 'vpt' )  unit = 'K'
230
231             CASE ( 'ql' )
232                IF ( .NOT. ( cloud_physics  .OR.  cloud_droplets ) )  THEN
233                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
234                        '" requires cloud_physics = .TRUE. or cloud_droplets', &
235                        ' = .TRUE.'
236                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
237                ENDIF
238                unit = 'kg/kg'
239
240             CASE ( 'ql_c', 'ql_v', 'ql_vp' )
241                IF ( .NOT. cloud_droplets )  THEN
242                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
243                        '" requires cloud_droplets = .TRUE.'
244                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
245                ENDIF
246                IF ( TRIM( var ) == 'ql_c'  )  unit = 'kg/kg'
247                IF ( TRIM( var ) == 'ql_v'  )  unit = 'm3'
248                IF ( TRIM( var ) == 'ql_vp' )  unit = 'none'
249
250             CASE ( 'qv' )
251                IF ( .NOT. cloud_physics )  THEN
252                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
253                        '" requires cloud_physics = .TRUE.'
254                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
255                ENDIF
256                unit = 'kg/kg'
257
258             CASE ( 'rho' )
259                IF ( .NOT. ocean )  THEN
260                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
261                        '" requires ocean = .TRUE.'
262                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
263                ENDIF
264                unit = 'kg/m3'
265
266             CASE ( 's' )
267                IF ( .NOT. passive_scalar )  THEN
268                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
269                        '" requires passive_scalar = .TRUE.'
270                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
271                ENDIF
272                unit = 'conc'
273
274             CASE ( 'sa' )
275                IF ( .NOT. ocean )  THEN
276                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
277                        '" requires ocean = .TRUE.'
278                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
279                ENDIF
280                unit = 'psu'
281
282             CASE ( 'u*', 't*', 'lwp*', 'pra*', 'prr*', 'z0*' )
283                WRITE ( message_string, * ) 'illegal value for data_',&
284                     'output: "', TRIM( var ), '" is only allowed', &
285                     'for horizontal cross section'
286                CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
287!                IF ( TRIM( var ) == 'lwp*'  .AND.  .NOT. cloud_physics )  THEN
288!                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
289!                         '" requires cloud_physics = .TRUE.'
290!                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
291!                ENDIF
292!                IF ( TRIM( var ) == 'pra*'  .AND.  .NOT. precipitation )  THEN
293!                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
294!                         '" requires precipitation = .TRUE.'
295!                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
296!                ENDIF
297!                IF ( TRIM( var ) == 'pra*'  .AND.  j == 1 )  THEN
298!                   WRITE ( message_string, * ) 'temporal averaging of ', &
299!                         ' precipitation amount "', TRIM( var ),         &
300!                         '" not possible'
301!                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
302!                ENDIF
303!                IF ( TRIM( var ) == 'prr*'  .AND.  .NOT. precipitation )  THEN
304!                   WRITE ( message_string, * ) 'output of "', TRIM( var ), &
305!                         '" requires precipitation = .TRUE.'
306!                   CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
307!                ENDIF
308!
309!                IF ( TRIM( var ) == 'u*'   )  unit = 'm/s'
310!                IF ( TRIM( var ) == 't*'   )  unit = 'K'
311!                IF ( TRIM( var ) == 'lwp*' )  unit = 'kg/kg*m'
312!                IF ( TRIM( var ) == 'pra*' )  unit = 'mm'
313!                IF ( TRIM( var ) == 'prr*' )  unit = 'mm/s'
314!                IF ( TRIM( var ) == 'z0*'  )  unit = 'm'
315
316             CASE ( 'p', 'pt', 'u', 'v', 'w' )
317                IF ( TRIM( var ) == 'p'  )  unit = 'Pa'
318                IF ( TRIM( var ) == 'pt' )  unit = 'K'
319                IF ( TRIM( var ) == 'u'  )  unit = 'm/s'
320                IF ( TRIM( var ) == 'v'  )  unit = 'm/s'
321                IF ( TRIM( var ) == 'w'  )  unit = 'm/s'
322                CONTINUE
323
324             CASE DEFAULT
325                CALL user_check_data_output( var, unit )
326
327                IF ( unit == 'illegal' )  THEN
328                   IF ( do_mask_user(mid,1) /= ' ' )  THEN
329                      WRITE ( message_string, * ) 'illegal value for data_',&
330                           'output or data_output_user: "', &
331                           TRIM( do_mask(mid,i) ), '"'
332                      CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
333                   ELSE
334                      WRITE ( message_string, * ) 'illegal value for data_',&
335                           'output: "', TRIM( do_mask(mid,i) ), '"'
336                      CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
337                   ENDIF
338                ENDIF
339
340          END SELECT
341!
342!--       Set the internal steering parameters appropriately
343          domask_no(mid,j)                    = domask_no(mid,j) + 1
344          domask(mid,j,domask_no(mid,j))      = do_mask(mid,i)
345          domask_unit(mid,j,domask_no(mid,j)) = unit
346
347          IF ( j == 1 )  THEN
348!
349!--          Check, if variable is already subject to averaging
350             found = .FALSE.
351             DO  k = 1, doav_n
352                IF ( TRIM( doav(k) ) == TRIM( var ) )  found = .TRUE.
353             ENDDO
354
355             IF ( .NOT. found )  THEN
356                doav_n = doav_n + 1
357                doav(doav_n) = var
358             ENDIF
359          ENDIF
360
361          i = i + 1
362
363       ENDDO   ! do_mask(mid,i)
364    ENDDO   ! mid
365
366
367!
368!-- Determine mask locations for each mask
369    DO  mid = 1, masks
370!
371!--    Set local masks for each subdomain along all three dimensions
372       CALL set_mask_locations( 1, dx, 'dx', nx, 'nx', nxl, nxr )
373       CALL set_mask_locations( 2, dy, 'dy', ny, 'ny', nys, nyn )
374       CALL set_mask_locations( 3, dz, 'dz', nz, 'nz', nzb, nzt )
375!
376!--    Set global masks along all three dimensions (required by
377!--    define_netcdf_header).
378#if defined( __parallel )
379!
380!--    PE0 receives partial arrays from all processors of the respective mask
381!--    and outputs them. Here a barrier has to be set, because otherwise
382!--    "-MPI- FATAL: Remote protocol queue full" may occur.
383       CALL MPI_BARRIER( comm2d, ierr )
384
385       IF ( myid == 0 )  THEN
386!
387!--       Local arrays can be relocated directly.
388          mask_i_global(mid,mask_start_l(mid,1): &
389                       mask_start_l(mid,1)+mask_size_l(mid,1)-1) = &
390                       mask_i(mid,:mask_size_l(mid,1))
391          mask_j_global(mid,mask_start_l(mid,2): &
392                       mask_start_l(mid,2)+mask_size_l(mid,2)-1) = &
393                       mask_j(mid,:mask_size_l(mid,2))
394          mask_k_global(mid,mask_start_l(mid,3): &
395                       mask_start_l(mid,3)+mask_size_l(mid,3)-1) = &
396                       mask_k(mid,:mask_size_l(mid,3))
397!
398!--       Receive data from all other PEs.
399          DO  n = 1, numprocs-1
400!
401!--          Receive index limits first, then arrays.
402!--          Index limits are received in arbitrary order from the PEs.
403             CALL MPI_RECV( ind(1), 6, MPI_INTEGER, MPI_ANY_SOURCE, 0,  &
404                  comm2d, status, ierr )
405!
406!--          Not all PEs have data for the mask.
407             IF ( ind(1) /= -9999 )  THEN
408                sender = status(MPI_SOURCE)
409                CALL MPI_RECV( tmp_array(ind(1)), ind(2)-ind(1)+1,  &
410                               MPI_INTEGER, sender, 1, comm2d, status, ierr )
411                mask_i_global(mid,ind(1):ind(2)) = tmp_array(ind(1):ind(2))
412                CALL MPI_RECV( tmp_array(ind(3)), ind(4)-ind(3)+1,  &
413                               MPI_INTEGER, sender, 2, comm2d, status, ierr )
414                mask_j_global(mid,ind(3):ind(4)) = tmp_array(ind(3):ind(4))
415                CALL MPI_RECV( tmp_array(ind(5)), ind(6)-ind(5)+1,  &
416                               MPI_INTEGER, sender, 3, comm2d, status, ierr )
417                mask_k_global(mid,ind(5):ind(6)) = tmp_array(ind(5):ind(6))
418             ENDIF
419          ENDDO
420
421       ELSE
422!
423!--       If at least part of the mask resides on the PE, send the index limits
424!--       for the target array, otherwise send -9999 to PE0.
425          IF ( mask_size_l(mid,1) > 0 .AND.  mask_size_l(mid,2) > 0 .AND. &
426               mask_size_l(mid,3) > 0  ) &
427               THEN
428             ind(1) = mask_start_l(mid,1)
429             ind(2) = mask_start_l(mid,1) + mask_size_l(mid,1) - 1
430             ind(3) = mask_start_l(mid,2)
431             ind(4) = mask_start_l(mid,2) + mask_size_l(mid,2) - 1
432             ind(5) = mask_start_l(mid,3)
433             ind(6) = mask_start_l(mid,3) + mask_size_l(mid,3) - 1
434          ELSE
435             ind(1) = -9999; ind(2) = -9999
436             ind(3) = -9999; ind(4) = -9999
437             ind(5) = -9999; ind(6) = -9999
438          ENDIF
439          CALL MPI_SEND( ind(1), 6, MPI_INTEGER, 0, 0, comm2d, ierr )
440!
441!--       If applicable, send data to PE0.
442          IF ( ind(1) /= -9999 )  THEN
443             tmp_array(:mask_size_l(mid,1)) = mask_i(mid,:mask_size_l(mid,1))
444             CALL MPI_SEND( tmp_array(1), mask_size_l(mid,1),  &
445                            MPI_INTEGER, 0, 1, comm2d, ierr )
446             tmp_array(:mask_size_l(mid,2)) = mask_j(mid,:mask_size_l(mid,2))
447             CALL MPI_SEND( tmp_array(1), mask_size_l(mid,2),  &
448                            MPI_INTEGER, 0, 2, comm2d, ierr )
449             tmp_array(:mask_size_l(mid,3)) = mask_k(mid,:mask_size_l(mid,3))
450             CALL MPI_SEND( tmp_array(1), mask_size_l(mid,3),  &
451                            MPI_INTEGER, 0, 3, comm2d, ierr )
452          ENDIF
453       ENDIF
454!
455!--    A barrier has to be set, because otherwise some PEs may proceed too fast
456!--    so that PE0 may receive wrong data on tag 0.
457       CALL MPI_BARRIER( comm2d, ierr )
458       
459       IF ( netcdf_data_format > 2 )  THEN 
460         
461          CALL MPI_BCAST( mask_i_global(mid,:), nx+1, MPI_INTEGER, 0, comm2d, &
462                          ierr )
463          CALL MPI_BCAST( mask_j_global(mid,:), ny+1, MPI_INTEGER, 0, comm2d, &
464                          ierr )
465          CALL MPI_BCAST( mask_k_global(mid,:), nz+1, MPI_INTEGER, 0, comm2d, &
466                          ierr ) 
467         
468       ENDIF
469
470#else
471!
472!--    Local arrays can be relocated directly.
473       mask_i_global(mid,:) = mask_i(mid,:)
474       mask_j_global(mid,:) = mask_j(mid,:)
475       mask_k_global(mid,:) = mask_k(mid,:)
476#endif
477    ENDDO   ! mid
478
479    DEALLOCATE( tmp_array )
480!
481!-- Internal mask arrays cannot be deallocated on PE 0 because they are
482!-- required for header output on PE 0.
483    IF ( myid /= 0 )  DEALLOCATE( mask, mask_loop )
484
485 CONTAINS
486
487    SUBROUTINE set_mask_locations( dim, dxyz, dxyz_string, nxyz, nxyz_string, &
488                                   lb, ub )
489!------------------------------------------------------------------------------!
490!
491! Description:
492! ------------
493! Set local mask for each subdomain along 'dim' direction.
494!------------------------------------------------------------------------------!
495
496       IMPLICIT NONE
497
498       CHARACTER (LEN=2) :: dxyz_string, nxyz_string
499       INTEGER  ::  count, count_l, dim, m, loop_begin, loop_end, loop_stride, &
500                    lb, nxyz, ub
501       REAL     ::  dxyz, ddxyz, tmp1, tmp2
502
503       count = 0;  count_l = 0;  ddxyz = 1.0 / dxyz;  tmp1 = 0.0;  tmp2 = 0.0
504
505       IF ( mask(mid,dim,1) >= 0.0 )  THEN
506!
507!--       use predefined mask_* array
508          DO  WHILE ( mask(mid,dim,count+1) >= 0.0 )
509             count = count + 1
510             IF ( dim == 1 .OR. dim == 2 )  THEN
511                m = NINT( mask(mid,dim,count) * mask_scale(dim) * ddxyz )
512             ELSEIF ( dim == 3 )  THEN
513                ind_array =  &
514                     MINLOC( ABS( mask(mid,dim,count) * mask_scale(dim) - zw ) )
515                m = ind_array(1) - 1 + nzb  ! MINLOC uses lower array bound 1
516             ENDIF
517             IF ( m > nxyz )  THEN
518                WRITE ( message_string, '(I3,A,I3,A,I1,3A,I3)' )  &
519                     m,' in mask ',mid,' along dimension ',dim,  &
520                     ' exceeds ',nxyz_string,' = ',nxyz
521                CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
522             ENDIF
523             IF ( m >= lb .AND. m <= ub )  THEN
524                IF ( count_l == 0 )  mask_start_l(mid,dim) = count
525                count_l = count_l + 1
526                IF ( dim == 1 )  THEN
527                   mask_i(mid,count_l) = m
528                ELSEIF ( dim == 2 )  THEN
529                   mask_j(mid,count_l) = m
530                ELSEIF ( dim == 3 )  THEN
531                   mask_k(mid,count_l) = m
532                ENDIF
533             ENDIF
534             IF ( count == mask_xyz_dimension )  EXIT
535          ENDDO
536          mask_size(mid,dim)   = count
537          mask_size_l(mid,dim) = count_l
538
539       ELSE
540!
541!--       use predefined mask_loop_* array, or use the default (all grid points
542!--       along this direction)
543          IF ( mask_loop(mid,dim,1) < 0.0 )  THEN
544             tmp1 = mask_loop(mid,dim,1)
545             mask_loop(mid,dim,1) = 0.0   ! (default)
546          ENDIF
547          IF ( dim == 1 .OR. dim == 2 )  THEN
548             IF ( mask_loop(mid,dim,2) < 0.0 )  THEN
549                tmp2 = mask_loop(mid,dim,2)
550                mask_loop(mid,dim,2) = nxyz*dxyz / mask_scale(dim)   ! (default)
551             ENDIF
552             IF ( MAXVAL( mask_loop(mid,dim,1:2) )  &
553                  > nxyz * dxyz / mask_scale(dim) )  THEN
554                WRITE ( message_string, '(2(A,I3,A,I1,A,F9.3),5A,I1,A,F9.3)' ) &
555                     'mask_loop(',mid,',',dim,',1)=',mask_loop(mid,dim,1), &
556                     ' and/or mask_loop(',mid,',',dim,',2)=', &
557                     mask_loop(mid,dim,2),'&exceed ', &
558                     nxyz_string,'*',dxyz_string,'/mask_scale(',dim,')=', &
559                     nxyz*dxyz/mask_scale(dim)
560                CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
561             ENDIF
562             loop_begin  = NINT( mask_loop(mid,dim,1) * mask_scale(dim) * ddxyz )
563             loop_end    = NINT( mask_loop(mid,dim,2) * mask_scale(dim) * ddxyz )
564             loop_stride = NINT( mask_loop(mid,dim,3) * mask_scale(dim) * ddxyz )
565          ELSEIF ( dim == 3 )  THEN
566             IF ( mask_loop(mid,dim,2) < 0.0 )  THEN
567                tmp2 = mask_loop(mid,dim,2)
568                mask_loop(mid,dim,2) = zw(nz) / mask_scale(dim)   ! (default)
569             ENDIF
570             IF ( MAXVAL( mask_loop(mid,dim,1:2) )  &
571                  > zw(nz) / mask_scale(dim) )  THEN
572                WRITE ( message_string, '(2(A,I3,A,I1,A,F9.3),A,I1,A,F9.3)' ) &
573                     'mask_loop(',mid,',',dim,',1)=',mask_loop(mid,dim,1), &
574                     ' and/or mask_loop(',mid,',',dim,',2)=', &
575                     mask_loop(mid,dim,2),'&exceed zw(nz)/mask_scale(',dim, &
576                     ')=',zw(nz)/mask_scale(dim)
577                CALL message( 'init_masks', 'PA9998', 1, 2, 0, 6, 0 )
578             ENDIF
579             ind_array =  &
580                  MINLOC( ABS( mask_loop(mid,dim,1) * mask_scale(dim) - zw ) )
581             loop_begin =  &
582                  ind_array(1) - 1 + nzb ! MINLOC uses lower array bound 1
583             ind_array =  &
584                  MINLOC( ABS( mask_loop(mid,dim,2) * mask_scale(dim) - zw ) )
585             loop_end = ind_array(1) - 1 + nzb ! MINLOC uses lower array bound 1
586!
587!--          The following line assumes a constant vertical grid spacing within
588!--          the vertical mask range; it fails for vertical grid stretching.
589!--          Maybe revise later. Issue warning but continue execution.
590             loop_stride = NINT( mask_loop(mid,dim,3) * mask_scale(dim) * ddxyz )
591
592             IF ( mask_loop(mid,dim,2) * mask_scale(dim) > dz_stretch_level )  &
593                  THEN
594                WRITE ( message_string, '(A,I3,A,I1,A,F9.3,A,F8.2,3A)' )  &
595                     'mask_loop(',mid,dim,',2)=', mask_loop(mid,dim,2),&
596                     ' exceeds dz_stretch_level=',dz_stretch_level, &
597                     '.&Vertical mask locations will not ', &
598                     'match the desired heights&within the stretching ', &
599                     'region. Recommendation: use mask instead of mask_loop.'
600                CALL message( 'init_masks', 'PA9998', 0, 1, 0, 6, 0 )
601             ENDIF
602
603          ENDIF
604!
605!--       If necessary, reset mask_loop(mid,dim,1) and mask_loop(mid,dim,2).
606          IF ( tmp1 < 0.0 )  mask_loop(mid,dim,1) = tmp1
607          IF ( tmp2 < 0.0 )  mask_loop(mid,dim,2) = tmp2
608!
609!--       The default stride +/-1 (every grid point) applies if
610!--       mask_loop(mid,dim,3) is not specified (its default is zero).
611          IF ( loop_stride == 0 )  THEN
612             IF ( loop_end >= loop_begin )  THEN
613                loop_stride =  1
614             ELSE
615                loop_stride = -1
616             ENDIF
617          ENDIF
618          DO  m = loop_begin, loop_end, loop_stride
619             count = count + 1
620             IF ( m >= lb .AND. m <= ub )  THEN
621                IF ( count_l == 0 )  mask_start_l(mid,dim) = count
622                count_l = count_l + 1
623                IF ( dim == 1 )  THEN
624                   mask_i(mid,count_l) = m
625                ELSEIF ( dim == 2 )  THEN
626                   mask_j(mid,count_l) = m
627                ELSEIF ( dim == 3 )  THEN
628                   mask_k(mid,count_l) = m
629                ENDIF
630             ENDIF
631          ENDDO
632          mask_size(mid,dim)   = count
633          mask_size_l(mid,dim) = count_l
634       ENDIF
635
636    END SUBROUTINE set_mask_locations
637
638 END SUBROUTINE init_masks
Note: See TracBrowser for help on using the repository browser.