source: palm/trunk/SOURCE/write_restart_data_mod.f90

Last change on this file was 4893, checked in by raasch, 3 years ago

revised output of surface data via MPI-IO for better performance

  • Property svn:keywords set to Id
File size: 52.9 KB
Line 
1!> @file write_restart_data_mod.f90
2!--------------------------------------------------------------------------------------------------!
3! This file is part of the PALM model system.
4!
5! PALM is free software: you can redistribute it and/or modify it under the terms of the GNU General
6! Public License as published by the Free Software Foundation, either version 3 of the License, or
7! (at your option) any later version.
8!
9! PALM is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the
10! implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General
11! Public License for more details.
12!
13! You should have received a copy of the GNU General Public License along with PALM. If not, see
14! <http://www.gnu.org/licenses/>.
15!
16! Copyright 1997-2021 Leibniz Universitaet Hannover
17!--------------------------------------------------------------------------------------------------!
18!
19! Current revisions:
20! -----------------
21!
22!
23! Former revisions:
24! -----------------
25! $Id: write_restart_data_mod.f90 4893 2021-03-02 16:39:14Z banzhafs $
26! version number update because of revised output of surface data via MPI-IO for better performance
27!
28! 4848 2021-01-21 15:51:51Z gronemeier
29! bugfix: removed syn_turb_gen from restart files
30!
31! 4845 2021-01-18 11:15:37Z raasch
32! arrays removed that were required for radiation boundary conditions
33!
34! 4828 2021-01-05 11:21:41Z Giersch
35! include time_indoor into restart mechanism
36!
37! 4777 2020-11-06 14:50:49Z raasch
38! bugfix for writing spectra data with MPI-I/O (they are global arrays!)
39!
40! 4671 2020-09-09 20:27:58Z pavelkrc
41! Implementation of downward facing USM and LSM surfaces
42!
43! 4564 2020-06-12 14:03:36Z raasch
44! Vertical nesting method of Huq et al. (2019) removed
45!
46! 4536 2020-05-17 17:24:13Z raasch
47! binary version incremented
48!
49! 4535 2020-05-15 12:07:23Z raasch
50! bugfix for restart data format query
51!
52! 4514 2020-04-30 16:29:59Z suehring
53! qsurf and ssurf added
54!
55! 4495 2020-04-13 20:11:20Z raasch
56! restart data handling with MPI-IO added
57!
58! 4489 2020-04-04 10:54:08Z raasch
59! file re-formatted to follow the PALM coding standard
60!
61! 4360 2020-01-07 11:25:50Z suehring
62! - Move 2-m potential temperature to diagnostic_output_quantities.
63!
64! 4301 2019-11-22 12:09:09Z oliver.maas
65! removed recycling_yshift
66!
67! 4227 2019-09-10 18:04:34Z gronemeier
68! implement new palm_date_time_mod and increased binary version
69!
70! 4146 2019-08-07 07:47:36Z gronemeier
71! Corrected "Former revisions" section
72!
73! 4101 2019-07-17 15:14:26Z gronemeier
74! remove old_dt
75!
76! 4039 2019-06-18 10:32:41Z suehring
77! Modularize diagnostic output
78!
79! 4017 2019-06-06 12:16:46Z schwenkel
80! output of turbulence intensity added
81!
82! 3988 2019-05-22 11:32:37Z kanani
83! + time_virtual_measurement (to enable steering of output interval)
84!
85! 3936 2019-04-26 15:38:02Z kanani
86! Enable time-averaged output of theta_2m* with restarts
87!
88! 3668 2019-01-14 12:49:24Z maronga
89! Implementation of the PALM module interface
90!
91! 2894 2018-03-15 09:17:58Z Giersch
92! Initial revision
93!
94!
95! Description:
96! ------------
97!> Writes restart data into binary file(s) for restart runs.
98!--------------------------------------------------------------------------------------------------!
99 MODULE write_restart_data_mod
100
101
102    USE arrays_3d,                                                                                 &
103        ONLY:  e, inflow_damping_factor, kh, km, mean_inflow_profiles, p, pt, pt_init, q, q_init,  &
104               ql, ref_state, s, s_init, u, u_init, ug, v, v_init, vg, vpt, w
105
106    USE averaging
107
108    USE bulk_cloud_model_mod,                                                                      &
109        ONLY:  bulk_cloud_model
110
111    USE control_parameters
112
113    USE grid_variables,                                                                            &
114        ONLY:  dx, dy
115
116    USE gust_mod,                                                                                  &
117        ONLY:  gust_module_enabled
118
119    USE indices,                                                                                   &
120        ONLY:  nx, nxl, nxr, ny, nys, nyn, nz, nzb, nzt
121
122    USE indoor_model_mod,                                                                          &
123        ONLY:  time_indoor
124
125    USE kinds
126
127    USE model_1d_mod,                                                                              &
128        ONLY:  damp_level_1d, dt_pr_1d, dt_run_control_1d, end_time_1d
129
130    USE module_interface,                                                                          &
131        ONLY:  module_interface_wrd_global,                                                        &
132               module_interface_wrd_local
133
134    USE netcdf_interface,                                                                          &
135        ONLY:  netcdf_precision, output_for_t0
136
137    USE particle_attributes,                                                                       &
138        ONLY:  particle_advection
139
140    USE pegrid,                                                                                    &
141        ONLY:  collective_wait, hor_index_bounds, myid, numprocs
142
143    USE radiation_model_mod,                                                                       &
144        ONLY:  time_radiation
145
146    USE random_function_mod,                                                                       &
147        ONLY:  random_iv, random_iy
148
149    USE random_generator_parallel,                                                                 &
150        ONLY:  id_random_array, seq_random_array
151
152    USE restart_data_mpi_io_mod,                                                                   &
153        ONLY:  wrd_mpi_io, wrd_mpi_io_global_array
154
155    USE spectra_mod,                                                                               &
156        ONLY:  average_count_sp, spectrum_x, spectrum_y
157
158    USE statistics,                                                                                &
159        ONLY:  hom, hom_sum, statistic_regions, u_max, u_max_ijk, v_max, v_max_ijk, w_max,         &
160        w_max_ijk, z_i
161
162    USE surface_mod,                                                                               &
163        ONLY:  surface_wrd_local
164
165    USE user,                                                                                      &
166        ONLY:  user_module_enabled
167
168    USE virtual_measurement_mod,                                                                   &
169        ONLY:  time_virtual_measurement
170
171
172    IMPLICIT NONE
173
174
175    INTERFACE wrd_global
176       MODULE PROCEDURE wrd_global
177    END INTERFACE wrd_global
178
179    INTERFACE wrd_local
180       MODULE PROCEDURE wrd_local
181    END INTERFACE wrd_local
182
183
184    PUBLIC wrd_local, wrd_global
185
186
187 CONTAINS
188
189
190! Description:
191! ------------
192!> Global data of control variables and arrays is written out for restarts.
193!> In case of output in Fortran binary format, this information is only written to the file
194!> opened by PE0.
195!--------------------------------------------------------------------------------------------------!
196
197
198 SUBROUTINE wrd_global
199
200
201    CHARACTER(LEN=10) ::  binary_version_global  !<
202    CHARACTER(LEN=20) ::  tmp_name               !< temporary variable
203
204    INTEGER ::  i                                !< loop index
205
206    binary_version_global = '5.3'
207
208    IF ( restart_data_format_output == 'fortran_binary' )  THEN
209!
210!--    Output in Fortran binary format
211       CALL wrd_write_string( 'binary_version_global' )
212       WRITE ( 14 )  binary_version_global
213
214       CALL wrd_write_string( 'numprocs' )
215       WRITE ( 14 )  numprocs
216
217       CALL wrd_write_string( 'hor_index_bounds' )
218       WRITE ( 14 )  hor_index_bounds
219
220       CALL wrd_write_string( 'nz' )
221       WRITE ( 14 )  nz
222
223       CALL wrd_write_string( 'max_pr_user' )
224       WRITE ( 14 )  max_pr_user
225
226       CALL wrd_write_string( 'statistic_regions' )
227       WRITE ( 14 )  statistic_regions
228
229!
230!--    Caution: After changes in the following parameter-list, the version number stored in the
231!--    -------- variable binary_version_global has to be increased. The same changes must also be
232!--             done in the parameter-list in rrd_global.
233       CALL wrd_write_string( 'advected_distance_x' )
234       WRITE ( 14 )  advected_distance_x
235
236       CALL wrd_write_string( 'advected_distance_y' )
237       WRITE ( 14 )  advected_distance_y
238
239       CALL wrd_write_string( 'alpha_surface' )
240       WRITE ( 14 )  alpha_surface
241
242       CALL wrd_write_string( 'average_count_pr' )
243       WRITE ( 14 )  average_count_pr
244
245       CALL wrd_write_string( 'average_count_sp' )
246       WRITE ( 14 )  average_count_sp
247
248       CALL wrd_write_string( 'average_count_3d' )
249       WRITE ( 14 )  average_count_3d
250
251       CALL wrd_write_string( 'bc_e_b' )
252       WRITE ( 14 )  bc_e_b
253
254       CALL wrd_write_string( 'bc_lr' )
255       WRITE ( 14 )  bc_lr
256
257       CALL wrd_write_string( 'bc_ns' )
258       WRITE ( 14 )  bc_ns
259
260       CALL wrd_write_string( 'bc_p_b' )
261       WRITE ( 14 )  bc_p_b
262
263       CALL wrd_write_string( 'bc_p_t' )
264       WRITE ( 14 )  bc_p_t
265
266       CALL wrd_write_string( 'bc_pt_b' )
267       WRITE ( 14 )  bc_pt_b
268
269       CALL wrd_write_string( 'bc_pt_t' )
270       WRITE ( 14 )  bc_pt_t
271
272       CALL wrd_write_string( 'bc_pt_t_val' )
273       WRITE ( 14 )  bc_pt_t_val
274
275       CALL wrd_write_string( 'bc_q_b' )
276       WRITE ( 14 )  bc_q_b
277
278       CALL wrd_write_string( 'bc_q_t' )
279       WRITE ( 14 )  bc_q_t
280
281       CALL wrd_write_string( 'bc_q_t_val' )
282       WRITE ( 14 )  bc_q_t_val
283
284       CALL wrd_write_string( 'bc_s_b' )
285       WRITE ( 14 )  bc_s_b
286
287       CALL wrd_write_string( 'bc_s_t' )
288       WRITE ( 14 )  bc_s_t
289
290       CALL wrd_write_string( 'bc_uv_b' )
291       WRITE ( 14 )  bc_uv_b
292
293       CALL wrd_write_string( 'bc_uv_t' )
294       WRITE ( 14 )  bc_uv_t
295
296       CALL wrd_write_string( 'building_height' )
297       WRITE ( 14 )  building_height
298
299       CALL wrd_write_string( 'building_length_x' )
300       WRITE ( 14 )  building_length_x
301
302       CALL wrd_write_string( 'building_length_y' )
303       WRITE ( 14 )  building_length_y
304
305       CALL wrd_write_string( 'building_wall_left' )
306       WRITE ( 14 )  building_wall_left
307
308       CALL wrd_write_string( 'building_wall_south' )
309       WRITE ( 14 )  building_wall_south
310
311       CALL wrd_write_string( 'call_psolver_at_all_substeps' )
312       WRITE ( 14 )  call_psolver_at_all_substeps
313
314       CALL wrd_write_string( 'canyon_height' )
315       WRITE ( 14 )  canyon_height
316
317       CALL wrd_write_string( 'canyon_wall_left' )
318       WRITE ( 14 )  canyon_wall_left
319
320       CALL wrd_write_string( 'canyon_wall_south' )
321       WRITE ( 14 )  canyon_wall_south
322
323       CALL wrd_write_string( 'canyon_width_x' )
324       WRITE ( 14 )  canyon_width_x
325
326       CALL wrd_write_string( 'canyon_width_y' )
327       WRITE ( 14 )  canyon_width_y
328
329       CALL wrd_write_string( 'cfl_factor' )
330       WRITE ( 14 )  cfl_factor
331
332       CALL wrd_write_string( 'cloud_droplets' )
333       WRITE ( 14 )  cloud_droplets
334
335       CALL wrd_write_string( 'collective_wait' )
336       WRITE ( 14 )  collective_wait
337
338       CALL wrd_write_string( 'conserve_volume_flow' )
339       WRITE ( 14 )  conserve_volume_flow
340
341       CALL wrd_write_string( 'conserve_volume_flow_mode' )
342       WRITE ( 14 )  conserve_volume_flow_mode
343
344       CALL wrd_write_string( 'constant_flux_layer' )
345       WRITE ( 14 )  constant_flux_layer
346
347       CALL wrd_write_string( 'coupling_start_time' )
348       WRITE ( 14 )  coupling_start_time
349
350       CALL wrd_write_string( 'current_timestep_number' )
351       WRITE ( 14 )  current_timestep_number
352
353       CALL wrd_write_string( 'cycle_mg' )
354       WRITE ( 14 )  cycle_mg
355
356       CALL wrd_write_string( 'damp_level_1d' )
357       WRITE ( 14 )  damp_level_1d
358
359       CALL wrd_write_string( 'origin_date_time' )
360       WRITE ( 14 )  origin_date_time
361
362       CALL wrd_write_string( 'dissipation_1d' )
363       WRITE ( 14 )  dissipation_1d
364
365       CALL wrd_write_string( 'do2d_xy_time_count' )
366       WRITE ( 14 )  do2d_xy_time_count
367
368       CALL wrd_write_string( 'do2d_xz_time_count' )
369       WRITE ( 14 )  do2d_xz_time_count
370
371       CALL wrd_write_string( 'do2d_yz_time_count' )
372       WRITE ( 14 )  do2d_yz_time_count
373
374       CALL wrd_write_string( 'do3d_time_count' )
375       WRITE ( 14 )  do3d_time_count
376
377       CALL wrd_write_string( 'dp_external' )
378       WRITE ( 14 )  dp_external
379
380       CALL wrd_write_string( 'dp_level_b' )
381       WRITE ( 14 )  dp_level_b
382
383       CALL wrd_write_string( 'dp_smooth' )
384       WRITE ( 14 )  dp_smooth
385
386       CALL wrd_write_string( 'dpdxy' )
387       WRITE ( 14 )  dpdxy
388
389       CALL wrd_write_string( 'dt_3d' )
390       WRITE ( 14 )  dt_3d
391
392    CALL wrd_write_string( 'dt_pr_1d' )
393    WRITE ( 14 )  dt_pr_1d
394
395       CALL wrd_write_string( 'dt_run_control_1d' )
396       WRITE ( 14 )  dt_run_control_1d
397
398       CALL wrd_write_string( 'dx' )
399       WRITE ( 14 )  dx
400
401       CALL wrd_write_string( 'dy' )
402       WRITE ( 14 )  dy
403
404       CALL wrd_write_string( 'dz' )
405       WRITE ( 14 )  dz
406
407       CALL wrd_write_string( 'dz_max' )
408       WRITE ( 14 )  dz_max
409
410       CALL wrd_write_string( 'dz_stretch_factor' )
411       WRITE ( 14 )  dz_stretch_factor
412
413       CALL wrd_write_string( 'dz_stretch_factor_array' )
414       WRITE ( 14 )  dz_stretch_factor_array
415
416       CALL wrd_write_string( 'dz_stretch_level' )
417       WRITE ( 14 )  dz_stretch_level
418
419       CALL wrd_write_string( 'dz_stretch_level_end' )
420       WRITE ( 14 )  dz_stretch_level_end
421
422       CALL wrd_write_string( 'dz_stretch_level_start' )
423       WRITE ( 14 )  dz_stretch_level_start
424
425       CALL wrd_write_string( 'e_min' )
426       WRITE ( 14 )  e_min
427
428       CALL wrd_write_string( 'end_time_1d' )
429       WRITE ( 14 )  end_time_1d
430
431       CALL wrd_write_string( 'fft_method' )
432       WRITE ( 14 )  fft_method
433
434       CALL wrd_write_string( 'first_call_lpm' )
435       WRITE ( 14 )  first_call_lpm
436
437       CALL wrd_write_string( 'galilei_transformation' )
438       WRITE ( 14 )  galilei_transformation
439
440       CALL wrd_write_string( 'hom' )
441       WRITE ( 14 )  hom
442
443       CALL wrd_write_string( 'hom_sum' )
444       WRITE ( 14 )  hom_sum
445
446       CALL wrd_write_string( 'humidity' )
447       WRITE ( 14 )  humidity
448
449       IF ( ALLOCATED( inflow_damping_factor ) )  THEN
450          CALL wrd_write_string( 'inflow_damping_factor' )
451          WRITE ( 14 )  inflow_damping_factor
452       ENDIF
453
454       CALL wrd_write_string( 'inflow_damping_height' )
455       WRITE ( 14 )  inflow_damping_height
456
457       CALL wrd_write_string( 'inflow_damping_width' )
458       WRITE ( 14 )  inflow_damping_width
459
460       CALL wrd_write_string( 'inflow_disturbance_begin' )
461       WRITE ( 14 )  inflow_disturbance_begin
462
463       CALL wrd_write_string( 'inflow_disturbance_end' )
464       WRITE ( 14 )  inflow_disturbance_end
465
466       CALL wrd_write_string( 'km_constant' )
467       WRITE ( 14 )  km_constant
468
469       CALL wrd_write_string( 'large_scale_forcing' )
470       WRITE ( 14 )  large_scale_forcing
471
472       CALL wrd_write_string( 'large_scale_subsidence' )
473       WRITE ( 14 )  large_scale_subsidence
474
475       CALL wrd_write_string( 'latitude' )
476       WRITE ( 14 )  latitude
477
478       CALL wrd_write_string( 'longitude' )
479       WRITE ( 14 )  longitude
480
481       CALL wrd_write_string( 'loop_optimization' )
482       WRITE ( 14 )  loop_optimization
483
484       CALL wrd_write_string( 'masking_method' )
485       WRITE ( 14 )  masking_method
486
487       IF ( ALLOCATED( mean_inflow_profiles ) )  THEN
488          CALL wrd_write_string( 'mean_inflow_profiles' )
489          WRITE ( 14 )  mean_inflow_profiles
490       ENDIF
491
492       CALL wrd_write_string( 'mg_cycles' )
493       WRITE ( 14 )  mg_cycles
494
495       CALL wrd_write_string( 'mg_switch_to_pe0_level' )
496       WRITE ( 14 )  mg_switch_to_pe0_level
497
498       CALL wrd_write_string( 'mixing_length_1d' )
499       WRITE ( 14 )  mixing_length_1d
500
501       CALL wrd_write_string( 'momentum_advec' )
502       WRITE ( 14 )  momentum_advec
503
504       CALL wrd_write_string( 'netcdf_precision' )
505       WRITE ( 14 )  netcdf_precision
506
507       CALL wrd_write_string( 'neutral' )
508       WRITE ( 14 )  neutral
509
510       CALL wrd_write_string( 'ngsrb' )
511       WRITE ( 14 )  ngsrb
512
513       CALL wrd_write_string( 'nsor' )
514       WRITE ( 14 )  nsor
515
516       CALL wrd_write_string( 'nsor_ini' )
517       WRITE ( 14 )  nsor_ini
518
519       CALL wrd_write_string( 'nudging' )
520       WRITE ( 14 )  nudging
521
522       CALL wrd_write_string( 'num_leg' )
523       WRITE ( 14 )  num_leg
524
525       CALL wrd_write_string( 'nx' )
526       WRITE ( 14 )  nx
527
528       CALL wrd_write_string( 'ny' )
529       WRITE ( 14 )  ny
530
531       CALL wrd_write_string( 'ocean_mode' )
532       WRITE ( 14 )  ocean_mode
533
534       CALL wrd_write_string( 'omega' )
535       WRITE ( 14 )  omega
536
537       CALL wrd_write_string( 'omega_sor' )
538       WRITE ( 14 )  omega_sor
539
540       CALL wrd_write_string( 'output_for_t0' )
541       WRITE ( 14 )  output_for_t0
542
543       CALL wrd_write_string( 'passive_scalar' )
544       WRITE ( 14 )  passive_scalar
545
546       CALL wrd_write_string( 'prandtl_number' )
547       WRITE ( 14 )  prandtl_number
548
549       CALL wrd_write_string( 'psolver' )
550       WRITE ( 14 )  psolver
551
552       CALL wrd_write_string( 'pt_damping_factor' )
553       WRITE ( 14 )  pt_damping_factor
554
555       CALL wrd_write_string( 'pt_damping_width' )
556       WRITE ( 14 )  pt_damping_width
557
558       CALL wrd_write_string( 'pt_init' )
559       WRITE ( 14 )  pt_init
560
561       CALL wrd_write_string( 'pt_reference' )
562       WRITE ( 14 )  pt_reference
563
564       CALL wrd_write_string( 'pt_surface' )
565       WRITE ( 14 )  pt_surface
566
567       CALL wrd_write_string( 'pt_surface_initial_change' )
568       WRITE ( 14 )  pt_surface_initial_change
569
570       CALL wrd_write_string( 'pt_vertical_gradient' )
571       WRITE ( 14 )  pt_vertical_gradient
572
573       CALL wrd_write_string( 'pt_vertical_gradient_level' )
574       WRITE ( 14 )  pt_vertical_gradient_level
575
576       CALL wrd_write_string( 'pt_vertical_gradient_level_ind' )
577       WRITE ( 14 )  pt_vertical_gradient_level_ind
578
579       CALL wrd_write_string( 'q_init' )
580       WRITE ( 14 )  q_init
581
582       CALL wrd_write_string( 'q_surface' )
583       WRITE ( 14 )  q_surface
584
585       CALL wrd_write_string( 'q_surface_initial_change' )
586       WRITE ( 14 )  q_surface_initial_change
587
588       CALL wrd_write_string( 'q_vertical_gradient' )
589       WRITE ( 14 )  q_vertical_gradient
590
591       CALL wrd_write_string( 'q_vertical_gradient_level' )
592       WRITE ( 14 )  q_vertical_gradient_level
593
594       CALL wrd_write_string( 'q_vertical_gradient_level_ind' )
595       WRITE ( 14 )  q_vertical_gradient_level_ind
596
597       CALL wrd_write_string( 'random_generator' )
598       WRITE ( 14 )  random_generator
599
600       CALL wrd_write_string( 'random_heatflux' )
601       WRITE ( 14 )  random_heatflux
602
603       CALL wrd_write_string( 'rans_mode' )
604       WRITE ( 14 )  rans_mode
605
606       CALL wrd_write_string( 'rayleigh_damping_factor' )
607       WRITE ( 14 )  rayleigh_damping_factor
608
609       CALL wrd_write_string( 'rayleigh_damping_height' )
610       WRITE ( 14 )  rayleigh_damping_height
611
612       CALL wrd_write_string( 'recycling_width' )
613       WRITE ( 14 )  recycling_width
614
615       CALL wrd_write_string( 'ref_state' )
616       WRITE ( 14 )  ref_state
617
618       CALL wrd_write_string( 'reference_state' )
619       WRITE ( 14 )  reference_state
620
621       CALL wrd_write_string( 'residual_limit' )
622       WRITE ( 14 )  residual_limit
623
624       CALL wrd_write_string( 'roughness_length' )
625       WRITE ( 14 )  roughness_length
626
627       CALL wrd_write_string( 'run_coupled' )
628       WRITE ( 14 )  run_coupled
629
630       CALL wrd_write_string( 'runnr' )
631       WRITE ( 14 )  runnr
632
633       CALL wrd_write_string( 's_init' )
634       WRITE ( 14 )  s_init
635
636       CALL wrd_write_string( 's_surface' )
637       WRITE ( 14 )  s_surface
638
639       CALL wrd_write_string( 's_surface_initial_change' )
640       WRITE ( 14 )  s_surface_initial_change
641
642       CALL wrd_write_string( 's_vertical_gradient' )
643       WRITE ( 14 )  s_vertical_gradient
644
645       CALL wrd_write_string( 's_vertical_gradient_level' )
646       WRITE ( 14 )  s_vertical_gradient_level
647
648       CALL wrd_write_string( 's_vertical_gradient_level_ind' )
649       WRITE ( 14 )  s_vertical_gradient_level_ind
650
651       CALL wrd_write_string( 'scalar_advec' )
652       WRITE ( 14 )  scalar_advec
653
654       CALL wrd_write_string( 'simulated_time' )
655       WRITE ( 14 )  simulated_time
656
657       IF ( ALLOCATED( spectrum_x ) )  THEN
658          CALL wrd_write_string( 'spectrum_x' )
659          WRITE ( 14 )  spectrum_x
660          CALL wrd_write_string( 'spectrum_y' )
661          WRITE ( 14 )  spectrum_y
662       ENDIF
663
664       CALL wrd_write_string( 'spinup_time ' )
665       WRITE ( 14 )  spinup_time
666
667       CALL wrd_write_string( 'subs_vertical_gradient' )
668       WRITE ( 14 )  subs_vertical_gradient
669
670       CALL wrd_write_string( 'subs_vertical_gradient_level' )
671       WRITE ( 14 )  subs_vertical_gradient_level
672
673       CALL wrd_write_string( 'subs_vertical_gradient_level_i' )
674       WRITE ( 14 )  subs_vertical_gradient_level_i
675
676       CALL wrd_write_string( 'surface_heatflux' )
677       WRITE ( 14 )  surface_heatflux
678
679       CALL wrd_write_string( 'surface_pressure' )
680       WRITE ( 14 )  surface_pressure
681
682       CALL wrd_write_string( 'surface_scalarflux' )
683       WRITE ( 14 )  surface_scalarflux
684
685       CALL wrd_write_string( 'surface_waterflux' )
686       WRITE ( 14 )  surface_waterflux
687
688       CALL wrd_write_string( 'time_coupling' )
689       WRITE ( 14 )  time_coupling
690
691       CALL wrd_write_string( 'time_disturb' )
692       WRITE ( 14 )  time_disturb
693
694       CALL wrd_write_string( 'time_do2d_xy' )
695       WRITE ( 14 )  time_do2d_xy
696
697       CALL wrd_write_string( 'time_do2d_xz' )
698       WRITE ( 14 )  time_do2d_xz
699
700       CALL wrd_write_string( 'time_do2d_yz' )
701       WRITE ( 14 )  time_do2d_yz
702
703       CALL wrd_write_string( 'time_do3d' )
704       WRITE ( 14 )  time_do3d
705
706       CALL wrd_write_string( 'time_do_av' )
707       WRITE ( 14 )  time_do_av
708
709       CALL wrd_write_string( 'time_do_sla' )
710       WRITE ( 14 )  time_do_sla
711
712       CALL wrd_write_string( 'time_domask' )
713       WRITE ( 14 )  time_domask
714
715       CALL wrd_write_string( 'time_dopr' )
716       WRITE ( 14 )  time_dopr
717
718       CALL wrd_write_string( 'time_dopr_av' )
719       WRITE ( 14 )  time_dopr_av
720
721       CALL wrd_write_string( 'time_dopr_listing' )
722       WRITE ( 14 )  time_dopr_listing
723
724       CALL wrd_write_string( 'time_dopts' )
725       WRITE ( 14 )  time_dopts
726
727       CALL wrd_write_string( 'time_dosp' )
728       WRITE ( 14 )  time_dosp
729
730       CALL wrd_write_string( 'time_dots' )
731       WRITE ( 14 )  time_dots
732
733       CALL wrd_write_string( 'time_indoor' )
734       WRITE ( 14 )  time_indoor
735
736       CALL wrd_write_string( 'time_radiation' )
737       WRITE ( 14 )  time_radiation
738
739       CALL wrd_write_string( 'time_restart' )
740       WRITE ( 14 )  time_restart
741
742       CALL wrd_write_string( 'time_run_control' )
743       WRITE ( 14 )  time_run_control
744
745       CALL wrd_write_string( 'time_since_reference_point' )
746       WRITE ( 14 )  time_since_reference_point
747
748       CALL wrd_write_string( 'time_virtual_measurement' )
749       WRITE ( 14 )  time_virtual_measurement
750
751       CALL wrd_write_string( 'timestep_scheme' )
752       WRITE ( 14 )  timestep_scheme
753
754       CALL wrd_write_string( 'top_heatflux' )
755       WRITE ( 14 )  top_heatflux
756
757       CALL wrd_write_string( 'top_momentumflux_u' )
758       WRITE ( 14 )  top_momentumflux_u
759
760       CALL wrd_write_string( 'top_momentumflux_v' )
761       WRITE ( 14 )  top_momentumflux_v
762
763       CALL wrd_write_string( 'top_scalarflux' )
764       WRITE ( 14 )  top_scalarflux
765
766       CALL wrd_write_string( 'topography' )
767       WRITE ( 14 )  topography
768
769       CALL wrd_write_string( 'topography_grid_convention' )
770       WRITE ( 14 )  topography_grid_convention
771
772       CALL wrd_write_string( 'tsc' )
773       WRITE ( 14 )  tsc
774
775       CALL wrd_write_string( 'tunnel_height' )
776       WRITE ( 14 )  tunnel_height
777
778       CALL wrd_write_string( 'tunnel_length' )
779       WRITE ( 14 )  tunnel_length
780
781       CALL wrd_write_string( 'tunnel_wall_depth' )
782       WRITE ( 14 )  tunnel_wall_depth
783
784       CALL wrd_write_string( 'tunnel_width_x' )
785       WRITE ( 14 )  tunnel_width_x
786
787       CALL wrd_write_string( 'tunnel_width_y' )
788       WRITE ( 14 )  tunnel_width_y
789
790       CALL wrd_write_string( 'turbulence_closure' )
791       WRITE ( 14 )  turbulence_closure
792
793       CALL wrd_write_string( 'turbulent_inflow' )
794       WRITE ( 14 )  turbulent_inflow
795
796       CALL wrd_write_string( 'u_bulk' )
797       WRITE ( 14 )  u_bulk
798
799       CALL wrd_write_string( 'u_init' )
800       WRITE ( 14 )  u_init
801
802       CALL wrd_write_string( 'u_max' )
803       WRITE ( 14 )  u_max
804
805       CALL wrd_write_string( 'u_max_ijk' )
806       WRITE ( 14 )  u_max_ijk
807
808       CALL wrd_write_string( 'ug' )
809       WRITE ( 14 )  ug
810
811       CALL wrd_write_string( 'ug_surface' )
812       WRITE ( 14 )  ug_surface
813
814       CALL wrd_write_string( 'ug_vertical_gradient' )
815       WRITE ( 14 )  ug_vertical_gradient
816
817       CALL wrd_write_string( 'ug_vertical_gradient_level' )
818       WRITE ( 14 )  ug_vertical_gradient_level
819
820       CALL wrd_write_string( 'ug_vertical_gradient_level_ind' )
821       WRITE ( 14 )  ug_vertical_gradient_level_ind
822
823       CALL wrd_write_string( 'use_surface_fluxes' )
824       WRITE ( 14 )  use_surface_fluxes
825
826       CALL wrd_write_string( 'use_top_fluxes' )
827       WRITE ( 14 )  use_top_fluxes
828
829       CALL wrd_write_string( 'use_ug_for_galilei_tr' )
830       WRITE ( 14 )  use_ug_for_galilei_tr
831
832       CALL wrd_write_string( 'use_upstream_for_tke' )
833       WRITE ( 14 )  use_upstream_for_tke
834
835       CALL wrd_write_string( 'v_bulk' )
836       WRITE ( 14 )  v_bulk
837
838       CALL wrd_write_string( 'v_init' )
839       WRITE ( 14 )  v_init
840
841       CALL wrd_write_string( 'v_max' )
842       WRITE ( 14 )  v_max
843
844       CALL wrd_write_string( 'v_max_ijk' )
845       WRITE ( 14 )  v_max_ijk
846
847       CALL wrd_write_string( 'vg' )
848       WRITE ( 14 )  vg
849
850       CALL wrd_write_string( 'vg_surface' )
851       WRITE ( 14 )  vg_surface
852
853       CALL wrd_write_string( 'vg_vertical_gradient' )
854       WRITE ( 14 ) vg_vertical_gradient
855
856       CALL wrd_write_string( 'vg_vertical_gradient_level' )
857       WRITE ( 14 )  vg_vertical_gradient_level
858
859       CALL wrd_write_string( 'vg_vertical_gradient_level_ind' )
860       WRITE ( 14 )  vg_vertical_gradient_level_ind
861
862       CALL wrd_write_string( 'virtual_flight' )
863       WRITE ( 14 )  virtual_flight
864
865       CALL wrd_write_string( 'volume_flow_area' )
866       WRITE ( 14 )  volume_flow_area
867
868       CALL wrd_write_string( 'volume_flow_initial' )
869       WRITE ( 14 )  volume_flow_initial
870
871       CALL wrd_write_string( 'w_max' )
872       WRITE ( 14 )  w_max
873
874       CALL wrd_write_string( 'w_max_ijk' )
875       WRITE ( 14 )  w_max_ijk
876
877       CALL wrd_write_string( 'wall_adjustment' )
878       WRITE ( 14 )  wall_adjustment
879
880       CALL wrd_write_string( 'wall_heatflux' )
881       WRITE ( 14 )  wall_heatflux
882
883       CALL wrd_write_string( 'wall_humidityflux' )
884       WRITE ( 14 )  wall_humidityflux
885
886       CALL wrd_write_string( 'wall_scalarflux' )
887       WRITE ( 14 )  wall_scalarflux
888
889       CALL wrd_write_string( 'y_shift' )
890       WRITE ( 14 )  y_shift
891
892       CALL wrd_write_string( 'z0h_factor' )
893       WRITE ( 14 )  z0h_factor
894
895       CALL wrd_write_string( 'zeta_max' )
896       WRITE ( 14 )  zeta_max
897
898       CALL wrd_write_string( 'zeta_min' )
899       WRITE ( 14 )  zeta_min
900
901       CALL wrd_write_string( 'z_i' )
902       WRITE ( 14 )  z_i
903
904    ELSEIF ( restart_data_format_output(1:3) == 'mpi' )  THEN
905!
906!--    Write global restart data using MPI-IO
907!--    ATTENTION: Arrays need to be written with routine wrd_mpi_io_global_array!
908       CALL wrd_mpi_io( 'binary_version_global',  binary_version_global )
909       CALL wrd_mpi_io( 'numprocs',  numprocs )
910       CALL wrd_mpi_io( 'nz' , nz )
911       CALL wrd_mpi_io( 'max_pr_user',  max_pr_user )
912       CALL wrd_mpi_io( 'statistic_regions', statistic_regions )
913
914!
915!--    Caution: After changes in the following parameter-list, the version number stored in the
916!--    -------- variable binary_version_global has to be increased. The same changes must also be
917!--             done in the parameter-list in rrd_global.
918       CALL wrd_mpi_io( 'advected_distance_x',  advected_distance_x )
919       CALL wrd_mpi_io( 'advected_distance_y', advected_distance_y )
920       CALL wrd_mpi_io( 'alpha_surface', alpha_surface )
921       CALL wrd_mpi_io( 'average_count_pr', average_count_pr )
922       CALL wrd_mpi_io( 'average_count_sp', average_count_sp )
923       CALL wrd_mpi_io( 'average_count_3d', average_count_3d )
924       CALL wrd_mpi_io( 'bc_e_b', bc_e_b )
925       CALL wrd_mpi_io( 'bc_lr', bc_lr )
926       CALL wrd_mpi_io( 'bc_ns', bc_ns )
927       CALL wrd_mpi_io( 'bc_p_b', bc_p_b )
928       CALL wrd_mpi_io( 'bc_p_t', bc_p_t )
929       CALL wrd_mpi_io( 'bc_pt_b', bc_pt_b )
930       CALL wrd_mpi_io( 'bc_pt_t', bc_pt_t )
931       CALL wrd_mpi_io( 'bc_pt_t_val', bc_pt_t_val )
932       CALL wrd_mpi_io( 'bc_q_b', bc_q_b )
933       CALL wrd_mpi_io( 'bc_q_t', bc_q_t )
934       CALL wrd_mpi_io( 'bc_q_t_val', bc_q_t_val )
935       CALL wrd_mpi_io( 'bc_s_b', bc_s_b )
936       CALL wrd_mpi_io( 'bc_s_t', bc_s_t )
937       CALL wrd_mpi_io( 'bc_uv_b', bc_uv_b )
938       CALL wrd_mpi_io( 'bc_uv_t', bc_uv_t )
939       CALL wrd_mpi_io( 'biometeorology', biometeorology )
940       CALL wrd_mpi_io( 'building_height', building_height )
941       CALL wrd_mpi_io( 'building_length_x', building_length_x )
942       CALL wrd_mpi_io( 'building_length_y', building_length_y )
943       CALL wrd_mpi_io( 'building_wall_left', building_wall_left )
944       CALL wrd_mpi_io( 'building_wall_south', building_wall_south )
945       CALL wrd_mpi_io( 'bulk_cloud_model', bulk_cloud_model )
946       CALL wrd_mpi_io( 'call_psolver_at_all_substeps', call_psolver_at_all_substeps )
947       CALL wrd_mpi_io( 'canyon_height', canyon_height )
948       CALL wrd_mpi_io( 'canyon_wall_left', canyon_wall_left )
949       CALL wrd_mpi_io( 'canyon_wall_south', canyon_wall_south )
950       CALL wrd_mpi_io( 'canyon_width_x',  canyon_width_x )
951       CALL wrd_mpi_io( 'canyon_width_y', canyon_width_y )
952       CALL wrd_mpi_io( 'cfl_factor', cfl_factor )
953       CALL wrd_mpi_io( 'cloud_droplets',  cloud_droplets )
954       CALL wrd_mpi_io( 'collective_wait', collective_wait )
955       CALL wrd_mpi_io( 'conserve_volume_flow', conserve_volume_flow )
956       CALL wrd_mpi_io( 'conserve_volume_flow_mode', conserve_volume_flow_mode )
957       CALL wrd_mpi_io( 'constant_flux_layer', constant_flux_layer )
958       CALL wrd_mpi_io( 'coupling_start_time', coupling_start_time )
959       CALL wrd_mpi_io( 'current_timestep_number', current_timestep_number )
960       CALL wrd_mpi_io( 'cycle_mg', cycle_mg )
961       CALL wrd_mpi_io( 'damp_level_1d', damp_level_1d )
962       CALL wrd_mpi_io( 'dissipation_1d', dissipation_1d )
963       CALL wrd_mpi_io_global_array( 'do2d_xy_time_count', do2d_xy_time_count )
964       CALL wrd_mpi_io_global_array( 'do2d_xz_time_count', do2d_xz_time_count )
965       CALL wrd_mpi_io_global_array( 'do2d_yz_time_count', do2d_yz_time_count )
966       CALL wrd_mpi_io_global_array( 'do3d_time_count', do3d_time_count )
967       CALL wrd_mpi_io( 'dp_external', dp_external )
968       CALL wrd_mpi_io( 'dp_level_b', dp_level_b )
969       CALL wrd_mpi_io( 'dp_smooth', dp_smooth )
970       CALL wrd_mpi_io_global_array( 'dpdxy', dpdxy )
971       CALL wrd_mpi_io( 'dt_3d', dt_3d )
972       CALL wrd_mpi_io( 'dt_pr_1d', dt_pr_1d )
973       CALL wrd_mpi_io( 'dt_run_control_1d', dt_run_control_1d )
974       CALL wrd_mpi_io( 'dx', dx )
975       CALL wrd_mpi_io( 'dy', dy )
976       CALL wrd_mpi_io_global_array( 'dz', dz )
977       CALL wrd_mpi_io( 'dz_max', dz_max )
978       CALL wrd_mpi_io( 'dz_stretch_factor', dz_stretch_factor )
979       CALL wrd_mpi_io_global_array( 'dz_stretch_factor_array', dz_stretch_factor_array )
980       CALL wrd_mpi_io( 'dz_stretch_level', dz_stretch_level )
981       CALL wrd_mpi_io_global_array( 'dz_stretch_level_end', dz_stretch_level_end )
982       CALL wrd_mpi_io_global_array( 'dz_stretch_level_start', dz_stretch_level_start )
983       CALL wrd_mpi_io( 'e_min', e_min )
984       CALL wrd_mpi_io( 'end_time_1d', end_time_1d )
985       CALL wrd_mpi_io( 'fft_method', fft_method )
986       CALL wrd_mpi_io( 'first_call_lpm', first_call_lpm )
987       CALL wrd_mpi_io( 'galilei_transformation', galilei_transformation )
988       CALL wrd_mpi_io( 'gust_module_enabled', gust_module_enabled )
989       CALL wrd_mpi_io_global_array( 'hom', hom )
990       CALL wrd_mpi_io_global_array( 'hom_sum', hom_sum )
991       CALL wrd_mpi_io( 'humidity', humidity )
992       IF ( ALLOCATED( inflow_damping_factor ) )  THEN
993          CALL wrd_mpi_io_global_array( 'inflow_damping_factor', inflow_damping_factor )
994       ENDIF
995       CALL wrd_mpi_io( 'inflow_damping_height', inflow_damping_height )
996       CALL wrd_mpi_io( 'inflow_damping_width', inflow_damping_width )
997       CALL wrd_mpi_io( 'inflow_disturbance_begin', inflow_disturbance_begin )
998       CALL wrd_mpi_io( 'inflow_disturbance_end', inflow_disturbance_end )
999       CALL wrd_mpi_io( 'km_constant', km_constant )
1000       CALL wrd_mpi_io( 'large_scale_forcing', large_scale_forcing )
1001       CALL wrd_mpi_io( 'large_scale_subsidence', large_scale_subsidence )
1002       CALL wrd_mpi_io( 'latitude', latitude )
1003       CALL wrd_mpi_io( 'longitude', longitude )
1004       CALL wrd_mpi_io( 'loop_optimization', loop_optimization )
1005       CALL wrd_mpi_io( 'masking_method', masking_method )
1006       IF ( ALLOCATED( mean_inflow_profiles ) )  THEN
1007          CALL wrd_mpi_io_global_array( 'mean_inflow_profiles', mean_inflow_profiles )
1008       ENDIF
1009       CALL wrd_mpi_io( 'mg_cycles', mg_cycles )
1010       CALL wrd_mpi_io( 'mg_switch_to_pe0_level', mg_switch_to_pe0_level )
1011       CALL wrd_mpi_io( 'mixing_length_1d', mixing_length_1d )
1012       CALL wrd_mpi_io( 'momentum_advec', momentum_advec )
1013!
1014!--    There is no module procedure for CHARACTER arrays
1015       DO  i = 1, SIZE( netcdf_precision, 1 )
1016          WRITE ( tmp_name, '(A,I2.2)' )  'netcdf_precision_', i
1017          CALL wrd_mpi_io( TRIM( tmp_name ), netcdf_precision(i) )
1018       ENDDO
1019       CALL wrd_mpi_io( 'neutral', neutral )
1020       CALL wrd_mpi_io( 'ngsrb', ngsrb )
1021       CALL wrd_mpi_io( 'nsor', nsor )
1022       CALL wrd_mpi_io( 'nsor_ini', nsor_ini )
1023       CALL wrd_mpi_io( 'nudging', nudging )
1024       CALL wrd_mpi_io( 'num_leg', num_leg )
1025       CALL wrd_mpi_io( 'nx', nx )
1026       CALL wrd_mpi_io( 'ny', ny )
1027       CALL wrd_mpi_io( 'ocean_mode', ocean_mode )
1028       CALL wrd_mpi_io( 'omega', omega )
1029       CALL wrd_mpi_io( 'omega_sor', omega_sor )
1030       CALL wrd_mpi_io( 'origin_date_time', origin_date_time )
1031       CALL wrd_mpi_io( 'output_for_t0', output_for_t0 )
1032       CALL wrd_mpi_io( 'particle_advection', particle_advection )
1033       CALL wrd_mpi_io( 'passive_scalar', passive_scalar )
1034       CALL wrd_mpi_io( 'prandtl_number', prandtl_number )
1035       CALL wrd_mpi_io( 'psolver', psolver )
1036       CALL wrd_mpi_io( 'pt_damping_factor', pt_damping_factor )
1037       CALL wrd_mpi_io( 'pt_damping_width', pt_damping_width )
1038       CALL wrd_mpi_io_global_array( 'pt_init', pt_init )
1039       CALL wrd_mpi_io( 'pt_reference', pt_reference )
1040       CALL wrd_mpi_io( 'pt_surface', pt_surface )
1041       CALL wrd_mpi_io( 'pt_surface_initial_change', pt_surface_initial_change )
1042       CALL wrd_mpi_io_global_array( 'pt_vertical_gradient', pt_vertical_gradient )
1043       CALL wrd_mpi_io_global_array( 'pt_vertical_gradient_level', pt_vertical_gradient_level )
1044       CALL wrd_mpi_io_global_array( 'pt_vertical_gradient_level_ind', pt_vertical_gradient_level_ind )
1045       CALL wrd_mpi_io_global_array( 'q_init', q_init )
1046       CALL wrd_mpi_io( 'q_surface', q_surface )
1047       CALL wrd_mpi_io( 'q_surface_initial_change', q_surface_initial_change )
1048       CALL wrd_mpi_io_global_array( 'q_vertical_gradient', q_vertical_gradient )
1049       CALL wrd_mpi_io_global_array( 'q_vertical_gradient_level', q_vertical_gradient_level )
1050       CALL wrd_mpi_io_global_array( 'q_vertical_gradient_level_ind', q_vertical_gradient_level_ind )
1051       CALL wrd_mpi_io( 'random_generator', random_generator )
1052       CALL wrd_mpi_io( 'random_heatflux', random_heatflux )
1053       CALL wrd_mpi_io( 'rans_mode', rans_mode )
1054       CALL wrd_mpi_io( 'rayleigh_damping_factor', rayleigh_damping_factor )
1055       CALL wrd_mpi_io( 'rayleigh_damping_height', rayleigh_damping_height )
1056       CALL wrd_mpi_io( 'recycling_width', recycling_width )
1057       CALL wrd_mpi_io_global_array( 'ref_state', ref_state )
1058       CALL wrd_mpi_io( 'reference_state', reference_state )
1059       CALL wrd_mpi_io( 'residual_limit', residual_limit )
1060       CALL wrd_mpi_io( 'roughness_length', roughness_length )
1061       CALL wrd_mpi_io( 'run_coupled', run_coupled )
1062       CALL wrd_mpi_io( 'runnr', runnr )
1063       CALL wrd_mpi_io_global_array( 's_init', s_init )
1064       CALL wrd_mpi_io( 's_surface', s_surface )
1065       CALL wrd_mpi_io( 's_surface_initial_change', s_surface_initial_change )
1066       CALL wrd_mpi_io_global_array( 's_vertical_gradient', s_vertical_gradient )
1067       CALL wrd_mpi_io_global_array( 's_vertical_gradient_level', s_vertical_gradient_level )
1068       CALL wrd_mpi_io_global_array( 's_vertical_gradient_level_ind', s_vertical_gradient_level_ind )
1069       CALL wrd_mpi_io( 'scalar_advec', scalar_advec )
1070       CALL wrd_mpi_io( 'simulated_time', simulated_time )
1071       IF ( ALLOCATED( spectrum_x ) )  THEN
1072          CALL wrd_mpi_io_global_array( 'spectrum_x', spectrum_x )
1073          CALL wrd_mpi_io_global_array( 'spectrum_y', spectrum_y )
1074       ENDIF
1075       CALL wrd_mpi_io( 'spinup_time ', spinup_time )
1076       CALL wrd_mpi_io_global_array( 'subs_vertical_gradient', subs_vertical_gradient )
1077       CALL wrd_mpi_io_global_array( 'subs_vertical_gradient_level', subs_vertical_gradient_level )
1078       CALL wrd_mpi_io_global_array( 'subs_vertical_gradient_level_i', subs_vertical_gradient_level_i )
1079       CALL wrd_mpi_io( 'surface_heatflux', surface_heatflux )
1080       CALL wrd_mpi_io( 'surface_output', surface_output )
1081       CALL wrd_mpi_io( 'surface_pressure', surface_pressure )
1082       CALL wrd_mpi_io( 'surface_scalarflux', surface_scalarflux )
1083       CALL wrd_mpi_io( 'surface_waterflux', surface_waterflux )
1084       CALL wrd_mpi_io( 'time_coupling', time_coupling )
1085       CALL wrd_mpi_io( 'time_disturb', time_disturb )
1086       CALL wrd_mpi_io( 'time_do2d_xy', time_do2d_xy )
1087       CALL wrd_mpi_io( 'time_do2d_xz', time_do2d_xz )
1088       CALL wrd_mpi_io( 'time_do2d_yz', time_do2d_yz )
1089       CALL wrd_mpi_io( 'time_do3d', time_do3d )
1090       CALL wrd_mpi_io( 'time_do_av', time_do_av )
1091       CALL wrd_mpi_io( 'time_do_sla', time_do_sla )
1092       CALL wrd_mpi_io_global_array( 'time_domask', time_domask )
1093       CALL wrd_mpi_io( 'time_dopr', time_dopr )
1094       CALL wrd_mpi_io( 'time_dopr_av', time_dopr_av )
1095       CALL wrd_mpi_io( 'time_dopr_listing', time_dopr_listing )
1096       CALL wrd_mpi_io( 'time_dopts', time_dopts )
1097       CALL wrd_mpi_io( 'time_dosp', time_dosp )
1098       CALL wrd_mpi_io( 'time_dots', time_dots )
1099       CALL wrd_mpi_io( 'time_indoor', time_indoor )
1100       CALL wrd_mpi_io( 'time_radiation', time_radiation )
1101       CALL wrd_mpi_io( 'time_restart', time_restart )
1102       CALL wrd_mpi_io( 'time_run_control', time_run_control )
1103       CALL wrd_mpi_io( 'time_since_reference_point', time_since_reference_point )
1104       CALL wrd_mpi_io( 'time_virtual_measurement', time_virtual_measurement )
1105       CALL wrd_mpi_io( 'timestep_scheme', timestep_scheme )
1106       CALL wrd_mpi_io( 'top_heatflux', top_heatflux )
1107       CALL wrd_mpi_io( 'top_momentumflux_u', top_momentumflux_u )
1108       CALL wrd_mpi_io( 'top_momentumflux_v', top_momentumflux_v )
1109       CALL wrd_mpi_io( 'top_scalarflux', top_scalarflux )
1110       CALL wrd_mpi_io( 'topography', topography )
1111       CALL wrd_mpi_io( 'topography_grid_convention', topography_grid_convention )
1112       CALL wrd_mpi_io_global_array( 'tsc', tsc )
1113       CALL wrd_mpi_io( 'tunnel_height', tunnel_height )
1114       CALL wrd_mpi_io( 'tunnel_length', tunnel_length )
1115       CALL wrd_mpi_io( 'tunnel_wall_depth', tunnel_wall_depth )
1116       CALL wrd_mpi_io( 'tunnel_width_x', tunnel_width_x )
1117       CALL wrd_mpi_io( 'tunnel_width_y', tunnel_width_y )
1118       CALL wrd_mpi_io( 'turbulence_closure', turbulence_closure )
1119       CALL wrd_mpi_io( 'turbulent_inflow', turbulent_inflow )
1120       CALL wrd_mpi_io( 'u_bulk', u_bulk )
1121       CALL wrd_mpi_io_global_array( 'u_init', u_init )
1122       CALL wrd_mpi_io( 'u_max', u_max )
1123       CALL wrd_mpi_io_global_array( 'u_max_ijk', u_max_ijk )
1124       CALL wrd_mpi_io_global_array( 'ug', ug )
1125       CALL wrd_mpi_io( 'ug_surface', ug_surface )
1126       CALL wrd_mpi_io_global_array( 'ug_vertical_gradient', ug_vertical_gradient )
1127       CALL wrd_mpi_io_global_array( 'ug_vertical_gradient_level', ug_vertical_gradient_level )
1128       CALL wrd_mpi_io_global_array( 'ug_vertical_gradient_level_ind', ug_vertical_gradient_level_ind )
1129       CALL wrd_mpi_io( 'use_surface_fluxes', use_surface_fluxes )
1130       CALL wrd_mpi_io( 'use_top_fluxes', use_top_fluxes )
1131       CALL wrd_mpi_io( 'use_ug_for_galilei_tr', use_ug_for_galilei_tr )
1132       CALL wrd_mpi_io( 'use_upstream_for_tke', use_upstream_for_tke )
1133       CALL wrd_mpi_io( 'user_module_enabled', user_module_enabled )
1134       CALL wrd_mpi_io( 'v_bulk', v_bulk )
1135       CALL wrd_mpi_io_global_array( 'v_init', v_init )
1136       CALL wrd_mpi_io( 'v_max', v_max )
1137       CALL wrd_mpi_io_global_array( 'v_max_ijk', v_max_ijk )
1138       CALL wrd_mpi_io_global_array( 'vg', vg )
1139       CALL wrd_mpi_io( 'vg_surface', vg_surface )
1140       CALL wrd_mpi_io_global_array( 'vg_vertical_gradient', vg_vertical_gradient )
1141       CALL wrd_mpi_io_global_array( 'vg_vertical_gradient_level', vg_vertical_gradient_level )
1142       CALL wrd_mpi_io_global_array( 'vg_vertical_gradient_level_ind', vg_vertical_gradient_level_ind )
1143       CALL wrd_mpi_io( 'virtual_flight', virtual_flight )
1144       CALL wrd_mpi_io_global_array( 'volume_flow_area', volume_flow_area )
1145       CALL wrd_mpi_io_global_array( 'volume_flow_initial', volume_flow_initial )
1146       CALL wrd_mpi_io( 'w_max', w_max )
1147       CALL wrd_mpi_io_global_array( 'w_max_ijk', w_max_ijk )
1148       CALL wrd_mpi_io( 'wall_adjustment', wall_adjustment )
1149       CALL wrd_mpi_io_global_array( 'wall_heatflux', wall_heatflux )
1150       CALL wrd_mpi_io_global_array( 'wall_humidityflux', wall_humidityflux )
1151       CALL wrd_mpi_io_global_array( 'wall_scalarflux', wall_scalarflux )
1152       CALL wrd_mpi_io( 'y_shift', y_shift )
1153       CALL wrd_mpi_io( 'z0h_factor', z0h_factor )
1154       CALL wrd_mpi_io( 'zeta_max', zeta_max )
1155       CALL wrd_mpi_io( 'zeta_min', zeta_min )
1156       CALL wrd_mpi_io_global_array( 'z_i', z_i )
1157
1158    ENDIF
1159
1160!
1161!-- Write restart data of the other modules
1162    CALL module_interface_wrd_global
1163
1164
1165 END SUBROUTINE wrd_global
1166
1167
1168!--------------------------------------------------------------------------------------------------!
1169! Description:
1170! ------------
1171!> Processor specific data of variables and arrays is written out for restarts (binary format).
1172!> This information is written to the file opened by each PE.
1173!--------------------------------------------------------------------------------------------------!
1174
1175
1176 SUBROUTINE wrd_local
1177
1178
1179    CHARACTER(LEN=10) ::  binary_version_local  !<
1180    CHARACTER(LEN=20) ::  tmp_name              !<  temporary variable
1181
1182    INTEGER ::  i                               !<  loop index
1183
1184!
1185!-- Write arrays.
1186    binary_version_local = '5.1'
1187
1188    IF ( TRIM( restart_data_format_output ) == 'fortran_binary' )  THEN
1189!
1190!--    Output in Fortran binary format
1191
1192       CALL wrd_write_string( 'binary_version_local' )
1193       WRITE ( 14 )  binary_version_local
1194
1195       WRITE ( 14 )  numprocs, myid, nxl, nxr, nys, nyn, nzb, nzt
1196
1197!
1198!--    Attention: After changes to the following output commands the version number of the variable
1199!--    ---------- binary_version_local must be changed!
1200!--               Also, the list of arrays to be read in rrd_local must be adjusted accordingly.
1201       CALL wrd_write_string( 'e' )
1202       WRITE ( 14 )  e
1203
1204       IF ( ALLOCATED( e_av ) )  THEN
1205          CALL wrd_write_string( 'e_av' )
1206          WRITE ( 14 )  e_av
1207       ENDIF
1208
1209       CALL wrd_write_string( 'kh' )
1210       WRITE ( 14 )  kh
1211
1212
1213       IF ( ALLOCATED( kh_av ) )  THEN
1214          CALL wrd_write_string( 'kh_av' )
1215          WRITE ( 14 )  kh_av
1216       ENDIF
1217
1218       CALL wrd_write_string( 'km' )
1219       WRITE ( 14 )  km
1220
1221       IF ( ALLOCATED( km_av ) )  THEN
1222          CALL wrd_write_string( 'km_av' )
1223          WRITE ( 14 )  km_av
1224       ENDIF
1225
1226       IF ( ALLOCATED( lpt_av ) )  THEN
1227          CALL wrd_write_string( 'lpt_av' )
1228          WRITE ( 14 )  lpt_av
1229       ENDIF
1230
1231       IF ( ALLOCATED( lwp_av ) )  THEN
1232          CALL wrd_write_string( 'lwp_av' )
1233          WRITE ( 14 )  lwp_av
1234       ENDIF
1235
1236       CALL wrd_write_string( 'p' )
1237       WRITE ( 14 )  p
1238
1239       IF ( ALLOCATED( p_av ) )  THEN
1240          CALL wrd_write_string( 'p_av' )
1241          WRITE ( 14 )  p_av
1242       ENDIF
1243
1244       IF ( ALLOCATED( pc_av ) )  THEN
1245          CALL wrd_write_string( 'pc_av' )
1246          WRITE ( 14 )  pc_av
1247       ENDIF
1248
1249       IF ( ALLOCATED( pr_av ) )  THEN
1250          CALL wrd_write_string( 'pr_av' )
1251          WRITE ( 14 )  pr_av
1252       ENDIF
1253
1254       CALL wrd_write_string( 'pt' )
1255       WRITE ( 14 )  pt
1256
1257       IF ( ALLOCATED( pt_av ) )  THEN
1258          CALL wrd_write_string( 'pt_av' )
1259          WRITE ( 14 )  pt_av
1260       ENDIF
1261
1262       IF ( humidity )  THEN
1263
1264          CALL wrd_write_string( 'q' )
1265          WRITE ( 14 )  q
1266
1267          IF ( ALLOCATED( q_av ) )  THEN
1268             CALL wrd_write_string( 'q_av' )
1269             WRITE ( 14 )  q_av
1270          ENDIF
1271
1272          IF ( cloud_droplets )  THEN
1273
1274             CALL wrd_write_string( 'ql' )
1275             WRITE ( 14 )  ql
1276
1277             IF ( ALLOCATED( ql_av ) )  THEN
1278                CALL wrd_write_string( 'ql_av' )
1279                WRITE ( 14 )  ql_av
1280             ENDIF
1281
1282          ENDIF
1283
1284          IF ( ALLOCATED( qsurf_av ) )  THEN
1285             CALL wrd_write_string( 'qsurf_av' )
1286             WRITE ( 14 )  qsurf_av
1287          ENDIF
1288
1289          IF ( ALLOCATED( qsws_av ) )  THEN
1290             CALL wrd_write_string( 'qsws_av' )
1291             WRITE ( 14 )  qsws_av
1292          ENDIF
1293
1294       ENDIF
1295
1296       IF ( passive_scalar )  THEN
1297
1298          CALL wrd_write_string( 's' )
1299          WRITE ( 14 )  s
1300
1301          IF ( ALLOCATED( s_av ) )  THEN
1302             CALL wrd_write_string( 's_av' )
1303             WRITE ( 14 )  s_av
1304          ENDIF
1305
1306          IF ( ALLOCATED( ssurf_av ) )  THEN
1307             CALL wrd_write_string( 'ssurf_av' )
1308             WRITE ( 14 )  ssurf_av
1309          ENDIF
1310
1311          IF ( ALLOCATED( ssws_av ) )  THEN
1312             CALL wrd_write_string( 'ssws_av' )
1313             WRITE ( 14 )  ssws_av
1314          ENDIF
1315
1316       ENDIF
1317
1318       IF ( ALLOCATED( ql_c_av ) )  THEN
1319          CALL wrd_write_string( 'ql_c_av' )
1320          WRITE ( 14 )  ql_c_av
1321       ENDIF
1322
1323       IF ( ALLOCATED( ql_v_av ) )  THEN
1324          CALL wrd_write_string( 'ql_v_av' )
1325          WRITE ( 14 )  ql_v_av
1326       ENDIF
1327
1328       IF ( ALLOCATED( ql_vp_av ) )  THEN
1329          CALL wrd_write_string( 'ql_vp_av' )
1330          WRITE ( 14 )  ql_vp_av
1331       ENDIF
1332
1333       IF ( ALLOCATED( qv_av ) )  THEN
1334          CALL wrd_write_string( 'qv_av' )
1335          WRITE ( 14 )  qv_av
1336       ENDIF
1337
1338       CALL wrd_write_string( 'random_iv' )
1339       WRITE ( 14 )  random_iv
1340       WRITE ( 14 )  random_iy
1341
1342       IF ( ALLOCATED( seq_random_array ) )  THEN
1343          CALL wrd_write_string( 'seq_random_array' )
1344          WRITE ( 14 )  id_random_array
1345          WRITE ( 14 )  seq_random_array
1346       ENDIF
1347
1348       IF ( ALLOCATED( s_av ) )  THEN
1349          CALL wrd_write_string( 's_av' )
1350          WRITE ( 14 )  s_av
1351       ENDIF
1352
1353       IF ( ALLOCATED( shf_av ) )  THEN
1354          CALL wrd_write_string( 'shf_av' )
1355          WRITE ( 14 )  shf_av
1356       ENDIF
1357
1358       IF ( ALLOCATED( ts_av ) )  THEN
1359          CALL wrd_write_string( 'ts_av' )
1360          WRITE ( 14 ) ts_av
1361       ENDIF
1362
1363       CALL wrd_write_string( 'u' )
1364       WRITE ( 14 )  u
1365
1366       IF ( ALLOCATED( u_av ) )  THEN
1367          CALL wrd_write_string( 'u_av' )
1368          WRITE ( 14 )  u_av
1369       ENDIF
1370
1371       IF ( ALLOCATED( us_av ) )  THEN
1372          CALL wrd_write_string( 'us_av' )
1373          WRITE ( 14 )  us_av
1374       ENDIF
1375
1376       CALL wrd_write_string( 'v' )
1377       WRITE ( 14 )  v
1378
1379       IF ( ALLOCATED( v_av ) )  THEN
1380          CALL wrd_write_string( 'v_av' )
1381          WRITE ( 14 )  v_av
1382       ENDIF
1383
1384       IF ( humidity )  THEN
1385
1386          CALL wrd_write_string( 'vpt' )
1387          WRITE ( 14 )  vpt
1388
1389          IF ( ALLOCATED( vpt_av ) )  THEN
1390             CALL wrd_write_string( 'vpt_av' )
1391             WRITE ( 14 ) vpt_av
1392          ENDIF
1393
1394       ENDIF
1395
1396       CALL wrd_write_string( 'w' )
1397       WRITE ( 14 )  w
1398
1399       IF ( ALLOCATED( w_av ) )  THEN
1400          CALL wrd_write_string( 'w_av' )
1401          WRITE ( 14 )  w_av
1402       ENDIF
1403
1404       IF ( ALLOCATED( z0_av ) )  THEN
1405          CALL wrd_write_string( 'z0_av' )
1406          WRITE ( 14 )  z0_av
1407       ENDIF
1408
1409      IF ( ALLOCATED( z0h_av ) )  THEN
1410          CALL wrd_write_string( 'z0h_av' )
1411          WRITE ( 14 )  z0h_av
1412       ENDIF
1413
1414       IF ( ALLOCATED( z0q_av ) )  THEN
1415          CALL wrd_write_string( 'z0q_av' )
1416          WRITE ( 14 )  z0q_av
1417       ENDIF
1418
1419       IF ( land_surface .OR. urban_surface )  THEN
1420
1421          IF ( ALLOCATED( ghf_av ) )  THEN
1422             CALL wrd_write_string( 'ghf_av' )
1423             WRITE ( 14 )  ghf_av
1424          ENDIF
1425
1426          IF ( ALLOCATED( r_a_av ) )  THEN
1427             CALL wrd_write_string( 'r_a_av' )
1428             WRITE ( 14 )  r_a_av
1429          ENDIF
1430
1431       ENDIF
1432
1433       IF ( ALLOCATED( tsurf_av ) )  THEN
1434          CALL wrd_write_string( 'tsurf_av' )
1435          WRITE ( 14 )  tsurf_av
1436       ENDIF
1437
1438    ELSEIF ( restart_data_format_output(1:3) == 'mpi' )  THEN
1439!
1440!--    Write local restart data using MPI-IO
1441!--    Attention: After changes to the following output commands the version number
1442!--    ---------  of the variable binary_version must be changed!
1443!--               Also, the list of arrays to be read in rrd_local must be adjusted accordingly.
1444       CALL wrd_mpi_io( 'e',  e)
1445       IF ( ALLOCATED( e_av ) )  CALL wrd_mpi_io( 'e_av',  e_av)
1446       CALL wrd_mpi_io( 'kh', kh )
1447       IF ( ALLOCATED( kh_av ) )  CALL wrd_mpi_io( 'kh_av', kh_av )
1448       CALL wrd_mpi_io( 'km' , km )
1449       IF ( ALLOCATED( km_av ) )  CALL wrd_mpi_io( 'km_av', km_av )
1450       IF ( ALLOCATED( lpt_av ) )  CALL wrd_mpi_io( 'lpt_av', lpt_av )
1451       IF ( ALLOCATED( lwp_av ) )  CALL wrd_mpi_io( 'lwp_av', lwp_av )
1452       CALL wrd_mpi_io( 'p', p )
1453       IF ( ALLOCATED( p_av ) )  CALL wrd_mpi_io( 'p_av', p_av )
1454       IF ( ALLOCATED( pc_av ) )  CALL wrd_mpi_io( 'pc_av', pc_av )
1455       IF ( ALLOCATED( pr_av ) )  CALL wrd_mpi_io( 'pr_av', pr_av )
1456       CALL wrd_mpi_io( 'pt', pt )
1457       IF ( ALLOCATED( pt_av ) )  CALL wrd_mpi_io( 'pt_av', pt_av )
1458
1459       IF ( humidity )  THEN
1460
1461          CALL wrd_mpi_io( 'q', q )
1462          IF ( ALLOCATED( q_av ) )  CALL wrd_mpi_io( 'q_av', q_av )
1463
1464          IF ( cloud_droplets )  THEN
1465
1466             CALL wrd_mpi_io( 'ql', ql )
1467             IF ( ALLOCATED( ql_av ) )  CALL wrd_mpi_io( 'ql_av', ql_av )
1468
1469          ENDIF
1470
1471          IF ( ALLOCATED( qsurf_av ) )  CALL wrd_mpi_io( 'qsurf_av', qsurf_av )
1472          IF ( ALLOCATED( qsws_av ) )  CALL wrd_mpi_io( 'qsws_av', qsws_av )
1473
1474       ENDIF
1475
1476       IF ( passive_scalar )  THEN
1477
1478          CALL wrd_mpi_io( 's', s )
1479          IF ( ALLOCATED( s_av ) )  CALL wrd_mpi_io( 's_av',  s_av )
1480          IF ( ALLOCATED( ssurf_av ) )  CALL wrd_mpi_io( 'ssurf_av', ssurf_av )
1481          IF ( ALLOCATED( ssws_av ) )  CALL wrd_mpi_io( 'ssws_av', ssws_av )
1482
1483       ENDIF
1484
1485       IF ( ALLOCATED( ql_c_av ) )  CALL wrd_mpi_io( 'ql_c_av', ql_c_av )
1486       IF ( ALLOCATED( ql_v_av ) )  CALL wrd_mpi_io( 'ql_v_av', ql_v_av )
1487       IF ( ALLOCATED( ql_vp_av ) )  CALL wrd_mpi_io( 'ql_vp_av', ql_vp_av )
1488       IF ( ALLOCATED( qv_av ) )  CALL wrd_mpi_io( 'qv_av', qv_av )
1489!
1490!--    Only PE0 writes random_iv and random_iy to restart file.
1491!--    ATTENTION: If one value for every PE is required, the general approach of PE indendent
1492!--    restart will be lost. That means that in general the parallel random number generator
1493!--    in random_generatot_parallel_mod should be used!
1494       CALL wrd_mpi_io_global_array( 'random_iv', random_iv )
1495       CALL wrd_mpi_io( 'random_iy', random_iy )
1496
1497       IF ( ALLOCATED( seq_random_array ) )  THEN
1498          CALL wrd_mpi_io( 'id_random_array', id_random_array )
1499          DO  i = 1, SIZE( seq_random_array, 1 )
1500             WRITE( tmp_name, '(A,I2.2)' )  'seq_random_array', i
1501             CALL wrd_mpi_io( TRIM( tmp_name ), seq_random_array(i,:,:) )
1502          ENDDO
1503       ENDIF
1504       IF ( ALLOCATED( s_av ) )  CALL wrd_mpi_io( 's_av', s_av )
1505       IF ( ALLOCATED( shf_av ) )  CALL wrd_mpi_io( 'shf_av', shf_av )
1506       IF ( ALLOCATED( ts_av ) )  CALL wrd_mpi_io( 'ts_av', ts_av )
1507       CALL wrd_mpi_io( 'u', u)
1508       IF ( ALLOCATED( u_av ) )  CALL wrd_mpi_io( 'u_av', u_av )
1509       IF ( ALLOCATED( us_av ) )  CALL wrd_mpi_io( 'us_av', us_av )
1510       CALL wrd_mpi_io( 'v', v )
1511       IF ( ALLOCATED( v_av ) )  CALL wrd_mpi_io( 'v_av', v_av )
1512       IF ( humidity )  THEN
1513          CALL wrd_mpi_io( 'vpt',  vpt )
1514          IF ( ALLOCATED( vpt_av ) )  CALL wrd_mpi_io( 'vpt_av', vpt_av )
1515       ENDIF
1516       CALL wrd_mpi_io( 'w', w)
1517       IF ( ALLOCATED( w_av ) )  CALL wrd_mpi_io( 'w_av', w_av )
1518       IF ( ALLOCATED( z0_av ) )  CALL wrd_mpi_io( 'z0_av', z0_av )
1519       IF ( ALLOCATED( z0h_av ) )  CALL wrd_mpi_io( 'z0h_av', z0h_av )
1520       IF ( ALLOCATED( z0q_av ) )  CALL wrd_mpi_io( 'z0q_av', z0q_av )
1521       IF ( land_surface  .OR.  urban_surface )  THEN
1522          IF ( ALLOCATED( ghf_av ) )  CALL wrd_mpi_io( 'ghf_av', ghf_av )
1523          IF ( ALLOCATED( r_a_av ) )  CALL wrd_mpi_io( 'r_a_av', r_a_av )
1524       ENDIF
1525       IF ( ALLOCATED( tsurf_av ) )  CALL wrd_mpi_io( 'tsurf_av', tsurf_av )
1526
1527    ENDIF
1528
1529    CALL surface_wrd_local
1530
1531!
1532!-- Write restart data of other modules
1533    CALL module_interface_wrd_local
1534
1535!
1536!-- Write end label
1537    IF (  restart_data_format_output == 'fortran_binary' )  THEN
1538       CALL wrd_write_string( '*** end ***' )
1539    ENDIF
1540
1541 END SUBROUTINE wrd_local
1542
1543
1544 END MODULE write_restart_data_mod
Note: See TracBrowser for help on using the repository browser.