Overlap with other tools and development ideas

[veenstrajelmer]

Possible overlap of dfm_tools with other packages

• coastalhazardstoolkit:
  • coastalhazardstoolkit bevat nog oude fm dingen: https://svn.oss.deltares.nl/repos/openearthtools/trunk/python/applications/coastalhazardstoolkit/trunk/src/cht/
  • RdG: CoastalHazardsToolkit moet nog openbaar worden gemaakt op GitHub
• D-FAST:
  • https://iplo.nl/thema/water/applicaties-modellen/watermanagementmodellen/d-fast/
  • BJ: "routines voor het vinden van cellen binnen zekere afstand van een lijn, projecties op een lijn, en doorsnijden van rooster met een lijn. Ik denk dat op deze punten overlap is met de dfm_tools functies."
  • werkt nog niet met xarray
• HKV D-Hydamo: https://github.com/openearth/delft3dfmpy >> vervalt binnenkort volgens AvD. Maar is wel gebruikt als basis voor 1672_delft3dfmpy by KB and WO
• https://github.com/Deltares-research/1672_delft3dfmpy (mainly env, but also more)
• update C-scale workflows/scripts/notebooks: Update underlying scripts/workflows c-scale-community/workflow-coastal-hydrowaq#42
• Cosmos:
  • RdG: De gehele code voor het Cosmos-systeem (wat we gebruiken om de orkanen in Amerika operationeel te voorspellen) staat eveneens in Python, evenals een GUI-toolbox (MvO) .
• Xbeach: https://github.com/openearth/xbeach-toolbox
• DHS (GW and CR):
  • DHS is al gedeeltelijk in Python, en nu wordt ook de GUI naar python omgezet
  • het mag ook gedeeld worden. Het is juist de bedoeling het modulair te maken zodat wij delen van anderen gebruiken en anderen onze delen kunnen gebruiken.
  • Wij werken al samen met de CoastalHazardsToolbox en HydroMT
• modelbuilder: hydromt (Support custom drivers to connect to data APIs hydromt#432) en https://github.com/ec-jrc/pyposeidon

dfm_tools ideas for later

• check/merge all gtsm workflows with dfm_tools:
  • svn url: https://repos.deltares.nl/repos/global_tide_surge_model/trunk/scripts_gtsm5/
  • energydissipation Venice >> zie animation
  • download wl data (Improve slev obsdata subset and retrieve functions #712) + TA
  • scripts_gtsm5 map op gtsm svn
  • run_19yr workflow
  • foufile for tidal components: Add rename for fourier varnames based on attributes #274
  • Obspoint snapping foufile efficienter maken en naar dfmtools op dcsm budget? In general: find nearest point in map (hisfile kan met KDtree want geen aparte x/y dims)
  • include/improve GTSM-SLR automation workflow? (of alleen post-processing) https://github.com/sannemuis/gtsm3-era5-nrt
• gtsmip scripts op svn:
  • url: https://repos.deltares.nl/repos/GTSMip/scripts
  • pre-processing: meteo download+merge zit grotendeels ook al in dfm_tools: https://github.com/Deltares/dfm_tools/blob/main/tests/examples/preprocess_merge_meteofiles.py
  • post-processing: extreme waarden statistiek en wegschrijven naar cf/cds-compliant netcdf files
• access standardnames with cf_xarray: https://cf-xarray.readthedocs.io/en/latest/coord_axes.html (lat ipv latitude)
  • ocean_z_sigma_level moet gebruikt worden in dflowfm?: https://github.com/xarray-contrib/cf-xarray/blob/f9034ac04690161ca213996c158ff59b64dec054/cf_xarray/criteria.py#L71
• animation:

  import matplotlib.animation as animation
  fig,ax1 = plt.subplots()
  pc = data_xr_tsel['so'].isel(time=0).sel(depth=0).plot(ax=ax1, add_colorbar=True) #initialize
  def animate_func(time):
      data_xr_tsel['so'].isel(time=time).sel(depth=0).plot(ax=ax1, add_colorbar=False)
  ani = animation.FuncAnimation(fig=fig, func=animate_func, frames=range(6), interval=200, blit=False)
  ani.save('animation.gif', fps=6) #Save animation as gif-file
  

  • Does not work for mp4 and colorbar is a bit uncertain
  • zit in Venice ED script: p:\1230882-emodnet_hrsm\GTSMv5.0\EMODNET_venice\scripts\compute_energies.py (niet alleen gif-maker, maar ook energy dissipation part beter in dfm_tools zetten)
• flowmap:
  • FB gebruikt vaak tvtk voor grids.
  • https://github.com/openearth/flowmap/blob/master/flowmap/formats/ugrid.py#L142
  • https://github.com/openearth/dgds-backend/blob/9dbf61b83c4ed7813b8beb2a5bd37a4714f86caa/datasets/glossis/interpolate_vtk.py#L92
  • voorbeeld van multidomein netcdf's naar een image: netcdf's -> polydata -> multiblock -> merge -> cell2point -> resample to image -> geotiff
  • (bevat ook weer een extra ugrid methode)
  • resulteert in flowmaps voor glossis, is supersnel maar wel erg ingewikkeld: https://console.cloud.google.com/storage/browser/_details/dgds-data-public/flowmap/glossis/tiles/glossis-current-201908080000/0/0/0.png;tab=live_object?project=dgds-i1000482-002
  • maybe useful for slicing or other complex geometric operations?
• zarr (maybe far FM future):
  • https://www.unidata.ucar.edu/blogs/developer/en/entry/chunking_data_why_it_matters
  • https://zarr.readthedocs.io/en/stable/
  • https://docs.xarray.dev/en/stable/generated/xarray.open_zarr.html
  • Blosc, an extremely fast, multi-threaded, meta-compressor library: https://www.blosc.org/posts/breaking-memory-walls/
  • Overview of Zarr Support in netCDF-C: https://www.unidata.ucar.edu/blogs/developer/en/entry/overview-of-zarr-support-in