Daten Repository

Allgemeine Formate im Repo

NDJSON und Parquet sind beides Datenformate, die sich gut ergänzen:

NDJSON (Newline Delimited JSON) speichert Ereignisse zeilenweise als JSON-Objekte.
→ Ideal für Streaming und APIs, weil jede Zeile ein eigenständiger Datensatz ist.
→ Lässt sich mit Tools wie jq, pandas.read_json(lines=True) oder jsonlite::stream_in() direkt auswerten.
Parquet ist ein spaltenorientiertes, binäres Format für große Datenmengen.
→ Optimiert für Analysen und Abfragen, sehr platzsparend und schnell.
→ Standard in Big-Data-Ecosystemen (Spark, Hadoop, DuckDB, BigQuery, GDAL/GeoParquet).

Typischer Workflow: Rohdaten zunächst als NDJSON persistieren → für Analyse/Archiv in Parquet konvertieren.

DDS75-LB (dds75-lb-*.parquet): distance_cm (bzw. Distance_mm), temperature, battery, Flags (interrupt_flag, sensor_flag).
PS-LB (burgwald-ps-lb-*.parquet): water_cm bzw. pressure_kpa/_mpa, zusätzlich idc_input_ma, vdc_input_v, battery, digitale Eingänge.
SenseCAP (burgwald-sensecap-*.parquet): temperature, humidity, pressure_hpa, illumination, ggf. uv_index, wind_speed, wind_dir, rainfall.

Lade Datenliste …