terrabyte ist eine innovative High Performance Data Analytics (HPDA) Plattform betrieben vom DLR und dem Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften. Die Plattform bietet Wissenschaftlern einen effizienten Zugang zu Erdbeobachtungsdaten, einer performanten Prozessierungsumgebung und zu praktischen Werkzeugen für die Datenauswertung. Für Geowissenschaftler wird es zur neuen Normalität, globale und dekadische Beobachtungen von unterschiedlichen internationalen Satellitenmissionen mit modernsten Methoden der Künstlichen Intelligenz (KI) zu kombinieren, um die zahlreichen dringlichen Fragen des Klimawandels zu beantworten. Die terrabyte Plattform unterstützt Wissenschaftler mit den erforderlichen Werkzeugen, damit sie sich auf die Lösung ihrer Fragen konzentrieren können. Schwerpunkt ist die Erzeugung globaler Satellitendatenprodukte wie World Settlement Footprint (WSF) Suite, Global SnowPack, Global WaterPack oder Tree Canopy Cover Loss.
Die Plattform bietet eine umfassende Kollektion von dekadischen Erdbeobachtungsdaten mit globaler Abdeckung mit direktem Zugriff von den Rechenressourcen. Zugang zu allen Daten erfolgt über den Spatial Temporal Asset Catalog (STAC) Application Programming Interface (API). Zukünftig wird die kontinuierlich aktualisierte Kollektion Produkte von Sentinel, Landsat, MODIS, VIIRS, Meteosat, ENIVSAT und ERS umfassen. Zusätzlich werden Sentinel-1 und Sentinel-2 Analysis Ready Data (ARD) erstellt und für weitere Analysen zur Verfügung gestellt.
terrabyte verbindet das D-SDA (Deutsches Satellitendatenarchiv) des DFDs und den großen, performanten Online-Speicher basierend auf dem Data Science Storage (DSS) Konzepts des LRZs. Es stellt mehr als 30 Petabyte relevante Erdbeobachtungsdaten online zur Verfügung, die in verschiedenen Anwendungen genutzt werden können. Die Erdbeobachtungsdaten können aus dem D-SDA auf Anfrage bestellt werden. terrabyte bietet eine Ergänzung zu kommerziellen Daten- und Verarbeitungs-Cloud-Umgebungen und erfüllt die aktuellen europäischen Sicherheits- und Datenschutzanforderungen.
Wie?
terrabyte kombiniert direkt neben dem Datenspeicher der Erdbeobachtungen große CPU- und NVIDIA-GPU-Rechenressourcen. Zusätzlich werden übergeordnete Dienste bereitgestellt, um die Nutzung der Infrastruktur zu vereinfachen: z.B. JupyterLab (“bring your own environment”) und QGIS im Browser über das terrabyte Portal, Charliecloud als Docker Alternative, SLURM als Workload Manager, STAC Metadaten API um verfügbare Daten, die von terrabyte oder anderen Nutzern kuratiert wurden (“bring your own data”), zu filtern und Datacube Analyses basierend auf xarray und Dask. Das Angebot an Diensten und Instrumenten wird entsprechend der Nachfrage der Wissenschaftler kontinuierlich verbessert und erweitert.
Zusätzlich zu den Datenkollektionen der DSS Komponenten bietet terrabyte für die Datenübertragung auch eine Infrastruktur mit hoher Bandbreite zwischen dem DSS und dem Satellitendatenarchiv des DLRs ebenso zwischen dem DSS und den internen Speicher der jeweiligen DLR Institute an.
Wer?
Alle Wissenschaftler des DLRs und des LRZs mit wissenschaftlichen nichtkommerziellen Anwendungen haben Zugang zu der terrabyte Plattform. Sollten Sie an einem Zugang an terrabyte interessiert sein, schreiben Sie uns bitte eine E-Mail mit ihrer Projektskizze und einer kurzen Erläuterung ihrer Anwendung. Wir stellen den Nutzern von terrabyte ebenso eine große Auswahl an Beratung und Schulungen zur Verfügung.
The German Aerospace Center (DLR) and the Leibniz Supercomputing Center (LRZ) of the Bavarian Academy of Sciences and Humanities have launched 'terrabyte' - one of Europe's largest scientific platforms for analyzing Earth observation data. The declared goal is to make current and historical Earth observation data centrally available to the scientific community for public use.
Trailer Terrabyte LRZ
Für die Wiedergabe dieses Videos auf Quickchannel.com ist Ihre Zustimmung zur Speicherung von Daten ('Cookies') erforderlich. Unter Datenschutz-Einstellungen können Sie Ihre Wahl einsehen und verändern.
Trailer Terrabyte LRZ
The German Aerospace Center (DLR) and the Leibniz Supercomputing Center (LRZ) of the Bavarian Academy of Sciences and Humanities have launched 'terrabyte' - one of Europe's largest scientific platforms for analyzing Earth observation data. The declared goal is to make current and historical Earth observation data centrally available to the scientific community for public use.
