Prozessierungsumgebung

Die Prozessierung der AVHRR Daten  findet in der Prozessierungsinfrastruktur des DFDs (GeoFarm) unter Nutzung der DIMS – Umgebung (Data Information and Management System)  statt. Die wissenschaftlichen Datenprozessoren folgen dem IPF Interface Standard und werden durch das  DIMS Processing System Management (PSM) betrieben. Technisch gesehen liefert das PSM die Schnittstelle zwischen den wissenschaftlichen Datenprozessoren und den Prozessierungs-  und Archivierungstools von DIMS. Zur Optimierung des Gesamtdurchsatzes sind die Einzelprozesse untereinander "Bulk"-weise gesteuert, die Prozessierung eines Bulks im jeweiligen Processing System aber datengetrieben. Durch die DIMS Production Control wird kontrolliert, welche Inputprodukte "Bulk"-weise über die Product Library vom Archiv in den Processing Storage der GeoFarm transferiert werden, sowie welche Prozessierungsschritte auf welchem Prozessierungssystem für die im Processing Storage vorhandenen Inputprodukte durchgeführt werden. Für die erzeugten Output-Daten, die nicht mehr für nachfolgende Prozessierungsschritte benötitg werden, veranlasst die DIMS Production Control die Archivierung wieder über die DIMS Product Library. Damit das Prozessierungssystem stets mit Input-Daten versorgt ist, wurde der Gesamtworkflow in der DIMS Production Control in drei unabhängige Arbeitsabläufe a) „Staging“ (Transfer der Inputprodukte von Band in den Archiv-Cache), b) „Retrieving“ (Transfer der Inputprodukte vom Archiv-Cache in den Processing Storage der GeoFarm) und c) „Processing und Archiving“ (Prozessierung der Input-Daten und Archivierung der resultierenden Output-Daten) aufgeteilt.

Schematische Darstellung der verschiedenen Komponenten des TIMELINE Prozessierungssystems

Die Erstellung der verschiedenen Zeitreihen zu den AVHRR-Daten wird in verschiedene Phasen organisiert. Zunächst werden in einer ersten Phase die AVHRR-Daten zusammengefügt, um die Redundanz von verschiedenen Empfangsstationen zu eliminieren. Danach erfolgt die L1B-Prozessierung aller gestitchten AVHRR-Daten. Darauf aufbauend wird die L2-Prozessierung zeitlich in drei Phasen nach der Verfügbarkeit der Prozessoren und den Produktabhängigkeiten unterteilt. Die L2 Produkte sind immer noch in Orbit-Geometrie. Die gesamte Verarbeitung wird dann in der letzten Phase mit der L3-Prozessierung abgeschlossen, welche  projizierte und gemittelte Produkte liefert.