DLR-SkyScapes: luftgestützter semantischer Segmentierungs-Datensatz für HD-Kartierungen
High-Definition(HD)-Karten sind für das Verständnis komplexer städtischer Infrastrukturen in vielen Anwendungen wie autonomes Fahren, Infrastrukturüberwachung oder Stadtmanagement unerlässlich. Luftbilder liefern für diese Anwendungen schnell und großflächig wertvolle Informationen. Dennoch gibt es derzeit keinen öffentlichen Luftbild-Datensatz auf dem für reale Anwendungen erforderlichen Granularitätsniveau. Deshalb stellen wir SkyScapes vor, einen Luftbilddatensatz mit hochpräzisen, feinkörnigen Annotationen zur semantischen Modellierung auf Pixelebene. SkyScapes bietet Annotationen für 31 semantische Kategorien mit einer großen Bandbreite, startend von größeren Objekten wie Gebäuden, Straßen und Vegetation bis hin zu feinen Details wie z.B. zwölf (Unter-)Kategorien von Fahrbahnmarkierungen. SkyScapes wurde erstmals in [1] veröffentlicht. Bitte zitieren Sie [1], wenn Sie es in Ihrer Arbeit verwenden.
Insgesamt 31 semantische Kategorien wurden annotiert: niedrige Vegetation, befestigte Straße, unbefestigte Straße, befestigter Parkplatz, nicht-befestigter Parkplatz, Fahrradweg, Bürgersteig, Ein-/Ausfahrten, Sperrbereiche, Gebäude, Auto, Anhänger, Transporter, LKW, großer LKW, Bus, nicht klassifizierte Flächen, versiegelte Oberflächen, Bäume und 12 Fahrbahnmarkierungstypen. Folgende Fahrbahnmarkierungen sind annotiert: gestrichelte Linie, durchgezogene Linien, kleine gestrichelte Linien, Abbiegezeichen, Kreuzzeichen, andere Zeichen, Zebrastreifen, Stopplinie, Zebrastreifen, Parkverbotszonen, Parkzone, andere Fahrbahnmarkierungen.
Die 31 semantischen Klassen stellen eine große Herausforderung für automatische Auswerteverfahren dar. Deshalb haben wir folgenden Benchmarks definiert: 1) SkyScapes-Dense mit 20 Klassen, bei denen die Fahrbahnmarkierungen zu einer einzigen Klasse zusammengeführt wurden, 2) SkyScapes-Lane mit 13 Klassen, 12 Fahrbahnmarkierungsklassen und einer Klasse für Nicht-Fahrbahnmarkierung, 3) SkyScapes-Dense-Category mit 11 zusammengeführten Klassen wie natürlichen Oberflächen (niedrige Vegetation, Bäume), Fahrbahnen (befestigt, unbefestigt), Parkplatz (befestigt, unbefestigt), Flächen für Personenverkehr (Radweg, Bürgersteig, Gefahrenbereich), gemeinsame Flächen für Personen- und Fahrzeuge (Einfahrt/Ausfahrt), Straßenkomponenten (Fahrbahnmarkierung), Wohngebieten (Gebäude), Fahrzeugen (PKW, Transporter, LKW, langer LKW, Bus), Fahrzeugkomponenten (Anhänger), versiegelte Oberflächen und andere Objekte (nicht-klassifizierte Bereiche), 4) SkyScapes-Dense-Edge-Binary für binäre Kantensegmentierung und 5) SkyScapesDense-Edge-Multi für mehrstufige Kantensegmentierung.
Wir haben den Datensatz in Trainings-, Validierungs- und Testdaten mit 50%, 12,5% bzw. 37,5% Anteil aufgeteilt. Diese Aufteilung wurde aufgrund des Klassenungleichgewichts gewählt, um damit eine Aufteilung größerer Bilder zu vermeiden. Der Trainings- und Validierungsdatensatz wird öffentlich zugänglich sein. Testbilder werden als Benchmark ohne ground-truth veröffentlicht.
Die Bilder wurden vom Deutschen Zentrum für Luft- und Raumfahrt (DLR) im Rahmen von Flugkampagnen über mehreren Städten in Deutschland und anderen europäischen Ländern aufgenommen. Die Datenerfassung erfolgte auf einem Hubschrauber oder auf einem Flächenflugzeug mit einem kostengünstigen Kamera-Array-System, bestehend aus drei DSLR-Kameras (Link zu 3K Kamera System), die auf einer flexiblen Plattform zur Datenerfassung montiert sind. Dabei wurden nur die Nadir-blickenden Bilder ausgewählt. Insgesamt wurden 16 nicht überlappende RGB-Bilder der Größe 5616x3744 Pixel ausgewählt. Die Flughöhe von ca. 1000m über Grund führt zu einer GSD von ca. 13cm/Pixel. Die Bilder zeigen städtische und teilweise ländliche Gebiete mit Autobahnen, Straßen erster/zweiter Ordnung und komplexen Verkehrssituationen wie Kreuzungen und Staus.
Bei Interesse an dem Datensatz besuchen Sie die Webseite https://eoc-datasets.dlr.de/registration.