EODATA - Repositories für Erdbeobachtungsdaten auf CREODIAS
In diesem Artikel finden Sie Definitionen von Begriffen und praktische Hinweise für die Arbeit mit Erdbeobachtungsdaten auf der CREODIAS Cloud.
CREODIAS bietet Zugang zu einem der größten europäischen Satellitendatenarchive mit einem Schwerpunkt auf Daten und Informationsprodukten der Sentinel-Missionen. Die Sentinel-Satelliten sind die Weltraumkomponente des Erdbeobachtungsprogramms Copernicus der Europäischen Kommission.
Bemerkung
In den Knowledge Base Artikeln zu CREODIAS wird der Begriff EODATA in der Regel als Synonym für das Earth Observation Data Repository verwendet, das mit der CREODIAS Cloud verbunden ist. In einigen Artikeln kann sich der Begriff EODATA jedoch auf das CREODIAS EO Daten Repository beziehen.
Das CREODIAS Team ist dabei, Knowledge Base Artikel zu überarbeiten, um etwaige Unklarheiten zu beseitigen.
Repositories für Erdbeobachtungsdaten
In allen CloudFerro-Clouds sind Erdbeobachtungsdaten in einzelnen Kollektionen organisiert (normalerweise definiert durch den Namen der Satellitenmission, z.B. Sentinel-1). Diese Satellitendaten-Kollektionen sind durch ihre Verarbeitungsebenen und ihren thematischen Inhalt weiter strukturiert. Zum Beispiel steht das Akronym „Sentinel-1 L2 BackScatter (BS)“ für ein Level-2-Produkt mit geländekorrigierten Backscatter-Daten der Sentinel-1-Mission.
Repositories für Erdbeobachtungsdaten oder engl. Earth Observation Data Repositories bestehen aus mehrerer Kollektionen innerhalb einer Cloud.
Unter CREODIAS kann auf die folgenden Earth Observation Data Repositories zugegriffen werden:
Das dedizierte (native) CREODIAS EO Data Repository, das in der Cloud FRA1-1 in Frankfurt gehostet wird.
Das CODE-DE Repository für Erdbeobachtungsdaten, das EO-Daten bereitstellt, die über Deutschland aufgezeichneten werden und ebenfalls in der Cloud FRA1-1 in Frankfurt gehostet sind.
Das CREODIAS EO Data Repository ermöglicht den Zugriff auf weltweite Daten in einem rollierenden Archiv (d. h. aktuelle Daten sind online, während historische Daten im Langzeitarchiv bestellt werden können), das physisch in der Cloud WAW3-1 gespeichert ist.
Diese EO Data Repositories können interaktiv über den CREODIAS Data Explorer durchsucht werden..
Die Datenlager werden täglich aktualisiert und neu erfasste Daten und Datenprodukte werden in die jeweiligen Sammlungen aufgenommen. CREODIAS bezieht die Daten von zwei Hauptquellen:
dem EUMETSAT Daten Service und
In der Regel werden die Produkte mit einer Latenzzeit von weniger als 30 Minuten nach Veröffentlichung auf der Quellseite in den EO Data Repositories verfügbar gemacht.
Technischer Aufbau von Datenspeichern für Erdbeobachtungsdaten
Technisch gesehen, werden alle einzelnen Datenkollektionen, die Satellitenmissionen wie z.B. Sentinel-1 repräsentieren, innerhalb der auf CREODIAS verfügbaren Earth Observation Data Repositories in so genannten Buckets oder Containern unter Verwendung der S3-Objektspeichertechnologie gespeichert, die physikalisch auf HDD Ceph-Dateisystemen eingerichtet sind.
Für alle CloudFerro-Erdbeobachtungs-Clouds wird standardmäßig der Zugang zum nativen EO Data Repository gewährt. Nativ bedeutet in diesem Zusammenhang, dass sich das Repository pysikalisch in der gleichen Cloud befindet.
Bemerkung
EO Data Repositories, die sich nicht auf der eigenen Cloud befinden, gelten ggf. andere Zugriffsregelungen. Auf CREODIAS ist das für das CREODIAS EO Daten Repository der Fall. Details finden Sie hier: /{{ eodata }}/How-To-Access-The-CREODIAS-Repository-From-A-VM-{{ brand_name_hyphen }}
Zugriff über eine CREODIAS virtuelle Maschine
Wenn Sie eine virtuelle Maschine auf der Basis eines vordefinierten VM-Images auf CREODIAS starten, sind die entsprechenden CREODIAS EO-Datenrepositories automatisch als gemountete Verzeichnisse zugänglich. Die Buckets (die Kollektionen von Satellitenmissionen repräsentieren) erscheinen als Unterordner in den eingebundenen Verzeichnissen. Für die Ordnerstruktur gilt die folgende allgemeine Logik:
repository_mount_endpoint/satellite_mission/instrument/data_product/year_of_acquisition/month_of_acquisition/day_of_acquisition
Für CREODIAS würde das Listing für den repository_mount_endpoint /codede wie folgt aussehen:
Zugang über S3-Tools
Anstatt S3-Buckets als Verzeichnisse zu mounten, können Sie schneller und eleganter auf EO Data Repositories zugreifen, indem Sie spezielle S3 Object Storage Tools wie s3cmd verwenden: /eodata/How-to-access-EODATA-using-s3cmd-on-Creodias. Um den Zugang zu konfigurieren, verwenden Sie auch /eodata/How-To-Create-S3-Credentials-on-Creodias, um die notwendigen Zugriffsberechtigungen oder engl. Access Credentials zu erhalten.
Wichtiger Hinweis
Achtung
Aus historischen Gründen bezieht sich der Begriff EODATA in einigen Artikeln der Wissensdatenbank ausdrücklich auf das CREODIAS Earth Observation Data Repository. Daher können Anpassungen erforderlich sein, wenn Sie solche Tutorials oder Artikeln verwenden:
Falls Sie einen solchen Artikel verwenden möchten, um mit CREODIAS nativen EO Data Repositories zu arbeiten, stellen Sie sicher, dass Sie alle CREODIAS-spezifischen Einträge durch die richtigen CREODIAS Einträge ersetzen.
Auf virtuellen CREODIAS-Maschinen wird das native EO Data Repository beispielsweise standardmäßig in einen Ordner namens /eodata gemountet, während dieser Ordner auf virtuellen CODE-DE-Maschinen /codede heisst.
Der Mount-Endpunkt für die Konfiguration von S3-Tools lautet auf CREODIAS https://s3.cloudferro.com und auf CREODIAS https://s3.fra1-1.cloudferro.com.
Falls Sie einen solchen Artikel für die Arbeit mit dem CREODIAS Earth Observation Data Repository verwenden möchten, stellen Sie sicher, dass Sie die entsprechenden Zugangsdaten beim CREODIAS Support angefordert haben: /eodata/How-To-Access-The-CREODIAS-Repository-From-A-VM-Creodias.
Im Zweifelsfall wenden Sie sich bitte an den CREODIAS Support Team. Wir freuen uns auch sehr über Ihr Feedback zu unklaren Formulierungen.