Introduction au serveur de données Thredds

Le serveur de données THREDDS (TDS) est un serveur Web qui fournit des métadonnées et un accès aux données pour des jeux de données scientifiques, en utilisant les protocoles HTTP, OPeNDAP, les protocoles OGC WMS et WCS et d'autres protocoles d'accès aux données à distance. Le TDS est développé et supporté par Unidata, une division de University Corporation for Atmospheric Research (UCAR), et est sponsorisé par la National Science Foundation.

Logo Unidata

Une partie des fonctionnalités d'un serveur TDS

Les catalogues THREDDS sont utilisés pour fournir des répertoires virtuels de données disponibles et leurs métadonnées associées. Ces catalogues peuvent être générés dynamiquement ou statiquement.
La bibliothèque Netcdf-Java/CDM, utilisée par TDS, lit les jeux de données NetCDF, OpenDAP et HDF5, ainsi que d'autres formats binaires tels que GRIB et NEXRAD dans un Common Data Model (CDM), fournissant une vue netCDF (étendue) des données. Les jeux de données qui peuvent être lus via la bibliothèque Netcdf-Java sont appelés jeux de données CDM.
TDS peut utiliser le langage de balisage NetCDF (NcML) pour modifier et créer des agrégations virtuelles de jeux de données CDM.
Plusieurs services de donnnées permettent d'accéder aux données suivant divers protocoles :
- Un serveur intégré fournit l'accès OPeNDAP à n'importe quel jeu de données CDM. OPeNDAP est une méthode d'accès aux données de sous-ensemble largement utilisée qui étend le protocole HTTP.
- Un serveur intégré fournit un accès aux fichiers en bloc via le protocole HTTP.
- Un serveur intégré fournit un accès aux données via le protocole WCS (Web Coverage Service) de l'OGC, pour tout jeu de données "grillé" dont les informations sur le système de coordonnées sont complètes.
- Un serveur intégré fournit un accès aux données par le biais du protocole WMS (Web Map Service) de l'OGC, pour tout jeu de données "grillé" dont les informations sur le système de coordonnées sont complètes. THREDDS intègre une version de ncWMS et son application web "Godiva" pour l'accès WMS et la visualisation en ligne, développée à l'Université de Reading.
- Le serveur ncISO intégré fournit une analyse automatisée des métadonnées et permet de générer des métadonnées suivant la norme ISO.
- Le service NetCDF Subset intégré permet la sélection d'un sous-ensemble de données à partir des coordonnées spatiales et temporelles, à l'aide d'une API REST. Les sous-ensembles de données peuvent être retournés en netCDF-3 ou netCDF-4 conforme à la norme CF. Les sous-ensembles de données ponctuelles peuvent être retournés dans des fichiers CSV, XML ou netCDF CF-DSG.
Le serveur de données THREDDS est implémenté en Java et est contenu dans un seul fichier war, ce qui permet une installation très facile dans un conteneur de servlet tel que le serveur web open-source Tomcat. La bibliothèque est disponible gratuitement et le code source est publié sous la licence de la bibliothèque netCDF.

Le TP THREDDS de l'ANF SIST

L'objectif du TP est de vous guider dans :

Préparation de la VM THREDDS

Voici quelques informations de préparation de la VM destinées à faciliter l'exécution du TP :

Connexion à la VM

Tout le TP peut être exécuté en se loguant en tant que sist à la VM :

login : sist
passwd : anfsist

Le serveur Tomcat sera démarré et arrêté via une commande sudo pour que le serveur s'exécute sous le user tomcat et non sist ou root.

# Démarrage du serveur Tomcat
$ sudo -u tomcat /opt/tomcat/bin/startup.sh

# Arrêt du serveur Tomcat
$ sudo -u tomcat /opt/tomcat/bin/shutdown.sh

Connexion depuis un client SSH

Il est possible de travailler en dehors de la VM et d'utiliser le navigateur WEB de votre poste de travail pour accéder au serveur THREDDS de la VM. Pour ce faire la VM a été configurée avec les redirections de port suivantes :

Redirection de Ports

Pour se connecter à la VM via SSH :

$ ssh -p 4022 sist@localhost

Répertoire des données `/anfsist`

Le répertoire /anfsist contient les jeux de données, logos et ressources (tomcat, java, Thredds, ...) qui seront nécessaires au cours de ce TP.

Légendes du TP

Le TP reprend une partie du tutoriel THREDDS Data Server disponible sur le site d'UNIDATA. Il comprend donc une part d'explications et une part d'exercices pratiques. Les éléments à lire pour comprendre la configuration de THREDDS sont précédés de l'icône . Les parties correspondant à un exercice sont précédées de l'icône . Pour voir la solution des exercices cliquer sur la flêche .