IGN

Géoservices IGN

Les nouveautés à venir du Géoportail : 3 - le nouvel entrepôt de données du Géoportail et son API

4 Septembre 2018

L'IGN s'est engagé, dans son programme 2018, dans une démarche de refonte et d'ouverture de l'entrepôt de données spatiales au cœur de l'infrastructure du Géoportail. Cet article vise à donner les premiers contours de cette évolution majeur et vous invite à y réagir.

Qu’est-ce que l’entrepôt de données du Géoportail ?

L’entrepôt de données spatiales du Géoportail stocke et met à disposition une vaste quantité de données, pour la plupart géolocalisées, pour réutilisation dans différents services et applications.

Les données de cet entrepôt sont en effet accessibles en ligne via les web services de consultation, d’interrogation, de téléchargement, de calcul et de traitement proposés par le Géoportail.

Contrairement à d’autres systèmes, cet entrepôt est optimisé pour la donnée spatiale : il peut traiter toutes sortes de données géolocalisées vectorielles mais également des images issues de prises de vue aérienne ou spatiale, ou encore des données telles que des modèles de terrain. Demain, il pourra aussi traiter des nuages de points Lidar ou des données 3D.

Un service de catalogue permet aux utilisateurs potentiels de découvrir les ressources proposés via cet entrepôt (l’obtention de l’accès aux ressources se fait sur le site Espace professionnel aujourd’hui, qui sera remplacé prochainement par un nouveau site “geoservices.ign.fr”, comme annoncé ici.

Quelles sont les tâches réalisées dans l’entrepôt de données du Géoportail ?

L’entrepôt de données du Géoportail enchaîne des de tâches de chargement, de qualification, de transformation et de publication permettant la mise à disposition de la donnée de référence sous une forme consommable en web service.

IMAGE MANQUANTE

Etape 1 : chargement de données

La première étape du processus, le chargement des données en entrée, se fait par la mise à disposition des données en entrée (fichiers, répertoires, bases de données, etc) dans une « zone de réception » , par un processus « machine-à-machine » ou par une interface manuelle. Alternativement, la donnée peut rester sur le serveur d’origine et être moissonnée en une ou plusieurs fois. Cette alimentation peut être occasionnelle ou à intervalles réguliers allant jusqu’à une alimentation quasi-permanente (cas de données mises à jour en continu).

En parallèle des données peuvent également être déposés des métadonnées, des fichiers de style pour la cartographie ou encore des paramètres

Etape 1 bis (facultative) : qualification des données :

il est possible d’ajouter une étape de contrôle de conformité d’une donnée avant mise en base. Cette étape permet de s’assurer, par exemple, que la donnée respecte la structuration ou le format attendus, notamment quand il est demandé qu’elle respecte des normes ISO ou des standards métier (CNIG, COVADIS).

Etape 2 : mise en base :

cette étape vise à ce que la donnée déposée soit restructurée via des traitements pour être stockée de façon pérenne dans le format interne de l’entrepôt.

La mise en base peut être plus complexe qu’une simple création d’une nouvelle entrée dans le catalogue de l’entrepôt : la nouvelle donnée peut notamment venir en amendement d’un ensemble existant, selon des règles de gestion spécifiques.

Exemples : ajout d’un Plan local d’urbanisme d’une zone à la couche nationale des plans locaux d’urbanisme ; ajout d’une orthophotographie départementale récente à une couche nationale d’imagerie aérienne et spatiale, avec conservation de la version antérieure.

Etape 3 : publication :

Cette étape consiste à créer les ressources nécessaires pour que les données en base soient visibles sous la forme choisie (images pour la consultation, bases pour l’interrogation, graphes pour le calcul).

Une même donnée peut alimenter plusieurs services différents et donc donner lieu à des «publications» spécifiques.

Exemple : la table des établissements d’enseignements géolocalisés peut alimenter à la fois des cartes à consulter, un moteur de recherche, des services de téléchargement de fichiers, etc.

Au terme de ces étapes, le catalogue à disposition des utilisateurs se sera enrichi d’une ou plusieurs nouvelles ressources (ou de ressources existantes actualisées).

Etape 4 : gestion des accès :

Le gestionnaire de la ressource a l’obligation de paramétrer qui peut accéder aux ressources créées. Cet accès peut aller de l’accès entièrement libre (pour le téléchargement de données en opendata, par exemple, à des accès strictement limités à certains utilisateurs, applications ou adresses IP.

Les utilisateurs, qui peuvent être avertis par des API d’alerte et de mise à jour, ont alors le droit d’y accéder, si les règles de gestion établies par le gestionnaire de la ressource l’y autorisent.

Pour beaucoup d’utilisateurs, c’est l’Espace pro qui gère ces droits d’accès.

Qu’est-ce qui fait la particularité de l’entrepôt de données spatiales du Géoportail ?

L’entrepôt de données du Géoportail a des caractéristiques distinctives qui en font un outil unique et l’inscrit dans la logique de plateforme définie par l’État :

  • souveraineté : la gestion de l’entrepôt par l’établissement public, opérateur de référence en matière d’information géographique, dans une infrastructure inter-ministérielle.
  • utilisé pour des tiers partenaires: depuis 2006, l’entrepôt du Géoportail accueille des données de partenaires dans le cadre de nombreux partenariats Géoportail. Les données des partenaires y sont publiées par des opérateurs IGN.
  • puissance de l’outil : l’entrepôt est utilisé quotidiennement par l’IGN pour gérer le Géoportail. Il prend en compte l’exigence de pouvoir publier des jeux de données importants issus du RGE à haute fréquence.
  • maîtrise des accès : l’entrepôt propose un « accès ouvert » conforme aux politiques d’opendata ou des accès compartimentés par clé (avec une sécurisation associée à une application, une URL, une ou plusieurs IP, un login/mot de passe, ou encore une combinaison de ces critères).
  • intégration du fruit de la R&D IGN dans certains domaines tels que la diffusion d’imagerie.

Qu’apportera la refonte annoncée de l’entrepôt Géoportail ? Pourquoi insiste-t-on sur l’ajout d’une API ?

La refonte et l’ouverture de l’entrepôt du Géoportail figure dans le programme de service public de l’IGN pour l’année 2018.
Au termes de ce développement, l’entrepôt du Géoportail sera ouvert à tous les producteurs de données publiques, tout en continuant à servir à la publication par l’IGN des référentiels géographiques tels que le RGE ou le Registre parcellaire graphique.

Cette ouverture signifiera la création d’une offre de service nouvelle et interministérielle inédite, accessible à l’ensemble des administrations publiques. Cette offre e service leur permettra de satisfaire des besoins tels que :

  • la transparence et le « porter à connaissance » du public
  • le partage et la collaboration entre acteurs publics et avec un écosystème privé
  • la publication rapide de données complexes
  • le développement de services numériques
  • la mutualisation des moyens et la réduction des coûts de fonctionnement

L’entrepôt du Géoportail sera accessible via une API. L’API permettra :

  • d’intégrer la publication directement au coeur des applications et processus des administrations
  • de chaîner et de lancer automatiquement des tâches de publication pour plus de rapidité ou de fluidité
  • de construire une supervision « sur mesure » de l’activité et un contrôle adapté de façon précise aux besoins.

La phase de définition de l’offre de service et de son API

L’IGN a conçu et publie un première version des spécifications de l’offre de service sur l’entrepôt et de son API. Cette première version a été construite à partir d’une phase détaillée de recueil de besoins et d’un travail de validation par quelques utilisateurs externes.

Les grandes orientations proposées pour l’architecture sont les suivantes :

  • Architecture API Web REST et respect des recommandations Open API,
  • Facilité de prise en main par des développeurs ou des géomaticiens,
  • Fonctionnalités complètement accessibles via l’API.
Attention ! : cette version est une version de travail qui ne détaille pas forcément l’ensemble des méthodes de la future API. A l’inverse, certaines méthodes décrite dans la proposition de spécification pourront avoir évolué ou ne pas figurer dans la version définitive.

IMAGE MANQUANTE

Les fonctionnalités proposée de la nouvelle API

L’API Entrepôt proposée couvrira les fonctionnalités suivantes (fonctionnalités principales) :

  • Téléversement de données,
  • Qualification des données géographiques par rapport à un format, un standard ou une norme,
  • Transformation des données géographiques pour préparer leur mise à disposition via les services,
  • Publication des données sur les services,
  • Contrôle de l’accès aux données publiées,
  • Pilotage transverse des données téléversées et des actions effectuées, et gestion de l’utilisation de l’API Entrepôt par chacun des utilisateurs,
  • Partage des données entre utilisateurs,

Les formats d’entrée des données

L’API entrepôt, à son lancement, devrait savoir gérer les formats suivants :

  • Raster (Tiff, Jpeg) ;
  • Vecteur (SHP, SQL, CSV+WKT, GeoJSON) ;
  • Modèle numérique de terrain (Tiff 1 canal 32 bits) ;
  • Pyramide raster précalculée (Format tuilé ROK4) ;
  • Pyramide vecteur précalculée (Format tuilé PBF) ;
  • Prépaquet, fichiers divers (uniquement pour le service de téléchargement) ;
  • Prises de vue aériennes, JPEG2000 + SHP (uniquement pour le service d’accès aux prises de vue aériennes dématérialisées).

De nouveaux formats d’entrée sont actuellement en cours de conception (données 3D LOD1 et LOD 2, nuages de points LIDAR). D’autres formats pourront être pris en compte si des utilisateurs expriment un besoin.

Les formats de sortie

Les formats de sortie initialement envisagés sont :

  • Pyramide d’image raster (ROK4) ;
  • Pyramide vecteur (Vecteur tuilé PBF);
  • Base de données vecteur (BDD PostgreSQL) ;
  • Base de géocodage (Redis pour le logiciel Addok et ElasticSearch) ;
  • Graphe navigable (pour les services de calcul d’itinéraire ou d’isochrone) ;
  • Donnée dématérialisée (pour les prises de vue aériennes) ;
  • Donnée téléchargeable.

Comprendre et réagir à cette proposition de spécification d’API :

La version initiale de spécification d’API est en « relecture publique » afin que chacun puisse en prendre connaissance et puisse y réagir.

Vous trouverez donc :

IMAGE MANQUANTE

Attention (de nouveau) ! : comme précisé précédemment, cette version est une version de travail qui ne détaille pas forcément l’ensemble des méthodes de la future API. A l’inverse, certaines méthodes décrite dans la proposition de spécification pourront avoir évolué ou ne pas figurer dans la version définitive.

Voici quelques questions auxquelles, futurs utilisateurs potentiels de l’Entrepôt Géoportail et de son API, vous pourrez répondre :

  • L’API proposée vous semble-t-elle correspondre à vos besoins ?
  • Est-elle compatible avec vos applications ?
  • Les mécanismes de gestion de la visibilité et de partage sont-ils suffisants pour vous permettre de construire des offres adaptées à votre organisation ?
  • Le mécanisme de contrôle des accès est-il adapté à votre contexte ? Les statistiques vous sont-elles utiles ?
  • La possibilité de répartition des tâches entre plusieurs acteurs (dont l’IGN) vous intéresse-t-elle ? Le mécanisme apparaît-il clair ?
  • etc…

N’hésitez pas à nous faire remonter tout besoin via :