Premier pas avec Opendatasoft
Explorer et utiliser les données
Explorer le catalogue et les jeux de données
Explorer un catalogue de jeux de données
Contenu d'un jeu de données
Filtrer des données dans un jeu de données
Introduction à l'API Explore
Introduction à l'API Automation
Présentation de l'API WFS
Télécharger un jeu de données
Créer des cartes et des graphiques
Création de graphiques avancés avec l'outil Graphiques
Présentation de l'interface Cartes
Configurez votre carte
Gérez vos cartes
Réorganiser et regrouper les couches dans une carte
Création de cartes multicouches
Partagez votre carte
Navigation dans les cartes créées avec le créateur de Cartes
Renommer et enregistrer une carte
Créer des pages avec l'éditeur de code
Archivage d'une page
Gérer la sécurité d'une page
Créer une page avec l'éditeur de code
Pages de contenu : idées, conseils et ressources
Comment insérer des liens internes sur une page ou créer une table des matières
Partager et intégrer une page de contenu
Comment dépanner les cartes qui ne se chargent pas correctement
Créer des pages avec le Studio
Créer du contenu avec Studio
Ajouter une page
Publier une page
Modifier la mise en page
Configurer des blocs
Aperçu d'une page
Ajouter du texte
Ajout d'un graphique
Ajouter un bloc image à une page Studio
Ajouter un bloc de carte choroplèthe dans Studio
Ajout d'un bloc de carte de points d'intérêt dans Studio
Ajouter un indicateur clé de performance (KPI)
Configurer les informations d'une page
Utiliser des filtres pour améliorer vos pages
Affiner les données
Gérer l'accès aux pages
Comment modifier l'url d'une page Studio
Ajouter un bloc de carte dans Studio
Les visualisations
Gérer les visualisations sauvegardées
Configurer la visualisation Calendrier
Explorer les différentes visualisations d'un jeu de données
Configurer la visualisation Images
Configurer la vue personnalisée
Configurer la visualisation Tableau
Configurer la visualisation Carte
Comprendre le regroupement automatique dans les cartes
Configurer la visualisation Analyse
Publier des données
Publier vos jeux de données
Créer un jeu de données
Créer un jeu de données à partir d'un fichier local
Créer un jeu de données avec plusieurs fichiers
Création d'un jeu de données à l'aide de connecteurs dédiés à des services distants spécifiques
Créer un jeu de données avec des fichiers multimédias
Fédérer un jeu de données Opendatasoft
Publier un jeu de données
Formats de fichiers pris en charge
Valorisez les données de mobilité grâce au GTFS et autres formats
Gérer les configurations de vos jeux de données
Suppression automatique des enregistrements
Configuration de l'export de jeux de données
Consulter l'historique du jeu de données
Configurer l'info-bulle
Actions et états des jeux de données
Limites des jeux de données
Définir un modèle de données
Comment Opendatasoft gère les dates
Comment et où Opendatasoft gère les fuseaux horaires
Comment trouver l'adresse IP de votre espace de travail
Maintenir les données à jour
Traiter des données
Traduire un jeu de données
Comment configurer une connexion HTTP à l'API de France Travail
Décider quelle licence convient le mieux à votre jeu de données
Formats de fichier source
Fichiers OpenStreetMap
Shapefiles
Fichiers JSON
Fichiers XML
Fichiers de feuille de calcul
Fichiers RDF
Fichiers CSV
Fichiers MapInfo
Fichiers GeoJSON
Fichiers KML
GeoPackage
Les connecteurs
Sauvegarde et partage de connexions
Connecteur Airtable
Connecteur Amazon S3
Connecteur ArcGIS
Connecteur de stockage Azure Blob
Connecteur de base de données
Connecteur Jeu de données de jeux de données (espace de travail)
Connecteur Eco Counter
Connecteur Feed
Connecteur Google BigQuery
Connecteur Google Drive
Comment trouver la clé API Open Agenda et l'URL Open Agenda
Connecteur JCDecaux
Connecteur Netatmo
Connecteur OpenAgenda
Connecteur Realtime
Connecteur Salesforce
Connecteur SharePoint
Connecteur US Census
Connecteur WFS
Connecteur Databricks
Les moissonneurs
Moissonner un catalogue
Moissonneur ArcGIS
Moissonneur ArcGis Hub Portals
Moissonneur CKAN
Moissonneur CSW
Moissonneur FTP avec CSV de métadonnées
Moissonneur Fédération Opendatasoft
Moissonneur Quandl
Moissonneur Socrata
Moissonneur data.gouv.fr
Moissonneur data.json
Les processeurs
Qu'est-ce qu'un processeur et comment l'utiliser ?
Processeur Ajouter un Champ
Processeur Calculer la distance géographique
Processeur Concaténer du texte
Processeur Convertir des degrés
Processeur Copier un Champ
Processeur Corriger les formes géographiques
Processeur Créer un point géo
Processeur Décoder les entités HTML
Processeur Décoder un polyline Google
Processeur Dédupliquer des champs multivalués
Processeur Supprimer un enregistrement
Processeur Déplier le tableau JSON
Processeur Déplier les champs à valeur multiples
Processeur Expression
Processeur Extraire du HTML
Processeur Extraire les URLs
Processeur Extraire la plage de bits
Processeur Extraire d'un objet JSON
Processeur Extraire du texte
Processeur Fichier
Processeur GeoHash en GeoJSON
Processeur de jointure géographique
Processeur Géocoder avec ArcGIS
Processeur Géocoder avec la BAN (France)
Processeur Géocoder avec PDOK
Processeur Géocoder avec le Census Bureau (États-Unis)
Processeur Masquage géographique
Processeur Récupérer les coordonnées d'une adresse 3 mots
Processeur Adresse IP vers Coordonnées Géo
Processeur Tableau JSON vers multivalué
Processeur Joindre des jeux de données
Processeur Méta-expression
Processeur Géocodeur Nominatim
Processeur Normaliser le Système de Projection
Processeur Normaliser une URL
Processeur Normaliser les valeurs Unicode
Processeur Normaliser une date
Processeur Filtrage du polygone
Processeur Remplacer le texte
Processeur Remplacer avec une expression régulière
Processeur Récupérer les divisions administratives
Processeur Définir le fuseau horaire
Processeur Simplifier les formes géo
Processeur Ignorer les enregistrements
Processeur Séparer le texte
Processeur Transformer des colonnes de booléens en champs multivalués
Processeur Transposer des colonnes en lignes
Processeur WKT et WKB en GeoJSON
Processeur what3words
La fonctionalité Formulaire de Collecte de Données
À propos de la fonctionnalité Formulaire de Collecte de Données
Formulaires de collecte de données associé à votre espace de travail Opendatasoft
Créez et gérez vos formulaires de collecte de données
Partager et modérer vos formulaires de collecte de données
Metadonnées des ensembles de données
Analyser l'utilisation de mes données
S'impliquer : partager, réutiliser et réagir
Découvrir et soumettre des réutilisations de données
Partage via les réseaux sociaux
Commenter via Disqus
Suivre les mises à jour d'un jeu de données
Partager et intégrer des visualisations de données
Statistiques d'utilisation
Introduction à l'utilisation des statistiques de vos espaces de travail
Analyser l'activité des utilisateurs
Analyser les actions
Détails sur les champs spécifiques du jeu de données ods-api-monitoring
Comment compter les téléchargements d'un jeu de données sur une période spécifique
Analyser l'utilisation des données
Analyser l'utilisation des ensembles de données
Analyser l'activité du back office
Utilisation de la fonctionnalité de lignage des données
Gérer les groupes et utilisateurs
Gérer les limites
Gérer les utilisateurs
Gestion des utilisateurs
Définition de quotas pour des utilisateurs individuels
Gérer les demandes d'accès
Inviter des utilisateurs sur le portail
Gérer les espaces de travail
Gérer mon portail
Configurer mon portail
Configurer les pages du catalogue et du jeu de données
Configuration d'un catalogue partagé
Partager, réutiliser, communiquer
Personnaliser l'URL de votre espace de travail
Gérer les mentions légales
Connecter Google Analytics (GA4)
Paramètres régionaux
Gérer le suivi
Navigabilité et apparence
Personnaliser votre portail
Personnaliser les thèmes du portail
Comment personnaliser mon portail selon la langue courante
Gérer les thèmes du jeu de données
Configurer les visualisations de données
Configurer la navigation
Ajouter des ressources
License et quotas
Monitoring de la licence et des quotas de votre espace de travail
Licences et quotas de votre espace de travail
Gérer la sécurité
Configurer la politique de sécurité générale de votre portail
L'onglet Sécurité d'un jeu de données
Mapping de vos groupes Opendatasoft avec votre annuaire (via SSO)
Authentification unique (SSO) avec OpenID Connect
Authentification unique (SSO) avec SAML
Paramètres
Langues prises en charge par Opendatasoft
Configuration des paramètres du compte
Gestion des identités
Comprendre les notifications reçues avec vos autorisations
Gestion des notifications
Gestion des clés API
Accessibilité chez Opendatasoft
Enregistrement des applications
Vérification du quota du compte
- Home
- Publier des données
- Les moissonneurs
- Moissonner un catalogue
Moissonner un catalogue
Mis à jour le par Patrick Smith
Les moissonneurs permettent aux administrateurs de créer et de mettre à jour facilement un nombre important de jeux de données en les important à partir d'une source externe telle qu'un catalogue CSW ou un service ArcGIS, entre autres.
Les deux principaux usages des moissonneurs sont :
- Amorcer votre portail avec des jeux de données d'un portail existant
- Gardez vos jeux de données synchronisés avec un service externe
Le moissonneur créera des jeux de données, mettra à jour leurs métadonnées et leurs ressources, les maintiendra synchronisés et les publiera.
Créer un moissonneur
Pour débuter avec les moissonneurs, cliquez sur le menu des moissonneurs dans votre back office puis sur Ajouter un moissonneur. Il vous sera demandé de choisir le type de portail que vous souhaitez moissonner et un nom pour votre moissonneur.
Lorsque vous avez terminé, cliquez sur Créer un moissonneur. Vous serez redirigé vers le formulaire de configuration du moissonneur. Comme cela dépend du type de moissonneur, veuillez vous référer à chaque page de moissonneur ci-dessous pour des instructions détaillées.
Certaines options sont disponibles pour chaque type de moissonneur, telles que :
- Mise à jour à la suppression : si les jeux de données sources sont supprimés sur le portail moissonné, supprimez-les également sur ce portail Opendatasoft. Sinon, vous pouvez avoir des jeux de données qui ne sont plus disponibles sur le service externe (par exemple : s'ils sont supprimés du service externe).
- Télécharger des ressources : téléchargez des ressources au lieu de les attacher via une URL. Cette option vous permet de détacher vos jeux de données du portail distant en copiant en permanence toutes les données requises sur la plateforme Opendatasoft. Sinon, vos jeux de données seront liés au service externe et accéderont aux jeux de données distants via leur URL à chaque publication.
- Restreindre la visibilité : rendre la visibilité des jeux de données moissonnés restreinte. Sinon, ils auront la visibilité par défaut de votre portail.
- Métadonnées par défaut, métadonnées INSPIRE, métadonnées DCAT : vous permettent de remplacer certaines métadonnées dans chaque jeu de données moissonné. Utile si vous souhaitez forcer le thème ou l'éditeur au lieu d'utiliser celui utilisé sur le service externe.
Une fois que vous avez terminé de configurer le moissonneur, vous pouvez cliquer sur le bouton Aperçu pour le tester sur quelques jeux de données. Si vous voyez des titres et des descriptions et qu'ils semblent corrects, vous êtes prêt. Sinon, veuillez vérifier votre configuration.
Utiliser un moissonneur
Le processus de moissonnage peut être assez long sur des services externes avec de nombreux jeux de données ou avec des jeux de données volumineux. C'est pourquoi il est divisé en deux phases :
- Tout d'abord, le moissonneur se connectera au service distant et découvrira tous les jeux de données qu'il contient. Il créera ensuite un jeu de données non publié pour chaque jeu de données distant qu'il trouve. Ces jeux de données contiendront toutes les métadonnées et ressources disponibles (sous forme d'URL ou de fichiers selon l'option de téléchargement des ressources ). Cela se produit lorsque vous cliquez sur le bouton Démarrer le moissonneur .
- Ensuite, il traitera et publiera tous les jeux de données moissonnés. Cette étape peut prendre un certain temps. Cela se produit lorsque vous cliquez sur le bouton Publier .
Editer les jeux de données moissonnés
Avant de les publier, vous pouvez modifier les métadonnées des jeux de données moissonnés. Vous pouvez remplacer manuellement les métadonnées sur la page du jeu de données (onglet d'informations) en cliquant sur Surcharger et en ajoutant votre propre valeur. Cette surcharge sera conservée même si vous relancez le moissonneur.
Supprimer un moissonneur
Lorsque vous supprimez un moissonneur en cliquant sur le bouton Effacer le moissonneur , vous pouvez choisir entre conserver les jeux de données moissonnés (ils seront conservés comme des jeux de données classiques dans votre catalogue) ou les supprimer avec le moissonneur.
Si vous choisissez de les conserver, sachez que vous devrez les manipuler un par un pour les dépublier ou les supprimer par la suite et qu'ils seront dupliqués si vous recréez un autre moissonneur sur le même service externe.
Types de moissonneurs
Portails
Moissonneur Opendatasoft Federation , moissonneur data.gouv.fr , moissonneur ArcGIS , moissonneur ArcGIS Hub Portals , moissonneur CKAN , moissonneur Socrata , moissonneur data.json , moissonneur Quandl
Services
Moissonneur CSW , moissonneur FTP avec CSV de métadonnées
Le moissonneur FTP utilise FTPS (mode explicite sur le port 21) par défaut mais prend en charge FTP si spécifié dans l'URL fournie ou si le serveur distant ne prend pas en charge FTPS.
Planification
Depuis la page de configuration d'un moissonneur, il est possible de le faire fonctionner périodiquement. Pour cela, faites défiler vers le bas de la page et cliquez sur Définir un traitement récurrent . Vous pouvez faire fonctionner le moissonneur tous les jours ou choisir les jours de la semaine ou les jours du mois pendant lesquels elle fonctionnera. Cependant, vous devez toujours choisir l'heure de la journée à laquelle il s'exécutera car il ne peut pas s'exécuter plus d'une fois par jour.
L'exécution périodique ne se déclenchera que si le moissonneur a été exécutée au moins une fois.
À la fin d'une exécution planifiée, tous les jeux de données déjà publiés du moissonneur seront republiés, mais les jeux de données non publiés ou les nouveaux jeux de données ne seront pas automatiquement publiés.