Premier pas avec Opendatasoft
Explorer et utiliser les données
Explorer le catalogue et les jeux de données
Explorer un catalogue de jeux de données
Contenu d'un jeu de données
Filtrer des données dans un jeu de données
Introduction à l'API Explore
Introduction à l'API Automation
Présentation de l'API WFS
Télécharger un jeu de données
Créer des cartes et des graphiques
Création de graphiques avancés avec l'outil Graphiques
Présentation de l'interface Cartes
Configurez votre carte
Gérez vos cartes
Réorganiser et regrouper les couches dans une carte
Création de cartes multicouches
Partagez votre carte
Navigation dans les cartes créées avec le créateur de Cartes
Renommer et enregistrer une carte
Créer des pages avec l'éditeur de code
Archivage d'une page
Gérer la sécurité d'une page
Créer une page avec l'éditeur de code
Pages de contenu : idées, conseils et ressources
Comment insérer des liens internes sur une page ou créer une table des matières
Partager et intégrer une page de contenu
Comment dépanner les cartes qui ne se chargent pas correctement
Créer des pages avec le Studio
Créer du contenu avec Studio
Ajouter une page
Publier une page
Modifier la mise en page
Configurer des blocs
Aperçu d'une page
Ajouter du texte
Ajout d'un graphique
Ajouter un bloc image à une page Studio
Ajouter un bloc de carte choroplèthe dans Studio
Ajout d'un bloc de carte de points d'intérêt dans Studio
Ajouter un indicateur clé de performance (KPI)
Configurer les informations d'une page
Utiliser des filtres pour améliorer vos pages
Affiner les données
Gérer l'accès aux pages
Comment modifier l'url d'une page Studio
Ajouter un bloc de carte dans Studio
Les visualisations
Gérer les visualisations sauvegardées
Configurer la visualisation Calendrier
Explorer les différentes visualisations d'un jeu de données
Configurer la visualisation Images
Configurer la vue personnalisée
Configurer la visualisation Tableau
Configurer la visualisation Carte
Comprendre le regroupement automatique dans les cartes
Configurer la visualisation Analyse
Publier des données
Publier vos jeux de données
Créer un jeu de données
Créer un jeu de données à partir d'un fichier local
Créer un jeu de données avec plusieurs fichiers
Création d'un jeu de données à l'aide de connecteurs dédiés à des services distants spécifiques
Créer un jeu de données avec des fichiers multimédias
Fédérer un jeu de données Opendatasoft
Publier un jeu de données
Formats de fichiers pris en charge
Valorisez les données de mobilité grâce au GTFS et autres formats
Gérer les configurations de vos jeux de données
Suppression automatique des enregistrements
Configuration de l'export de jeux de données
Consulter l'historique du jeu de données
Configurer l'info-bulle
Actions et états des jeux de données
Limites des jeux de données
Définir un modèle de données
Comment Opendatasoft gère les dates
Comment et où Opendatasoft gère les fuseaux horaires
Comment trouver l'adresse IP de votre espace de travail
Maintenir les données à jour
Traiter des données
Traduire un jeu de données
Comment configurer une connexion HTTP à l'API de France Travail
Décider quelle licence convient le mieux à votre jeu de données
Formats de fichier source
Fichiers OpenStreetMap
Shapefiles
Fichiers JSON
Fichiers XML
Fichiers de feuille de calcul
Fichiers RDF
Fichiers CSV
Fichiers MapInfo
Fichiers GeoJSON
Fichiers KML
GeoPackage
Les connecteurs
Sauvegarde et partage de connexions
Connecteur Airtable
Connecteur Amazon S3
Connecteur ArcGIS
Connecteur de stockage Azure Blob
Connecteur de base de données
Connecteur Jeu de données de jeux de données (espace de travail)
Connecteur Eco Counter
Connecteur Feed
Connecteur Google BigQuery
Connecteur Google Drive
Comment trouver la clé API Open Agenda et l'URL Open Agenda
Connecteur JCDecaux
Connecteur Netatmo
Connecteur OpenAgenda
Connecteur Realtime
Connecteur Salesforce
Connecteur SharePoint
Connecteur US Census
Connecteur WFS
Connecteur Databricks
Les moissonneurs
Moissonner un catalogue
Moissonneur ArcGIS
Moissonneur ArcGis Hub Portals
Moissonneur CKAN
Moissonneur CSW
Moissonneur FTP avec CSV de métadonnées
Moissonneur Fédération Opendatasoft
Moissonneur Quandl
Moissonneur Socrata
Moissonneur data.gouv.fr
Moissonneur data.json
Les processeurs
Qu'est-ce qu'un processeur et comment l'utiliser ?
Processeur Ajouter un Champ
Processeur Calculer la distance géographique
Processeur Concaténer du texte
Processeur Convertir des degrés
Processeur Copier un Champ
Processeur Corriger les formes géographiques
Processeur Créer un point géo
Processeur Décoder les entités HTML
Processeur Décoder un polyline Google
Processeur Dédupliquer des champs multivalués
Processeur Supprimer un enregistrement
Processeur Déplier le tableau JSON
Processeur Déplier les champs à valeur multiples
Processeur Expression
Processeur Extraire du HTML
Processeur Extraire les URLs
Processeur Extraire la plage de bits
Processeur Extraire d'un objet JSON
Processeur Extraire du texte
Processeur Fichier
Processeur GeoHash en GeoJSON
Processeur de jointure géographique
Processeur Géocoder avec ArcGIS
Processeur Géocoder avec la BAN (France)
Processeur Géocoder avec PDOK
Processeur Géocoder avec le Census Bureau (États-Unis)
Processeur Masquage géographique
Processeur Récupérer les coordonnées d'une adresse 3 mots
Processeur Adresse IP vers Coordonnées Géo
Processeur Tableau JSON vers multivalué
Processeur Joindre des jeux de données
Processeur Méta-expression
Processeur Géocodeur Nominatim
Processeur Normaliser le Système de Projection
Processeur Normaliser une URL
Processeur Normaliser les valeurs Unicode
Processeur Normaliser une date
Processeur Filtrage du polygone
Processeur Remplacer le texte
Processeur Remplacer avec une expression régulière
Processeur Récupérer les divisions administratives
Processeur Définir le fuseau horaire
Processeur Simplifier les formes géo
Processeur Ignorer les enregistrements
Processeur Séparer le texte
Processeur Transformer des colonnes de booléens en champs multivalués
Processeur Transposer des colonnes en lignes
Processeur WKT et WKB en GeoJSON
Processeur what3words
La fonctionalité Formulaire de Collecte de Données
À propos de la fonctionnalité Formulaire de Collecte de Données
Formulaires de collecte de données associé à votre espace de travail Opendatasoft
Créez et gérez vos formulaires de collecte de données
Partager et modérer vos formulaires de collecte de données
Metadonnées des ensembles de données
Analyser l'utilisation de mes données
S'impliquer : partager, réutiliser et réagir
Découvrir et soumettre des réutilisations de données
Partage via les réseaux sociaux
Commenter via Disqus
Suivre les mises à jour d'un jeu de données
Partager et intégrer des visualisations de données
Statistiques d'utilisation
Introduction à l'utilisation des statistiques de vos espaces de travail
Analyser l'activité des utilisateurs
Analyser les actions
Détails sur les champs spécifiques du jeu de données ods-api-monitoring
Comment compter les téléchargements d'un jeu de données sur une période spécifique
Analyser l'utilisation des données
Analyser l'utilisation des ensembles de données
Analyser l'activité du back office
Utilisation de la fonctionnalité de lignage des données
Gérer les groupes et utilisateurs
Gérer les limites
Gérer les utilisateurs
Gestion des utilisateurs
Définition de quotas pour des utilisateurs individuels
Gérer les demandes d'accès
Inviter des utilisateurs sur le portail
Gérer les espaces de travail
Gérer mon portail
Configurer mon portail
Configurer les pages du catalogue et du jeu de données
Configuration d'un catalogue partagé
Partager, réutiliser, communiquer
Personnaliser l'URL de votre espace de travail
Gérer les mentions légales
Connecter Google Analytics (GA4)
Paramètres régionaux
Gérer le suivi
Navigabilité et apparence
Personnaliser votre portail
Personnaliser les thèmes du portail
Comment personnaliser mon portail selon la langue courante
Gérer les thèmes du jeu de données
Configurer les visualisations de données
Configurer la navigation
Ajouter des ressources
License et quotas
Monitoring de la licence et des quotas de votre espace de travail
Licences et quotas de votre espace de travail
Gérer la sécurité
Configurer la politique de sécurité générale de votre portail
L'onglet Sécurité d'un jeu de données
Mapping de vos groupes Opendatasoft avec votre annuaire (via SSO)
Authentification unique (SSO) avec OpenID Connect
Authentification unique (SSO) avec SAML
Paramètres
Langues prises en charge par Opendatasoft
Configuration des paramètres du compte
Gestion des identités
Comprendre les notifications reçues avec vos autorisations
Gestion des notifications
Gestion des clés API
Accessibilité chez Opendatasoft
Enregistrement des applications
Vérification du quota du compte
- Home
- Publier des données
- Les connecteurs
- Connecteur de base de données
Connecteur de base de données
Mis à jour le par David Thoumas
Le connecteur de base de données est utilisé pour extraire des données de bases de données prenant en charge Open Database Connectivity (ODBC).
Les bases de données supportées par Opendatasoft sont :
Base de données | Ressources du fournisseur | Version de base de données prise en charge |
Snowflake | Tous | |
Denodo | >= 8.0 mise à jour 20220126 |
Le connecteur de base de données fonctionne au niveau de la base de données. Pour configurer une source de données à l'aide de ce connecteur, vous devrez rassembler :
- Les détails de connexion (comme login et mot de passe, adresse du serveur, nom de la base de données)
- La requête SQL pour extraire les données pertinentes de votre base de données
Comme ce connecteur prend en charge les connexions réutilisables, vous aurez la possibilité de réutiliser facilement les détails de connexion d'un jeu de données à un autre jeu de données.
Création
Vous pouvez configurer une source à l'aide du connecteur de base de données en créant un nouveau jeu de données ou en ajoutant une nouvelle source à un jeu de données existant.
- Sélectionnez l'une des bases de données prises en charge sur l'écran de création de la source.
- Configurez les détails de connexion pour connecter Opendatasoft à votre base de données. Si vous avez déjà créé et enregistré une connexion à la base de données, vous souhaiterez peut-être la réutiliser.
- Dans Requête , configurez la requête SQL personnalisée à utiliser pour extraire les données de votre base de données. Cette requête peut être arbitrairement complexe.
- Dans Requête d'aperçu [facultatif] , configurez la requête SQL personnalisée à utiliser pour extraire les données de votre base de données en mode aperçu, lors de la configuration du jeu de données dans le back-office Opendatasoft.
- Dans Requête incrémentielle [facultatif] , configurez la requête SQL personnalisée à utiliser pour extraire les données en mode incrémentiel. Voir ci-dessous pour plus de détails sur le mode d'extraction incrémentielle.
- Dans Champ incrémentiel [facultatif] , configurez le nom du champ de résultat de la requête utilisé pour créer la clause de mise à jour incrémentielle. Voir ci-dessous pour plus de détails sur le mode d'extraction incrémentielle.
Détails de connexion
Base de données | Configuration des détails de connexion |
Snowflake | |
Denodo |
Utilisation d'une requête d'aperçu pour les ensembles de résultats volumineux
Il peut arriver que la requête que vous configurez mette du temps à s'exécuter et ralentisse considérablement (voire détériore) les écrans de configuration dans le back-office d'Opendatasoft.
Disons par exemple que vous souhaitez interroger une table de base de données cities_in_the world
table listant toutes les villes du monde. Le schéma de la base de données contient les champs city_name
, city_country
et number_of_inhabitants
.
La requête que vous utiliseriez dans le paramètre Query serait :
SELECT city_name, city_country, number_of_inhabitants FROM cities_in_the_world;
Cependant, pour diverses raisons dépendant du moteur de base de données utilisé en arrière-plan, cette requête peut prendre du temps à s'exécuter. Dans ce cas, utilisez le paramètre de requête Aperçu et définissez une requête plus légère dont vous savez qu'elle sera exécutée en temps opportun :
SELECT city_name, city_country, number_of_inhabitants FROM cities_in_the_world LIMIT 20;
Mise à jour incrémentielle d'un jeu de données avec une source de base de données
Lorsqu'un jeu de données avec une source de base de données est à nouveau publié manuellement ou via la planification, le contenu du jeu de données précédent est effacé et tout le contenu de la table de base de données est à nouveau traité. Cependant, il existe de nombreux cas d'utilisation où cette approche ne convient pas. Vous pouvez, par exemple, créer un ensemble de données à partir d'une table de base de données contenant une mesure de température quotidienne pour des emplacements spécifiés.
Les temperatures
de la table de la base de données contiendraient les champs :
Nom de domaine | Type de champ |
| VARCHAR |
| DATE |
| FLOTTANT |
Vous configurerez ensuite le paramètre Query suivant :
SELECT location, date, temperature FROM temperatures;
Vous configurez ensuite le jeu de données pour qu'il soit mis à jour quotidiennement grâce au planificateur interne d'Opendatasoft. La première mise à jour récupère toutes les données historiques. Et tous les deux jours, au moment de la mise à jour, le contenu de l'ensemble de données est nettoyé et tout le contenu de la table est à nouveau récupéré. Ce n'est probablement pas ce à quoi vous vous attendez, car cette approche n'est certainement pas adaptée à la consommation de ressources.
Pour minimiser le volume de données synchronisées à chaque mise à jour, vous pouvez paramétrer le connecteur en mode incrémentiel. Pour ce faire, vous devez configurer les paramètres Requête incrémentielle et Champ incrémentiel .
Le paramètre de requête incrémentielle contient une requête basée sur un modèle, utilisée par le connecteur lors de la deuxième exécution de la mise à jour et des autres. Il doit contenir un espace réservé {INCR_CONDITION}
qui est automatiquement rempli par le connecteur. Par exemple:
SELECT location, date, temperature FROM temperatures WHERE {INCR_CONDITION};
Le paramètre Champ incrémentiel contient un nom de champ, dont la valeur est utilisée pour créer l'espace réservé {INCR_CONDITION}
. Ici, vous définiriez la date
de valeur . Par conséquent, le connecteur va scanner les valeurs de ce champ, garder la valeur la plus élevée en mémoire et l'utiliser pour la prochaine exécution du connecteur.
Considérons que les valeurs initiales dans la base de données sont :
emplacement | date | température |
Paris | 2023-04-01 | 25 |
Londres | 2023-04-01 | 22 |
Boston | 2023-04-01 | 29 |
Paris | 2023-04-02 | 24 |
Londres | 2023-04-02 | 23 |
Boston | 2023-04-02 | 22 |
Pour le traitement initial, le connecteur de base de données exécutera la requête SQL définie dans le paramètre Query :
SELECT location, date, temperature FROM temperatures;
Il ira donc chercher les 6 enregistrements ci-dessus.
Disons que l'ensemble de données est configuré pour être mis à jour quotidiennement. Et que le 2023-04-03, 3 nouveaux enregistrements sont ajoutés au tableau :
emplacement | date | température |
Paris | 2023-04-03 | 21 |
Londres | 2023-04-03 | 19 |
Boston | 2023-04-03 | 18 |
Lors du second traitement, le connecteur base de données récupère la valeur la plus élevée du champ date
identifié lors du premier traitement (2023-04-02) et l'utilise pour réécrire la requête Incrémentale :
SELECT location, date, temperature FROM temperatures WHERE date >= '2023-04-02';
De cette façon, seuls les enregistrements du 2023-04-02 et du 2023-04-02 seront récupérés.
greater or equals
pour s'assurer que les enregistrements qui ont été ajoutés récemment (après l'exécution du connecteur précédent) ne sont pas manqués.Base de données Snowflake
Les détails de connexion à remplir pour une base de données Snowflake sont décrits dans le tableau ci-dessous.
Le nom du paramètre | Description |
Serveur | Compte Snowflake auquel se connecter, sous la forme |
Identifiant de l'utilisateur | Identifiant d'utilisateur Snowflake |
Mot de passe | Mot de passe utilisateur Snowflake |
Rôle | Rôle Snowflake utilisé par Opendatasoft lors de l'exécution de requêtes (doit être un rôle valide pour l'utilisateur sélectionné) |
Base de données | Nom de la base de données à laquelle se connecter |
Schéma | Schéma de base de données |
Entrepôt | Entrepôt Snowflake (ressource de calcul) utilisé pour exécuter des requêtes effectuées par Opendatasoft |
Base de données Denodo
Les détails de connexion à renseigner pour une base de données Denodo sont décrits dans le tableau ci-dessous.
Le nom du paramètre | Description |
Serveur | Nom d'hôte du serveur qui héberge votre Denodo Virtual DataPort |
Port | Numéro de port du serveur qui héberge votre Denodo Virtual DataPort |
SSL requis | Si une connexion SSL doit être requise (définie uniquement si SSL est configuré sur le serveur Virtual DataPort) |
Identifiant de l'utilisateur | Identifiant utilisateur Denodo |
Mot de passe | Mot de passe utilisateur Denodo |
Base de données | Nom de la base de données à laquelle se connecter |