Qu'est-ce qu'un processeur et comment l'utiliser ?

Les processeurs sont des outils qui peuvent être utilisés pour modifier, améliorer ou enrichir les données d'un jeu de données.

Dans la plateforme Opendatasoft, les processeurs sont répartis en quatre catégories différentes :

Processeurs de cartographie géographique
Processeurs pour le traitement des dates
Processeurs pour les transformations de texte
Processeurs pour les traitements génériques

Comment ajouter un processeur à un ensemble de données

Dans l'onglet Traitement de votre jeu de données, cliquez sur le bouton Ajouter un processeur.
Choisissez le processeur à ajouter au jeu de données.
A l'aide de la documentation du processeur choisi, renseignez les bons paramètres pour paramétrer le processeur.
(facultatif) Cliquez sur l'icône d'édition pour renommer le processeur. Cette étape peut être particulièrement utile lorsque de nombreux processeurs sont appliqués à un jeu de données, y compris plusieurs processeurs du même type (par exemple, renommer les multiples processeurs Expression appliqués à un jeu de données pour savoir plus facilement lequel contient quelle expression).

Vous devrez peut-être cliquer en dehors de la zone du processeur une fois les paramètres configurés pour vous assurer que le processeur et les modifications qu'il déclenche sont pris en compte et appliqués au jeu de données. Utilisez toujours les identifiants techniques des champs à traiter, jamais les labels.

Notez que lorsque vous ajoutez un champ à un jeu de données à l'aide d'un processeur, ce champ devient visible dans le schéma du jeu de données, accessible via l'onglet Schéma.

Processeurs géographiques

Les processeurs géographiques sont divisés en quatre catégories, selon ce que l'on essaie d'obtenir :

Géocodeurs : utilisés pour convertir une adresse lisible par l'homme en un point géographique.
Processeur de jointure géo : pour récupérer des formes géo à partir de codes normalisés, pour des divisions administratives spécifiques de pays. Le processeur de jointure géographique prend en charge plusieurs pays, chacun d'entre eux possédant ses propres codes d'indexation comme le code postal, l'état ou l'identifiant régional, etc.
Processeur Récupérer les divisions administratives : utilisé pour récupérer le nom, le code et la forme géographique des divisions administratives spécifiques au pays entourant un point géo.
Convertisseurs et fonctions : utilisés pour simplifier, convertir ou normaliser des données géographiques, ou exécuter des calculs basés sur celles-ci.

Géocodeurs

Nom	Description	Disponibilité
Géocoder avec ArcGIS	Géocoder des adresses en texte intégral à l'aide de l'API de géocodage ArcGIS	Par défaut
Géocoder avec BAN (France)	Géocoder les adresses en France en utilisant le service Base d'Adresses Nationale (BAN)	Par défaut
Géocoder avec PDOK	Géocoder des adresses aux Pays-Bas en utilisant le service PDOK	À la demande
Géocoder avec le Census Bureau (USA)	Géocoder les adresses aux États-Unis en utilisant le Census Bureau	À la demande
Obtenir les coordonnées d'une adresse de 3 mots	Convertir une adresse de 3 mots en coordonnées géographiques	À la demande
Adresse IP aux coordonnées géographiques	Géocoder une adresse IP	Par défaut
Géocodeur nominal	Géocodez les adresses en texte intégral à l'aide des données OpenStreetMap	À la demande
what3words	Produire une adresse de 3 mots avec des coordonnées géographiques	À la demande

Processeur de jointure géo

Nom	La description	Disponibilité
Jointure Géo	Récupérer les formes géographiques des divisions administratives pour un pays et un référentiel spécifiés	Par défaut

Processeur Récupérer les divisions administratives

Nom	La description	Disponibilité
Récupérer les divisions administratives	Récupérer les informations des divisions administratives avec un point géo	Par défaut

Convertisseurs et fonctions

Nom	La description	Disponibilité
Calculer la distance géographique	Calculer la distance entre deux coordonnées	Par défaut
Forme géographique correcte	Corriger les formes géographiques invalides	À la demande
Convertir des degrés	Convertir une coordonnée géographique degrés, minutes, secondes en coordonnées WGS84	Par défaut
Créer un point géographique	Créer un champ de géopoint à partir d'un champ de latitude et d'un champ de longitude	Par défaut
Décoder une polyligne Google	Transformer une polyligne Google encodée en GeoJSON LineString	À la demande
GeoHash vers GeoJSON	Convertir les valeurs GeoHash en GeoJSON	À la demande
Géomasquage	Fournit une protection de la vie privée en se rapprochant d'un emplacement géographique dans un rayon spécifique	Par défaut
Normaliser la référence de projection	Remplacer un géopoint par sa représentation WGS84	Par défaut
Filtrage des polygones	Supprimer les points qui ne sont pas dans un polygone	À la demande
Simplifier la forme géographique	Simplifier une forme géographique pour réduire le temps de traitement et la taille du jeu de données	Par défaut
WKT et WKB vers GeoJSON	Convertir un objet de géométrie vectorielle représenté dans WKT ou WKB en un objet GeoJson	À la demande

Processeurs de dates

Nom	La description	Disponibilité
Normaliser la date	Normaliser un format de date non compris automatiquement par la plateforme	Par défaut
Définir le fuseau horaire	Définir un fuseau horaire pour un champ datetime	Par défaut

Processeurs de texte

Nom	La description	Disponibilité
Concaténer du texte	Concaténer deux champs	Par défaut
Décoder les entités HTML	Décoder les entités HTML d'un texte, pour les transformer en HTML valide	Par défaut
Extraire HTML	Extraire le HTML d'une balise HTML pour ne conserver que le contenu textuel	Par défaut
Extraire du texte	Extraire une partie d'une valeur de champ à l'aide d'une expression régulière	Par défaut
Extraire des URL	Extraire les URL du contenu HTML ou texte	Par défaut
Normaliser les valeurs Unicode	Normaliser le contenu Unicode à l'aide de la composition canonique du formulaire de normalisation (NFC)	Par défaut
Normaliser l'URL	Normaliser une valeur de champ pour obtenir une URL valide	Par défaut
Remplacer le texte	Remplacer une valeur de champ textuel par un texte choisi	Par défaut
Remplacer par expression régulière	Remplacer une partie supprimée d'une valeur de champ à l'aide d'une expression régulière	Par défaut
Fractionner le texte	Fractionner une valeur de champ et en extraire une partie dans un nouveau champ	Par défaut

Processeurs génériques

Nom	La description	Disponibilité
Ajouter un champ	Ajouter un nouveau champ vide dans un jeu de données	Par défaut
Copier un champ	Copier une valeur de champ d'un champ à un autre	Par défaut
Dédupliquer les champs à plusieurs valeurs	Supprimer les valeurs en double dans un champ à plusieurs valeurs	Par défaut
Supprimer l'enregistrement	Supprimer un enregistrement en fonction des valeurs de champ	Par défaut
Développer le tableau JSON	Transposer les lignes contenant un tableau JSON en plusieurs lignes	Par défaut
Développer le champ à plusieurs valeurs	Transformer les valeurs contenues dans un champ multivalué en plusieurs enregistrements	Par défaut
Expression	Écrire des modèles d'expression complexes à l'aide de valeurs de champ	Par défaut
Extraire la plage de bits	Extraire une plage de bits arbitraire d'un contenu hexadécimal ou binaire	À la demande
Extraire d'un objet JSON	Extraire des valeurs d'un champ contenant un objet JSON	Par défaut
Fichier	Récupérer des images à partir d'URL	Par défaut
Joindre des ensembles de données	Joindre deux ensembles de données pour récupérer un champ spécifié dans un ensemble de données	Par défaut
Tableau JSON à plusieurs valeurs	Extraire plusieurs valeurs d'un tableau JSON et les concaténer dans un champ à plusieurs valeurs	Par défaut
Méta-expression	Appliquer une expression sur plusieurs champs	À la demande
Ignorer les enregistrements	Ignorer les enregistrements d'un jeu de données	Par défaut
Transformer des colonnes booléennes en champ à plusieurs valeurs	Transformer les vraies valeurs des champs booléens en un champ à plusieurs valeurs	Par défaut
Transposer les colonnes en lignes	Transformer les étiquettes en valeurs de champ	Par défaut