Moissonner un catalogue

Les moissonneurs permettent aux administrateurs de créer et de mettre à jour facilement un nombre important de jeux de données en les important à partir d'une source externe telle qu'un catalogue CSW ou un service ArcGIS, entre autres.

Les deux principaux usages des moissonneurs sont :

1. Amorcer votre portail avec des jeux de données d'un portail existant

2. Gardez vos jeux de données synchronisés avec un service externe

Le moissonneur créera des jeux de données, mettra à jour leurs métadonnées et leurs ressources, les maintiendra synchronisés et les publiera.

Pour débuter avec les moissonneurs, cliquez sur le menu des moissonneurs dans votre back office puis sur Ajouter un moissonneur. Il vous sera demandé de choisir le type de portail que vous souhaitez moissonner et un nom pour votre moissonneur.

Lorsque vous avez terminé, cliquez sur Créer un moissonneur. Vous serez redirigé vers le formulaire de configuration du moissonneur. Comme cela dépend du type de moissonneur, veuillez vous référer à chaque page de moissonneur ci-dessous pour des instructions détaillées.

Important: Il est nécessaire de publier les jeux de données pour qu'ils soient visibles sur votre portail. Vous pouvez le faire via le bouton du moissonneur ou via les jeux de données directement.

Certaines options sont disponibles pour chaque type de moissonneur, telles que :

• Mise à jour à la suppression : si les jeux de données sources sont supprimés sur le portail moissonné, supprimez-les également sur ce portail Opendatasoft. Sinon, vous pouvez avoir des jeux de données qui ne sont plus disponibles sur le service externe (par exemple : s'ils sont supprimés du service externe).

• Télécharger des ressources : téléchargez des ressources au lieu de les attacher via une URL. Cette option vous permet de détacher vos jeux de données du portail distant en copiant en permanence toutes les données requises sur la plateforme Opendatasoft. Sinon, vos jeux de données seront liés au service externe et accéderont aux jeux de données distants via leur URL à chaque publication.

• Restreindre la visibilité : rendre la visibilité des jeux de données moissonnés restreinte. Sinon, ils auront la visibilité par défaut de votre portail.

• Métadonnées par défaut, métadonnées INSPIRE, métadonnées DCAT : vous permettent de remplacer certaines métadonnées dans chaque jeu de données moissonné. Utile si vous souhaitez forcer le thème ou l'éditeur au lieu d'utiliser celui utilisé sur le service externe.

Une fois que vous avez terminé de configurer le moissonneur, vous pouvez cliquer sur le bouton Aperçu pour le tester sur quelques jeux de données. Si vous voyez des titres et des descriptions et qu'ils semblent corrects, vous êtes prêt. Sinon, veuillez vérifier votre configuration.

Le processus de moissonnage peut être assez long sur des services externes avec de nombreux jeux de données ou avec des jeux de données volumineux. C'est pourquoi il est divisé en deux phases :

• Tout d'abord, le moissonneur se connectera au service distant et découvrira tous les jeux de données qu'il contient. Il créera ensuite un jeu de données non publié pour chaque jeu de données distant qu'il trouve. Ces jeux de données contiendront toutes les métadonnées et ressources disponibles (sous forme d'URL ou de fichiers selon l'option de téléchargement des ressources ). Cela se produit lorsque vous cliquez sur le bouton Démarrer le moissonneur .

• Ensuite, il traitera et publiera tous les jeux de données moissonnés. Cette étape peut prendre un certain temps. Cela se produit lorsque vous cliquez sur le bouton Publier .

Avant de les publier, vous pouvez modifier les métadonnées des jeux de données moissonnés. Vous pouvez remplacer manuellement les métadonnées sur la page du jeu de données (onglet d'informations) en cliquant sur Surcharger et en ajoutant votre propre valeur. Cette surcharge sera conservée même si vous relancez le moissonneur.

Lorsque vous supprimez un moissonneur en cliquant sur le bouton Effacer le moissonneur , vous pouvez choisir entre conserver les jeux de données moissonnés (ils seront conservés comme des jeux de données classiques dans votre catalogue) ou les supprimer avec le moissonneur.

Si vous choisissez de les conserver, sachez que vous devrez les manipuler un par un pour les dépublier ou les supprimer par la suite et qu'ils seront dupliqués si vous recréez un autre moissonneur sur le même service externe.

Moissonneur Opendatasoft Federation , moissonneur data.gouv.fr , moissonneur ArcGIS , moissonneur ArcGIS Hub Portals , moissonneur CKAN , moissonneur Socrata , moissonneur data.json , moissonneur Quandl

Moissonneur CSW , moissonneur FTP avec CSV de métadonnées

Sauf indication contraire, tous les moissonneurs utilisent HTTPS par défaut mais prennent en charge HTTP si spécifié dans l'URL fournie. Le moissonneur FTP utilise FTPS (mode explicite sur le port 21) par défaut mais prend en charge FTP si spécifié dans l'URL fournie ou si le serveur distant ne prend pas en charge FTPS.

Depuis la page de configuration d'un moissonneur, il est possible de le faire fonctionner périodiquement. Pour cela, faites défiler vers le bas de la page et cliquez sur Définir un traitement récurrent . Vous pouvez faire fonctionner le moissonneur tous les jours ou choisir les jours de la semaine ou les jours du mois pendant lesquels elle fonctionnera. Cependant, vous devez toujours choisir l'heure de la journée à laquelle il s'exécutera car il ne peut pas s'exécuter plus d'une fois par jour.

L'exécution périodique ne se déclenchera que si le moissonneur a été exécutée au moins une fois.

À la fin d'une exécution planifiée, tous les jeux de données déjà publiés du moissonneur seront republiés, mais les jeux de données non publiés ou les nouveaux jeux de données ne seront pas automatiquement publiés.