Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

PANDORÆ, un logiciel pour constituer, normaliser et explorer des corpus

Caractéristiques

Date2018 (1ère version)
PorteurGuillaume Levrier
TypeRécupération, normalisation et exploration de données depuis des sources en ligne (dont archives web)
Accès au code
Guillaume-Levrier/PANDORAE sur Github
Documentation
pandorae.politique.science
Fonctions
Récupération de données provenant d’API ou extraction directe
Normalisation des données sous le format CSL-JSON
Sauvegarde de ces données via un transfert à Zotero
Exploration de collections Zotero via des heuristiques de visualisation de corpus
Sur quelles données : collections d’archives web concernées Les collections indexées en plein texte (liens hypertextes compris)
Contexte d’utilisation à la BnF et conditions de récupération des donnéesPANDORÆ est utilisable au BnF DataLab et installé sur les postes du BnF DataLab. Les métadonnées récupérées dans Zotero (à l’exception du champ content) peuvent être exportées hors de la BnF. Les heuristiques produites peuvent être publiées
LicenseMIT (open source)

L’outil en bref

PANDORÆ est un logiciel conçu pour la recherche scientifique. Il permet la récupération de données sur différents types de sources en ligne et de les normaliser afin de pouvoir les comparer. Son objet originel était de systématiser la récupération de données provenant de bases de données scientométriques telles que Scopus ou Web of Science. Peu à peu, d’autres sources ont été connectées avec le système : essais cliniques, archives parlementaires, réseaux sociaux (twitter), BioRXiv, Problematic Paper Screener, l’archive ISTEX, le logiciel Hyphe, et plus récemment les archives du web conservées à la BnF et Gallica. 

PANDORÆ est par définition conçu comme un système modulaire visant à permettre l‘extraction, la normalisation et l’exploration de tout jeu de donnée pouvant être abstrait sous forme de collection de documents. Il permet de constituer des corpus via l’interface utilisateur de Zotero et de les explorer au travers de visualisations ad-hoc. Il a donc vocation à être interfacé avec d’autres outils utilisés par les chercheurs et les bibliothécaires.

 


PANDORÆ pour explorer des collections d’archives web indexées en plein texte

L’association du chercheur développant l’outil à la Bibliothèque nationale de France a permis l’interfaçage de PANDORÆ avec des jeux de données dont l’accès est restreint et soumis à autorisation. Depuis 2024, PANDORÆ est capable d’interroger les collections indexées en plein texte des archives du web français indexées en plein texte et dont les liens hypertextes ont été indexés, en premier lieu la collection Elections 2002-2012 (collectes réalisées au moment des élections présidentielle et législatives 2002, élections régionales de 2002, élections présidentielle et législatives 2007, élections municipales 2002, élections européennes 2009, élections régionales 2010). 


Workflows

PANDORÆ permet la constitution et l’exploration de corpus d’archives web en partant d’un mot clé ou d’une expression. Le workflow est le suivant : 

  • requête sur les collections indexées en plein texte (à partir d’un mot clé, d’une expression, ou de requêtes plus complexes)
  • extraction de corpus (métadonnées seulement) issues des archives du web : les informations relatives à chaque capture web sont envoyées et gérées dans Zotero
  • exploration de corpus (réimport de la librairie zotero) via des heuristiques de visualisation

 

 


Enjeux

PANDORÆ permet l’analyse systématique de corpus de captures de pages contenant des expressions ciblées (ou répondant à toute autre requête complexe admise par la base de donnée). Cette stratégie facilite l’analyse qualitative exhaustive de pages disponibles dans les archives du web. Elle permet notamment de réduire le bruit caractéristique des recherche plein texte dans les archives du web : 

  • en traitant rapidement les captures identiques d’une même page réalisées à des dates différentes : la mise en regard de ces captures permet ainsi de résoudre le problème posé par les doublons ; 
  • en permettant à l’usager de marquer les pages déjà explorées ;
  • en proposant des heuristiques de visualisation permettant d’explorer les liens entre ces pages ;
  • en permettant un nettoyage du corpus avant réimport depuis Zotero.

Mises ensembles, ces propriétés répondent à un fort enjeu de reproducibilité et d’interoperabilité des efforts de recherche sur les archives du web. En permettant l’abstraction des captures comme collections de documents au même titre que d’autres sources documentaires, elles permettent leur traitement par des approches disciplinaires qui ne sont pas exclusivement celles des historien.ne.s spécialisé.e.s sur les technologies du web. 


OpenEdition vous propose de citer ce billet de la manière suivante :
webcorpora (23 janvier 2025). PANDORÆ, un logiciel pour constituer, normaliser et explorer des corpus. Web Corpora. Consulté le 9 novembre 2025 à l’adresse https://doi.org/10.58079/135aq


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.