PANDORÆ, un logiciel pour constituer, normaliser et explorer des corpus
Caractéristiques
| Date | 2018 (1ère version) |
| Porteur | Guillaume Levrier |
| Type | Récupération, normalisation et exploration de données depuis des sources en ligne (dont archives web) |
| Accès au code | Guillaume-Levrier/PANDORAE sur Github |
| Documentation | pandorae.politique.science |
| Fonctions | Récupération de données provenant d’API ou extraction directe |
| Normalisation des données sous le format CSL-JSON | |
| Sauvegarde de ces données via un transfert à Zotero | |
| Exploration de collections Zotero via des heuristiques de visualisation de corpus | |
| Sur quelles données : collections d’archives web concernées | Les collections indexées en plein texte (liens hypertextes compris) |
| Contexte d’utilisation à la BnF et conditions de récupération des données | PANDORÆ est utilisable au BnF DataLab et installé sur les postes du BnF DataLab. Les métadonnées récupérées dans Zotero (à l’exception du champ content) peuvent être exportées hors de la BnF. Les heuristiques produites peuvent être publiées |
| License | MIT (open source) |
L’outil en bref
PANDORÆ est un logiciel conçu pour la recherche scientifique. Il permet la récupération de données sur différents types de sources en ligne et de les normaliser afin de pouvoir les comparer. Son objet originel était de systématiser la récupération de données provenant de bases de données scientométriques telles que Scopus ou Web of Science. Peu à peu, d’autres sources ont été connectées avec le système : essais cliniques, archives parlementaires, réseaux sociaux (twitter), BioRXiv, Problematic Paper Screener, l’archive ISTEX, le logiciel Hyphe, et plus récemment les archives du web conservées à la BnF et Gallica.
PANDORÆ est par définition conçu comme un système modulaire visant à permettre l‘extraction, la normalisation et l’exploration de tout jeu de donnée pouvant être abstrait sous forme de collection de documents. Il permet de constituer des corpus via l’interface utilisateur de Zotero et de les explorer au travers de visualisations ad-hoc. Il a donc vocation à être interfacé avec d’autres outils utilisés par les chercheurs et les bibliothécaires.
PANDORÆ pour explorer des collections d’archives web indexées en plein texte
L’association du chercheur développant l’outil à la Bibliothèque nationale de France a permis l’interfaçage de PANDORÆ avec des jeux de données dont l’accès est restreint et soumis à autorisation. Depuis 2024, PANDORÆ est capable d’interroger les collections indexées en plein texte des archives du web français indexées en plein texte et dont les liens hypertextes ont été indexés, en premier lieu la collection Elections 2002-2012 (collectes réalisées au moment des élections présidentielle et législatives 2002, élections régionales de 2002, élections présidentielle et législatives 2007, élections municipales 2002, élections européennes 2009, élections régionales 2010).
Workflows
PANDORÆ permet la constitution et l’exploration de corpus d’archives web en partant d’un mot clé ou d’une expression. Le workflow est le suivant :
- requête sur les collections indexées en plein texte (à partir d’un mot clé, d’une expression, ou de requêtes plus complexes)
- extraction de corpus (métadonnées seulement) issues des archives du web : les informations relatives à chaque capture web sont envoyées et gérées dans Zotero
- exploration de corpus (réimport de la librairie zotero) via des heuristiques de visualisation



Enjeux
PANDORÆ permet l’analyse systématique de corpus de captures de pages contenant des expressions ciblées (ou répondant à toute autre requête complexe admise par la base de donnée). Cette stratégie facilite l’analyse qualitative exhaustive de pages disponibles dans les archives du web. Elle permet notamment de réduire le bruit caractéristique des recherche plein texte dans les archives du web :
- en traitant rapidement les captures identiques d’une même page réalisées à des dates différentes : la mise en regard de ces captures permet ainsi de résoudre le problème posé par les doublons ;
- en permettant à l’usager de marquer les pages déjà explorées ;
- en proposant des heuristiques de visualisation permettant d’explorer les liens entre ces pages ;
- en permettant un nettoyage du corpus avant réimport depuis Zotero.
Mises ensembles, ces propriétés répondent à un fort enjeu de reproducibilité et d’interoperabilité des efforts de recherche sur les archives du web. En permettant l’abstraction des captures comme collections de documents au même titre que d’autres sources documentaires, elles permettent leur traitement par des approches disciplinaires qui ne sont pas exclusivement celles des historien.ne.s spécialisé.e.s sur les technologies du web.
Conditions d’accès et de réutilisation
PANDORÆ est accessible en ligne. Pour récupérer des données issues des archives du web il faut utiliser la version déployée sur les postes du DataLab. Les métadonnées hors champs contenus récupées dans Zotero peuvent être consultées en dehors de la BnF, en revanche PANDORÆ n’aura pas accès en dehors du DataLab au contenu des pages. Les visualisations produites peuvent être utilisées dans une publication.
Cas d’usage
Le cas Dolly dans l’internet français des années 2000
Guilllaume Levrier a conçu le versant archives du web de PANDORÆ pour son étude des représentations politiques du génome. Il analyse notamment la façon dont les discours politiques du début des années 2000 mentionnent le cas de Dolly et plus largement les technologies de clonage de grands mammifères pour mettre en débat la tension entre représentations du bien commun, rôle de l’Etat, et interventions sur les génomes.
En savoir plus : Questions à Guillaume Levrier
Cartographie sémantique des usages électoraux de la laïcité (2002-2022)
Emilie Denys-Weyl, chercheuse associée à la BnF, utilise PANDORÆ pour étudier les controverses politiques liées à la laïcité à partir des archives du web électoral constituées par la BnF et ses partenaires, analyser les stratégies discursives des différents partis pour dresser un “panorama idéologique spatio-temporel des usages fortement évolutifs au sein des compétitions électorales”.
Biblio et ressources
- pandorae.politique.science
- Guillaume-Levrier/PANDORAE sur Github
- Questions à Guillaume Levrier : https://webcorpora.hypotheses.org/2773
- Levrier Guillaume, 2025, Retracer les représentations du génome en politique avec les archives du web, https://bnf.hypotheses.org/48142 , 4 avril 2025, consulté le 12 mai 2025.
- Une vidéo en français de présentation de PANDORÆ lors d’un rendez-vous régional francophone de l’IIPC
OpenEdition vous propose de citer ce billet de la manière suivante :
webcorpora (23 janvier 2025). PANDORÆ, un logiciel pour constituer, normaliser et explorer des corpus. Web Corpora. Consulté le 9 novembre 2025 à l’adresse https://doi.org/10.58079/135aq


