Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Échos de la Web Archiving Conference 2025 de l’IIPC

Cette année, la Conférence internationale de l’archivage du web du consortium IIPC a eu lieu à la Bibliothèque nationale d’Oslo en Norvège les 9 et 10 avril.

Le consortium international pour la préservation de l’internet (IIPC) est une organisation internationale regroupant des bibliothèques et d’autres organisations patrimoniales, dont le but est de coordonner les efforts de préservation des publications diffusées sur le web afin de constituer une mémoire numérique pour l’avenir. Il a été fondé en juillet 2003 à Paris par 12 institutions, dont la BnF, et compte actuellement 56 membres provenant de 35 pays différents.

Intitulée « Towards best practices », la conférence proposait dix sessions thématiques, trois panels, quatre workshops et plusieurs présentations courtes et posters. Elle s’est ouverte et clôturée par deux conférences en lien avec l’intelligence artificielle : « Libraries, copyright, and language models » de Javier de la Rosa, responsable des modèles de langue à la Bibliothèque nationale de Norvège et « Quantifying complexity: Using web data to decode online public debate » par Ida Haugen-Poljac et Håvard Lundberg, Analysis & Numbers.

Quatre représentants de la BnF, Sara Aubry, Dorothée Benhamou-Suesser, Anaïs Crinière-Boizet et Vladimir Tybin, étaient présents pour assister aux conférences et intervenir. Comme chaque année, le programme était riche et dense. Ils proposent dans cet article de mettre en lumière les points forts de leur expérience de la conférence.

Valorisation et implication du public

Appels à contributions publiques

Plusieurs sessions ou interventions étaient consacrées cette année à l’implication du public dans la constitution des collections avec notamment la question des appels à contributions publics. Ces derniers sont assez courants dans la communauté IIPC, à commencer par les collections collaboratives du consortium qui font à chaque fois appel au public, avec plus ou moins de succès. En ce qui concerne les appels à contributions publics à l’intérieur d’un pays, la Bibliothèque royale du Danemark a fait remarquer que les appels au public obtiennent peu de résultats, la représentativité du web danois étant donc davantage assurée par les collectes larges. A l’inverse, dans le cas de la collecte collaborative IIPC dédiée aux Jeux olympiques et paralympiques 2024, les contributions publiques, nombreuses, se sont avérées uniques et différentes de celles des membres d’IIPC et ont ainsi permis de remédier aux biais de nos collections. Il a été par ailleurs souligné que certaines communautés, par défiance, ne souhaitaient pas être archivées et qu’il était donc préférable dans certains cas de les aider à acquérir les compétences et les outils nécessaires à l’archivage de leurs propres données.

Ces initiatives sont intéressantes tant d’un point de vue documentaire (enrichir les collections, sélections complémentaires) que de promotion des archives web auprès du public.

Expositions

Plusieurs exemples d’expositions sur les archives du web ont été présentés lors de la conférence. La Bibliothèque nationale d’Ecosse a ainsi introduit en avant-première une exposition qui aura lieu à Edimbourg cet automne et intitulée « Digital Ghosts – Exploring Scotland’s Heritage on the Web » en collaboration avec une artiste et des étudiants. Cette exposition associera des œuvres d’art tactiles et le patrimoine écossais du web d’une manière nouvelle et dynamique. Le service d’archivage en ligne portugais Arquivo.pt propose quant à lui plusieurs expositions en ligne sur son site internet, avec possibilité de naviguer dans les archives du web portugaises.

Recherche et accès

WebData project : Construire une infrastructure de recherche pour les archives web norvégiennes (2025-2029)

Ce projet porté par la Bibliothèque nationale de Norvège s’appuie sur trois partenaires : l’Université d’Oslo, le Norwegian Computing center et l’Arctic university of Norway. Il vise à construire une infrastructure de recherche et plateforme de données pour les chercheurs fondée sur les principes FAIR (Findable · Accessible · Interoperable · Reusable) et l’enrichissement des données web avec des annotations de qualité. Cette plateforme fournira des services de recherche et d’exploration, ainsi que des données dérivées. Elle est construite en coopération avec les chercheurs, une attention a par ailleurs été portée à la représentation des langues et cultures autochtones comme le Sami.

Des chaînes de traitements logiciels sont mises en place avec l’aide du logiciel SolrWayback pour extraire, nettoyer et enrichir les données : déduplication, extraction du contenu principal de la page, suppression  des données personnelles, catégorisation des niveaux d’accès au contenu, etc. Ces chaînes supportent des traitements multimodaux : transcription des fichiers audios et vidéos, extraction des métadonnées depuis les images, le texte, les vidéos.

Des segments de collections sont enrichis avec des annotations linguistiques : analyse de sentiment, extraction d’événement, résolution de coréférences, etc.

La plateforme proposera une interface usager, des API et un web service. La gestion des utilisateurs se fera avec accès authentifié pour des chercheurs norvégiens ou internationaux installés en Norvège.

Préservation

WARCheology

Il s’agit d’un outil développé par la Bibliothèque nationale de Norvège, en vue de la migration vers leur nouvel entrepôt de préservation. L’objectif est de migrer 20 ans de données représentant 2 Po de données issus de plusieurs générations d’outils de collecte.

Cet outil est fondé sur le socle technique de la librairie Gowarc (comme l’outil de crawl de la Bibliothèque nationale, Veideman). Il sert à explorer et inspecter les fichiers d’archive aux formats ARC et WARC de manière interactive. Il permet notamment : la concaténation d’enregistrements W/ARC, la déduplication, la compression, la production d’une liste des erreurs par enregistrement, etc.

Intelligence artificielle

Common Crawl

Common crawl a rejoint le consortium IIPC cette année. Il s’agit d’une fondation à but non lucratif créée en 2007 par Gil Elbaz. Common crawl mène des collectes à très grande échelle. Leurs collectes servent à capturer les textes uniquement. Ils mettent les données brutes collectées à disposition des développeurs et des data scientistes sur leur site internet. Les données sont en libre accès et hébergées sur les services web d’Amazon (AWS).

Common crawl fournit les jeux de données les plus couramment utilisés pour les analyses en traitement automatique des langues, l’entraînement des modèles de langue, la « web science », en particulier en France.

Ces jeux de données sont composés de 275 milliards de pages web, collectées sur une période de 17 ans (2008-2025), hors images, javascripts et feuilles de style.  2,5 à 3 milliards de pages sont ajoutées par mois, dont 30% représentent de nouveaux contenus.

Common crawl est impliqué dans le projet OSCAR (Open Super-large Crawled ALMAnaCH coRpus), projet open source visant à fournir des outils et des jeux de données multilingues pour des usages d’apprentissage et d’IA.

Bibliothèques, droit d’auteur et modèles de langues en Norvège

Keynote d’ouverture de la conférence par Javier de la Rosa

Ce projet trouve son origine dans les débats sur l’IA en Finlande initié par les éditeurs : une grande partie des modèles semblent avoir été entraînés en violation du droit d’auteur. En novembre 2023, l’organisation norvégienne de gestion des droits d’auteur a saisi le gouvernement qui a chargé la Bibliothèque nationale de Norvège d’examiner l’apport des ressources sous droit d’auteur dans l’entraînement des modèles de langue génératifs, pour le cas échéant mettre en place un modèle de compensation financière.

La BNN s’est alliée avec des universités et des centres de recherche et coordonne l’ensemble du projet. 20 personnes dédiées et spécialisées en IA ont pu être embauchées.

Deux corpus ont été constitués : le premier, appelé « Base », rassemble des données en libre accès (journaux et livres du domaine public ou par licence ou accords avec les éditeurs ; publications du secteur public). Ce corpus représente 60 millions de documents, 40 milliards de mots. Le second dit « Étendu » inclut des journaux et des livres sous droit d’auteur disponibles à la Bibliothèque nationale de Norvège (120 millions de documents, 80 milliards de mots). Plus de 5000 instructions ont été ajoutées au modèle proposé par Mistral AI pour construire un chatbot adapté au norvégien. Les premiers résultats montrent qu’ajouter des ressources sous droit accroit la performance des modèles si on met de côté la fiction ou les livres traduits.

Le démarrage à chaud de modèles à partir d’un modèle pré-entraîné comme Mistral semble accroître les performances mais la BNN insiste sur l’importance du fine-tuning par instructions. La suite du projet est actuellement en discussion entre le Gouvernement, le Parlement et les acteurs du projet.

Outils de collecte

Browsertrix

L’outil Browsertrix est issu d’un projet IIPC « Browser-based Crawling System for all » mené en 2022-2023 et piloté par la Bibliothèque royale du Danemark, la British Library, la Bibliothèque nationale de Nouvelle-Zélande et l’University of North Texas, pour un coût de 60 000 USD. Le développement a été réalisé par la société Webrecorder. Beaucoup d’évolutions ont été ajoutées depuis sa mise en service, et Webrecorder propose également un service sur abonnement depuis avril 2024. Ce service et l’outil sont actuellement utilisés par de nombreux membres d’IIPC (dont la Bibliothèque royale du Danemark et la British Library). La conférence a apporté de nombreux retours fonctionnels et techniques sur cet outil.

Réseaux sociaux

La collecte des réseaux sociaux est une collecte complexe, à l’arrêt actuellement à la BnF et dans de nombreuses institutions, en raison de blocages techniques mises en place par les plateformes pour se protéger des robots spécialisés en IA. Une session était consacrée aux différentes stratégies mises en place par quelques institutions pour contourner les blocages.

La Bibliothèque nationale du Luxembourg a fait le choix, avant les élections de 2023, de demander aux membres du gouvernement sortant un export des données qu’ils ont publiées sur les réseaux sociaux. Ils ont ainsi pu archiver les contenus de 32 comptes mais ne peuvent pour le moment pas y donner accès.

La Bibliothèque nationale de Singapour a mis en place différentes stratégies : recours à un prestataire privé, appel à contributions auprès de 30 institutions qui ont déposé leurs données Facebook et Instagram (au format Json), campagne de communication (deux influenceuses). Leurs collections sont accessibles en ligne ou sur site selon les droits négociés avec les producteurs.

La British Library a, quant à elle, utilisé Browsertrix en version sur abonnement pour sa collecte du web électoral de 2024. L’outil leur a permis de gérer la collecte en mode connecté pour Twitter, Facebook et Instagram. Browsertrix permet notamment de préenregistrer des comportements et profils spécifiques en fonction du réseau social.

 

Steering Committee

Plusieurs fois dans l’année les membres du Steering Committee de l’IIPC se réunissent en ligne pour discuter des orientations stratégiques et pour voter les actions nécessaires à la bonne marche du consortium mais c’est à l’occasion de chaque Web Archiving Conference qu’ils et elles ont la chance de se retrouver en personne pendant une journée entière pour des travaux dédiés entièrement à la gouvernance.

Ainsi, en amont de l’ouverture de l’assemblée générale et de la WAC,  le 7 avril 2025, se sont réunis les membres du Steering Committee : Bjarne Andersen (Royal Danish Library), Ian Cooke (British Library), Youssef Eldakar (Bibliotheca Alexandrina), Abbie Grotke (Library of Congress), Jeffrey van der Hoeven (KB, National Library of the Netherlands), Olga Holownia (Senior Program Officer), Hansueli Locher (Swiss National Library), Ben O’Brien (for the National Library of New Zealand), Mark Phillips (University of North Texas Libraries), Kate Ross (National Library of Australia), Kristinn Sigurðsson (National and University Library of Iceland), Tom Smyth (Library and Archives Canada), Vladimir Tybin (BnF, National Library of France), & Kyrie Whitsett (for Internet Archive) ; à distance étaient présents Nicholas Taylor (Los Alamos National Laboratory) & Kayla Martin-Gant (Administrative officer de l’IIPC).

Cette année, les discussions et les débats ont été particulièrement fructueux dans un contexte de transformation pour le consortium qui est passé de 12 membres à sa création en 2003 à 56 membres aujourd’hui. Parmi les nombreuses questions abordées, il a été surtout question de la rédaction du nouvel accord de consortium 2026-2030 accompagné d’un plan stratégique et d’une liste d’actions nécessaires à la réalisation de ce plan. Parmi les grands changements d’orientations, il a été décidé de créer un groupe de travail technique, axé essentiellement sur la maintenance des outils, qui soit plus ouvert avec la participation d’une vingtaine de membres environ avec pour but de garantir la soutenabilité des outils utilisés par la communauté. Par ailleurs, et afin de garantir une plus grande diversité dans la composition du Steering Committee, il a été décidé qu’à partir de 2027, les conditions des élections allaient évoluer. À l’issue de deux mandats de trois ans, chaque institution membre du comité de pilotage devra attendre un an minimum avant de poser éventuellement sa candidature.

Les membres du Steering Committee

Dans un contexte de grande transformation du web et des outils qui permettent de le préserver, il est toujours extrêmement stimulant de travailler au sein d’un consortium si actif qui regroupe autant de compétences venues des quatre coins du globe. Les grands acteurs de l’archivage du web sont pour la plupart confrontés aux mêmes questions et problématiques et ces conférences en personne sont l’occasion de renforcer les liens qui unissent les membres du consortium en ouvrant des pistes de travail et de collaboration pour les années à venir.


OpenEdition vous propose de citer ce billet de la manière suivante :
Anaïs Crinière-Boizet (19 novembre 2025). Échos de la Web Archiving Conference 2025 de l’IIPC. Web Corpora. Consulté le 17 mai 2026 à l’adresse https://doi.org/10.58079/15673


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.