Les robots ont toujours servi à indexer les pages pour les moteurs de recherche. Mais avec l’arrivée de l’intelligence artificielle, ils alimentent surtout les LLM qui, eux, sont capables de répondre à la demande d’un utilisateur sans pour autant le rediriger vers les sites sources. Déjà évoqué il y a quelques mois par Cloudflare, le Pay-to-crawl est une solution qui permet grâce à des outils d’obtenir une rémunération lorsque les contenus sont consultés par les bots IA.
Une stratégie, qui commence à faire son bout de chemin dans le débat public, et possède bon nombre de soutiens. Est-ce le levier attendu pour préserver l’écosystème digital ?
Le web face à l’invasion des bots IA : un tournant décisif
La montée en puissance des bots IA n’est plus à démontrer, ces robots sont capables en peu de temps d’explorer et d’indexer d’énormes quantités de contenus. Généralement utilisés par les grands modèles de langage (LLM), les crawlers d’IA puisent dans toutes données à leur disposition y compris celles disponibles sous licence.
Creative Commons, organisation associée au partage et aux licences ouvertes, parle, dans une publication sur son site, d’une modification profonde du « contrat social du web ».
En effet, selon Creative Commons, les contenus n’ont plus pour but d’orienter les internautes, mais d’entrainer des IA qui, sur le long terme peuvent se substituer aux sites sources. C’est dans ce sens que l’idée du Pay-to-crawl a refait surface, avec pour but de financer la création et certains acteurs, en particulier les éditeurs indépendants.
Le Pay-To-Crawl sera ici un moyen de créer un équilibre entre l’ouverture des données et la protection des créateurs de contenu.
Pay-to-crawl en action : des exemples concrets
Plusieurs plateformes, à l’instar de Wikipédia, ont déjà eu à tester la solution Pay-to-crawl afin de limiter leur accès à des bots IA. En effet, plusieurs contenus en Creative Commons subissent en permanence la pression des Crawlers IA qui aspirent les contenus sans distinction. Des éditeurs numériques ont donc mis en place des restrictions et des tarifs pour réguler l’accès des bots IA.
La solution Pay-to-crawl a pour but de rétablir un équilibre dans une collaboration clairement déséquilibrée, entre les créateurs de contenus et les mastodontes de tech : Gemini, OpenAI, ou encore Perplexity AI.
En France, plusieurs initiatives ont déjà été mises en place, afin de faire du Pay-To-Crawl, un levier stratégique pour la pérennisation du web. L’ensemble de ces dispositifs, complémentaires aux législations visent à protéger et réguler la collecte de données en ligne.
Pay-to-crawl : un risque assumé, mais contrôlé
Le Pay-To-Crawl est certes une solution intéressante, mais qui doit être encadrée. En effet, s’il n’est pas correctement mis en place, le Pay-To-Crawl pourrait avoir l’effet inverse de celui attendu et accentuer les déséquilibres existants. Internet deviendra alors un lieu sous surveillance où chaque action sera scrutée à la loupe et monétisée.
L’accès au savoir peut également être impacté. En effet, une mise en place sans contrôle de l’outil Pay-To-Crawl pourrait empêcher l’accès aux contenus pour les acteurs de l’éducation ou les organisations culturelles. Cependant, il est possible d’éviter ces dérives. À terme, le Pay-to-crawl pourrait, d’une part, freiner les abus mais aussi favoriser une collecte des données moins agressive des LLM. Créative Commons plaide pour un système ouvert pour éviter le développement de nouvelles solutions (Pay-To-Crawl) propriétaires.
L’organisation dit « non » à un Pay-To-Crawl avec des réglages par défaut et imposés par les hébergeurs, et encourage la possibilité de faire la différence entre les usages commerciaux et ceux d’intérêt général.
Conclusion
Plusieurs géants de la tech à l’instar de Microsoft, Cloudflare ou des initiatives telles que Really Simple Licensing partagent l’avis de Creative Commons. La solution Pay-To-Crawl, peut être est un levier stratégique pour protéger le web.
En régulant la fonction des bots IA, cette solution peut ouvrir la voie à un futur où la créativité et responsabilité numérique s’accordent. L’agence IA, ipanemads, de par son domaine d’activité est au cœur de cette évolution. Nous sommes pour la mise en place d’une stratégie Pay-to-crawl flexible, afin de proposer aux sites une meilleure maîtrise de leur trafic généré par l’IA, tout en monétisant cette nouvelle forme d’accès au contenu.
