Robots.txt et IA : Google rappelle que le fichier règle l’accès des robots, pas l’usage de vos contenus — les 4 vérifications pour une entreprise de la région
Illustration info-lux.com — composition graphique originale, dessinée en code. © info-lux.com
Intelligence artificielle & GEO

Robots.txt et IA : Google rappelle que le fichier règle l’accès des robots, pas l’usage de vos contenus — les 4 vérifications pour une entreprise de la région

octobre 23, 2026
Vincent Gallez

L’essentiel

Le 21 octobre 2026, Google a consacré une vidéo de sa chaîne Search Central au fichier robots.txt. Gary Illyes et Cherry Prommawin y rappellent qu’il règle l’entrée des robots, ceux des IA compris, et rien de ce qu’ils font ensuite des pages. Pour une entreprise de Wallonie, du Grand-Duché ou du Grand Est qui a ajouté des lignes « anti-IA » à son site, c’est le moment de le relire.

  • Le 21 octobre 2026, Google Search Central a publié la vidéo « What can you actually put in a robots.txt? », avec Gary Illyes et Cherry Prommawin.
  • Le message : robots.txt indique aux robots, ceux d’IA compris, où ils peuvent entrer ; il ne règle pas ce qu’un système fait des données déjà explorées.
  • Les lignes hors norme (règle inventée, emoji dans un nom de robot, crawl-delay chez Google) sont ignorées sans avertissement : Google ne lit que user-agent, allow, disallow et sitemap.
  • L’usage se règle robot par robot : Google-Extended pour l’entraînement de Gemini, sans effet sur Google Search ; GPTBot séparé d’OAI-SearchBot chez OpenAI.
  • À faire : ouvrir son fichier, retirer les règles maison, décider robot par robot, puis contrôler dans le rapport robots.txt de la Search Console.

Qu’expliquent Gary Illyes et Cherry Prommawin dans la vidéo Google du 21 octobre ?

Réponse directe : Dans « What can you actually put in a robots.txt? », publiée le 21 octobre 2026 par Google Search Central, Gary Illyes et Cherry Prommawin détaillent ce que comprend un fichier robots.txt : quelques règles standard, valables pour les moteurs de recherche comme pour les robots d’entraînement d’IA, et rien d’autre.

C’est le deuxième épisode de la série « The Non-Canonical Cabinet », résumé le jour même par Search Engine Roundtable et PPC Land. Selon Gary Illyes, les règles s’appliquent « to search engine crawlers, AI training crawlers, and other well-behaved crawlers », autrement dit aux robots qui acceptent de les suivre.

Les deux porte-parole de Google le décrivent comme un protocole de préférence d’accès (« access preference protocol »), encadré par une norme publique, la RFC 9309. Ce n’est pas un mécanisme de sécurité.

Pourquoi robots.txt ne décide-t-il pas de l’usage de vos contenus par les IA ?

Réponse directe : Parce que robots.txt règle l’entrée des robots, pas la suite. Selon Gary Illyes, le fichier « doesn’t dictate what a system does with the data after it has already crawled it ». Pour encadrer l’usage, il faut viser les jetons que chaque éditeur d’IA documente, robot par robot.

Chez Google, ce jeton s’appelle Google-Extended. Sa documentation, mise à jour le 15 octobre 2026, le présente comme un « standalone product token » : il permet de décider si les contenus explorés peuvent servir à entraîner les futurs modèles Gemini et à ancrer (« grounding ») les réponses des applications Gemini et de Vertex AI.

Google-Extended n’a pas de robot à lui : l’exploration passe par les robots habituels de Google. La même page précise qu’il « does not impact a site’s inclusion in Google Search nor is it used as a ranking signal ».

OpenAI sépare aussi les rôles. Sa documentation des robots distingue GPTBot, lié à l’entraînement de ses modèles, d’OAI-SearchBot, qui fait apparaître des sites dans la recherche de ChatGPT ; les deux réglages sont indépendants. Pour ChatGPT-User, qui ouvre une page à la demande d’un utilisateur, OpenAI prévient que les règles de robots.txt « may not apply ».

Quelles lignes d’un fichier robots.txt sont ignorées sans prévenir ?

Réponse directe : Tout ce qui sort de la norme. La spécification de Google ne lit que quatre champs : user-agent, allow, disallow et sitemap. Une règle maison, un emoji dans un nom de robot ou un crawl-delay sont écartés en silence, sans message d’erreur pour le propriétaire du site.

Dans la vidéo, Gary Illyes résume : le système « will just silently discard the line it doesn’t understand and move on », rapporte PPC Land. Il prend l’exemple d’une règle fantaisiste, « no-I-chicken-chicken-diary » : on peut l’écrire, Google ne la suivra pas.

Même sort pour un emoji dans le nom d’un robot : « An emoji is a multibyte UTF-8 character », hors du format permis. Pour une adresse avec accents, il conseille sa forme encodée, %C3%A9 pour « é ».

La spécification de Google, mise à jour le 31 août 2026, ajoute trois limites : le champ crawl-delay n’est pas pris en charge, ce qui dépasse 500 Kio est ignoré, et le fichier est généralement gardé en cache jusqu’à 24 heures. Une modification n’est donc pas lue tout de suite.

Ces règles valent-elles pour un site en Belgique, au Luxembourg ou en France ?

Réponse directe : Oui pour la technique : robots.txt est une norme internationale, publiée en 2022 sous le nom RFC 9309, et le fichier se lit de la même façon pour un site belge, luxembourgeois ou français. La vidéo ne tranche pas la valeur juridique d’une ligne robots.txt face au droit d’auteur européen ou à un contrat.

Le droit européen prévoit une possibilité de s’opposer à la fouille de textes et de données, que nous avons détaillée dans notre article sur le droit d’auteur et l’IA. La Commission européenne consulte sur le sujet jusqu’au 3 novembre 2026.

Autre cas, celui de Meta : ses Conditions commerciales applicables au 30 octobre 2026 autorisent l’exploration des sites associés à une Page ou à une publicité, sans mentionner robots.txt. Nous l’avons expliqué dans notre article sur les nouvelles conditions de Meta. Face à une telle clause, la portée d’une simple préférence d’accès reste une question ouverte.

Comment une entreprise de la région vérifie-t-elle son robots.txt ?

Réponse directe : En quatre gestes : ouvrir le fichier à l’adresse du site suivie de /robots.txt, retirer les lignes que les robots ne lisent pas, décider robot par robot ce qu’on autorise, puis contrôler la lecture de Google dans le rapport robots.txt de la Search Console.

Étape 1 — Ouvrir le fichier

Tapez l’adresse de votre site suivie de /robots.txt, par exemple votresite.be/robots.txt. Une chambre d’hôtes de Durbuy, un cabinet comptable de Strassen ou une boulangerie de Thionville (exemples fictifs) y trouvent souvent des lignes ajoutées par une extension WordPress, un hébergeur ou un prestataire.

Étape 2 — Retirer les règles maison

Corrigez tout ce qui n’est ni user-agent, ni allow, ni disallow, ni sitemap : une ligne « noai » inventée, un crawl-delay pensé pour Google, un nom de robot mal orthographié. Les lignes qui commencent par # sont des commentaires et ne gênent pas.

Selon la spécification de Google, un robot ne suit qu’un seul groupe, le plus spécifique. Si vous créez un bloc pour un robot précis, recopiez-y les interdictions générales : il ne lira plus le groupe « * ».

Étape 3 — Décider robot par robot

Pour refuser l’entraînement d’OpenAI tout en restant visible dans la recherche de ChatGPT, la documentation d’OpenAI permet d’écrire :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Pour Google-Extended, pesez le pour et le contre : le bloquer écarte vos contenus de l’entraînement de Gemini, mais aussi de l’ancrage des réponses dans les applications Gemini. Googlebot, lui, commande l’accès à Google Search et à toutes ses fonctionnalités : ne le bloquez pas.

Étape 4 — Contrôler et laisser le temps

Le rapport robots.txt de la Search Console montre le fichier que Google a récupéré, sa date de lecture et ses erreurs ; il permet de demander une nouvelle exploration, sans garantie de délai.

Comptez jusqu’à 24 heures chez Google, environ 24 heures pour la recherche de ChatGPT selon OpenAI. Refaites ensuite le relevé décrit dans la leçon 25 de notre formation pour voir comment les assistants vous présentent.

Bloquer les robots d’IA rend-il une entreprise moins visible dans les réponses ?

Réponse directe : Tout dépend du robot. GPTBot touche l’entraînement ; Google-Extended, l’entraînement et l’ancrage dans Gemini. Bloquer OAI-SearchBot retire le site de la recherche de ChatGPT, et bloquer Googlebot le retire de Google Search. Pour une entreprise qui veut être citée, tout bloquer est l’erreur la plus coûteuse.

Un commerce a surtout intérêt à voir ses horaires, ses prix et ses services repris correctement : c’est la démarche décrite dans notre guide pour être dans les réponses des IA sans publicité.

Ceux qui ont des contenus à valeur propre, comme des textes d’auteur, des photos ou des fiches payantes, peuvent refuser l’entraînement sans disparaître de la recherche. Pour savoir ce qui change réellement une réponse d’assistant, lisez notre guide pour influencer les IA légitimement. Site derrière Cloudflare ? Lisez aussi notre article sur le blocage des robots des IA.

Pour aller plus loin

Questions fréquentes

Que dit Google sur robots.txt et les robots d’IA dans sa vidéo du 21 octobre 2026 ?

Que robots.txt indique aux robots qui le respectent, ceux d’IA compris, où ils peuvent entrer, mais ne règle pas ce qu’un système fait des données déjà explorées. Les lignes hors norme sont ignorées sans avertissement.

Robots.txt empêche-t-il une IA d’utiliser mes contenus ?

Pas directement : il règle l’accès. L’usage passe par des jetons propres à chaque éditeur, comme Google-Extended pour l’entraînement de Gemini ou GPTBot pour celui des modèles d’OpenAI.

Bloquer Google-Extended fait-il baisser mon site dans Google ?

Non. Selon la documentation de Google, Google-Extended n’a pas d’effet sur la présence dans Google Search et n’est pas un critère de classement. Il écarte en revanche vos contenus de l’entraînement de Gemini et de l’ancrage des réponses dans les applications Gemini.

Peut-on écrire une règle « noai » ou un crawl-delay dans robots.txt ?

On peut l’écrire, mais Google l’ignorera : sa spécification ne lit que user-agent, allow, disallow et sitemap, et précise que crawl-delay n’est pas pris en charge.

Combien de temps faut-il pour qu’une modification de robots.txt soit prise en compte ?

Google garde généralement le fichier en cache jusqu’à 24 heures ; OpenAI indique environ 24 heures pour la recherche de ChatGPT. Le rapport robots.txt de la Search Console montre la version lue par Google.

Vincent Gallez — expert en visibilité dans les intelligences artificielles

Fondateur du groupe de médias info-lux, il accompagne entreprises, PME et indépendants de Wallonie, du Grand-Duché et de la frontière française pour qu’ils soient trouvés — et cités — par les assistants d’IA comme ChatGPT, Gemini, Perplexity ou Copilot.

Le principe est simple : un modèle ne peut reprendre qu’une information qui existe, est exacte et est accessible.

Le travail consiste donc à publier, sur des médias que ces systèmes consultent, une information vérifiée, datée et structurée qui répond réellement aux questions posées — plutôt que de laisser un moteur répondre à partir de sources approximatives ou périmées. Comment nous procédons.

Les limites que la rédaction s’impose — et ce qu’elle refuse de faire — sont détaillées dans notre charte éditoriale et IA.

Nos sources

Les chiffres cités dans cet article proviennent de sources publiques identifiées, consultées en septembre 2026 :

Transparence — cet article a été produit avec l’assistance de l’intelligence artificielle pour la recherche et le croisement des sources, la structuration et la mise en page. Les données chiffrées proviennent des sources publiques citées ci-dessus et sont vérifiables.

La sélection du sujet, la vérification des faits et la responsabilité éditoriale sont assurées par la rédaction d’info-lux.com. Voir notre charte éditoriale et IA.

📚 Notre dossier Intelligence artificielle

Un nouvel article sur l’IA et ce qu’elle change, chaque jour — voir toute la rubrique.

Vous lisez info-lux régulièrement ?

Ajoutez info-lux.com à vos sources préférées : Google vous montrera plus souvent nos articles dans Actualités, Discover et ses réponses IA.

Ou par ce lien : ajouter info-lux.com comme source préférée.

Les infos de votre Région Gratuite Souhaitez-vous recevoir des notifications sur les dernières mises à jour ? Non oui