Robots d'IA et llms.txt · Skill /geo-crawlers

Ce que ce Skill change

Le problème

Beaucoup de sites bloquent les robots d'IA sans le savoir, par une règle de robots.txt trop large, un CDN ou un plugin de sécurité.

Avec ce Skill

La liste des robots autorisés et bloqués, l'effet de chaque blocage, trois stratégies expliquées, puis le bloc robots.txt à coller une fois ton choix fait.

Comment ça marche

Un Skill est un mode d'emploi que ton IA garde sous la main. Concrètement :

1
Tu installes le Skill une seule fois dans ton IA (2 minutes, sans code).
2
Tu fais ta demande comme d'habitude, en langage courant.
3
Ton IA reconnaît la tâche et applique la méthode du Skill : même structure, même niveau d'exigence, à chaque fois.

Ce que tu peux lui demander

Une fois le Skill installé, copie une de ces demandes dans ta conversation.

« /geo-crawlers https://www.monsite.fr »
Qui est bloqué, et pourquoi.
« Je veux être cité par les IA sans servir à les entraîner : quel robots.txt ? »
La stratégie « équilibre », prête à coller.

Variantes sectorielles

Tu travailles dans un secteur spécifique ? Propose ta variante ou ta propre ressource.

Le fichier complet, tel que ton IA le lira (91 lignes). Tu peux l'adapter librement.

Télécharger

name: geo-crawlers
description: Vérifie que les robots d'IA (OpenAI, Anthropic, Perplexity, Google, Mistral, Apple, Meta…) peuvent lire le site : robots.txt robot par robot, directives noai et noindex, contenu lisible sans JavaScript, fichier llms.txt. Propose un robots.txt selon la stratégie choisie (visibilité, équilibre, blocage) et un brouillon de llms.txt. Utilise-le pour « robots IA », « GPTBot », « llms.txt », « bloquer ou autoriser les IA ».

geo-crawlers

Un site que les robots d'IA ne peuvent pas lire ne sera pas cité. Beaucoup de sites bloquent ces robots sans le savoir (règle de sécurité, CDN, plugin).

Trois familles de robots

Rôle	Exemples	Effet d'un blocage
Recherche	OAI-SearchBot, Claude-SearchBot, PerplexityBot	le site n'apparaît plus comme source dans les réponses avec recherche web
Utilisateur	ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User	l'IA ne peut plus lire une page quand un utilisateur le lui demande
Entraînement	GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot	le contenu ne sert plus à entraîner les modèles ; effet indirect sur la notoriété de la marque dans les modèles

À savoir : les AI Overviews et l'AI Mode de Google utilisent Googlebot. Bloquer Google-Extended ne retire pas un site des AI Overviews ; bloquer Googlebot le retire de Google. Pour y apparaître, une page doit être indexée et éligible à l'extrait : nosnippet ou max-snippet:0 l'en excluent. Le site ne doit pas non plus être exclu des fonctionnalités d'IA générative dans Search Console. La liste des robots change souvent : [à vérifier] dans la documentation de chaque éditeur avant de modifier un robots.txt.

Avec exécution de code

python3 crawlers.py https://www.site.fr --chemin /blog/
python3 crawlers.py https://www.site.fr --robots-propose equilibre
python3 crawlers.py https://www.site.fr --llms-propose --nom "Assurly" --resume "Courtier en assurance santé internationale."

Sans exécution de code : lis https://site/robots.txt et /llms.txt, et le code source de la page (meta robots).

La stratégie (décision de l'utilisateur)

Visibilité : tout autoriser. Pour la plupart des marques qui veulent être recommandées.
Équilibre : bloquer l'entraînement, autoriser recherche et utilisateurs. Pour les éditeurs qui protègent leur contenu mais veulent être cités.
Blocage : tout bloquer. Pour un contenu payant ou sensible ; la marque disparaît alors des réponses avec recherche.

Explique les conséquences, laisse l'utilisateur choisir, puis donne le bloc robots.txt à coller. Rappelle de vérifier aussi le pare-feu ou le CDN (Cloudflare peut bloquer les robots d'IA par défaut).

llms.txt

Un fichier Markdown à la racine (/llms.txt) qui présente le site aux assistants : # Nom, > résumé, puis des sections ## avec des liens vers les pages clés. C'est une proposition communautaire (llmstxt.org).

Google l'ignore : son guide officiel dit qu'aucun fichier pour l'IA n'est nécessaire pour apparaître dans Google Search, et que ces fichiers n'aident ni ne nuisent (https://developers.google.com/search/docs/fundamentals/ai-optimization-guide).
Aucun autre grand éditeur n'a confirmé l'utiliser pour choisir ses sources.
Lighthouse le vérifie dans sa catégorie « Agentic Browsing » (voir /geo-agentic) : il peut servir aux agents qui naviguent sur le site.

Il ne compte dans aucun score du pack. Propose-le comme une option peu coûteuse, jamais comme un levier de visibilité.

Sortie

ROBOTS D'IA · assurly.example
BLOQUÉS SANS LE SAVOIR : PerplexityBot, Claude-SearchBot (règle « User-agent: * Disallow: /api » trop large)
DIRECTIVES : aucune restriction (ni noindex, ni nosnippet) · 1 084 mots lisibles sans JavaScript
LLMS.TXT : absent (sans effet sur Google) → brouillon ci-dessous si vous le souhaitez
STRATÉGIE CONSEILLÉE : visibilité (marque qui veut être recommandée)

Règles du pack

Lis site-context.md et apprentissages.md s'ils existent.
Zéro invention : ne déclare pas un robot bloqué ou autorisé sans avoir lu le robots.txt.
Texte simple dans la conversation, sans créer de document.
Rien n'est modifié sur le site par le Skill.

Démo bientôt disponible

Une démonstration (demande d'exemple → résultat) arrive prochainement. En attendant, installe le Skill et teste-le sur tes propres cas.

Comment installer le Skill « /geo-crawlers · Robots d'IA et llms.txt » ?

En deux minutes, sans code : 1) Télécharge le fichier depuis le bouton « Télécharger » de cette page. 2) Sur Claude : Personnaliser → Skills → importe le fichier (le bouton « Importer dans Claude » t'y emmène directement). Sur ChatGPT, Gemini ou Mistral, suis les étapes de l'encadré « Installer » selon ton IA. 3) Commence à converser : « /geo-crawlers · Robots d'IA et llms.txt » s'active dès que ta demande correspond.

« /geo-crawlers · Robots d'IA et llms.txt » fonctionne-t-il avec ChatGPT ou seulement Claude ?

Tous nos Skills sont conçus et testés en priorité sur Claude (Anthropic), notre environnement de référence. Il est pleinement compatible avec Claude, et partiellement avec ChatGPT, Gemini et Mistral. Les badges de compatibilité en haut de page indiquent le niveau exact par IA.

Qu'est-ce que « /geo-crawlers · Robots d'IA et llms.txt » me fait gagner concrètement ?

Il prend en charge les étapes répétitives de la tâche (structure, vérifications, rédaction) pour que tu te concentres sur les décisions. Les mesures de temps gagné seront publiées à partir des retours des premiers utilisateurs.

Ai-je besoin de compétences techniques pour utiliser « /geo-crawlers · Robots d'IA et llms.txt » ?

Non. Aucun terminal, aucune clé API, aucun code à manipuler. Si tu sais télécharger un fichier et l'importer dans ton IA, tu sais utiliser « /geo-crawlers · Robots d'IA et llms.txt ». C'est justement la cible : rendre l'IA accessible aux marketeurs non-techniques.

Puis-je modifier « /geo-crawlers · Robots d'IA et llms.txt » et l'utiliser pour mes clients ?

Oui. « /geo-crawlers · Robots d'IA et llms.txt » est gratuit et open-source (licence MIT). Tu peux le forker, l'adapter à ton entreprise ou à tes clients, et redistribuer ta version, à condition de citer l'auteur original et Join Médicis.

Une autre question ? Écris-nous.