Je viens de lancer crawl-ia un outil gratuit pour vérifier si votre site est réellement accessible aux robots d’IA et archivé par Common Crawl Pourquoi cet outil ? Une commande circule beaucoup pour vérifier la présence d’un site dans Common Crawl : curl "https://index.commoncrawl. org/CC-MAIN-2026-34-index?url=DOMAINE/*" Le problème : voir son domaine apparaître ne signifie pas forcément que ses pages ont été archivées. Common Crawl peut n’avoir conservé que : → le fichier robots.txt → une redirection → une erreur de crawl → un diagnostic technique Votre domaine est alors déclaré « présent », alors qu’aucune véritable page de contenu n’est disponible dans l’archive. C’est précisément pour éviter cette mauvaise interprétation que j’ai créé crawl-ia.com. L’outil réalise trois vérifications complémentaires. 1. Ce que votre robots.txt autorise Il analyse les règles appliquées à plusieurs robots : → CCBot → GPTBot → ClaudeBot → PerplexityBot → Google-Extended Cela permet de voir rapidement quels robots sont autorisés ou bloqués, en tenant compte des règles spécifiques qui peuvent remplacer le groupe général User-agent: *. 2. Ce que votre serveur répond réellement à CCBot Un robots.txt peut autoriser CCBot alors que le serveur lui renvoie quand même une erreur 403. Le blocage peut venir de : → Cloudflare → un WAF → LiteSpeed → Akamai → Sucuri → une extension WordPress → une règle de sécurité de l’hébergeur L’outil simule donc une véritable requête avec l’agent CCBot et compare la réponse avec celle envoyée à un navigateur classique. Il vérifie également la quantité de texte reçue. Pourquoi ? Parce que Common Crawl n’exécute pas le JavaScript. Une page peut répondre en 200 tout en ne servant presque aucun contenu exploitable au robot. 3. Ce qui est réellement archivé crawl-ia.com interroge les index de Common Crawl et sépare clairement : ✅ les véritables pages archivées ⚠️ le robots.txt uniquement ❌ les erreurs et diagnostics de crawl Vous pouvez analyser la dernière version ou comparer les 3 à 6 dernières collections. C’est important, car chaque version de Common Crawl est un échantillon du Web : un site peut être absent d’une collection et présent dans la précédente. L’outil permet également : → d’afficher les URL réellement archivées → de vérifier leur statut HTTP → de connaître la date de capture → d’analyser jusqu’à 10 domaines simultanément → d’exporter les résultats au format CSV Attention toutefois à ne pas tirer de conclusion trop rapide. Être présent dans Common Crawl prouve que le contenu a été exploré et archivé. Cela ne garantit ni qu’il a été conservé dans un jeu de données d’entraînement, ni qu’un LLM l’a utilisé, ni que votre site sera cité dans une réponse. Il faut distinguer trois étapes : 1️⃣ Être archivé 2️⃣ Être retenu après les filtres de qualité et de déduplication 3️⃣ Être cité par un assistant IA Ce sont trois mécanismes différents. Mais si aucune véritable page de votre site n’est archivée et que les robots sont bloqués par votre serveur, vous partez forcément avec un sérieux handicap. L’outil est gratuit, rapide et ne demande aucune inscription : 👉 ⁠crawl-ia.com/ Testez votre domaine et partagez-moi vos résultats. Je suis curieux de voir combien de sites pensaient être présents dans Common Crawl alors que seul leur robots.txt avait été conservé.