# robots.txt - https://inter-fast.fr # # Les pages sans valeur SEO (landing pages /lp/, pages de remerciement # /page-success/) ne sont volontairement PAS bloquées ici : elles portent une # balise que Google doit pouvoir lire. # Les bloquer dans ce fichier rendrait le noindex invisible et les laisserait # dans l'index. # # Doctrine de ce fichier, en une phrase : on accueille les moteurs de # recherche et les IA, on refuse les aspirateurs et la veille concurrentielle. # # Attention : robots.txt est une convention, pas une barrière. Un aspirateur # ne le lit pas. Le blocage réel des outils listés en fin de fichier est fait # en 403 dans .htaccess ; les entrées ci-dessous ne sont que la déclaration # d'intention correspondante, opposable en cas de litige. User-agent: * Allow: / Disallow: /cgi-bin/ # --------------------------------------------------------------------------- # Bots IA explicitement autorisés # # Choix assumé : le contenu éditorial d'InterFast a vocation à être lu, # appris et cité par les moteurs génératifs. C'est un canal d'acquisition # (voir llms.txt, écrit pour eux). On autorise donc les deux familles : # - les crawlers d'entraînement, qui font qu'un modèle connaît InterFast # et peut le citer sans même faire de recherche web ; # - les crawlers de citation temps réel, qui alimentent les réponses # sourcées de ChatGPT, Claude, Perplexity et des AI Overviews Google. # Ne pas ajouter de Disallow ici sans mesurer la perte de visibilité GEO. # --------------------------------------------------------------------------- # OpenAI - entraînement, navigation utilisateur, index ChatGPT Search User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / # Anthropic - entraînement, requêtes utilisateur, recherche User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / # Google - Gemini et AI Overviews User-agent: Google-Extended Allow: / # Perplexity User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # Apple Intelligence / Siri User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # Mistral AI - pertinent sur le marché français User-agent: MistralAI-User Allow: / # Common Crawl - corpus ouvert réutilisé par la plupart des modèles User-agent: CCBot Allow: / # --------------------------------------------------------------------------- # Aspirateurs de site : interdits # # Le téléchargement en masse du contenu éditorial (fiches de poste, # dictionnaire, calculateurs, articles) constitue une extraction substantielle # d'une base de données protégée. Voir l'article 11.6 des CGV : # https://inter-fast.fr/interfast/cgv # --------------------------------------------------------------------------- User-agent: HTTrack Disallow: / User-agent: WebCopier Disallow: / User-agent: WebZIP Disallow: / User-agent: WebStripper Disallow: / User-agent: WebReaper Disallow: / User-agent: SiteSnagger Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: Offline Explorer Disallow: / User-agent: BlackWidow Disallow: / User-agent: Xenu Disallow: / User-agent: wget Disallow: / User-agent: curl Disallow: / User-agent: libwww-perl Disallow: / User-agent: python-requests Disallow: / User-agent: Scrapy Disallow: / User-agent: Go-http-client Disallow: / # --------------------------------------------------------------------------- # Veille SEO et concurrentielle : interdits # # Ces robots cartographient notre contenu, nos mots-clés et nos backlinks au # profit de tiers, sans contrepartie en visibilité. # --------------------------------------------------------------------------- User-agent: AhrefsBot Disallow: / User-agent: AhrefsSiteAudit Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: rogerbot Disallow: / User-agent: MegaIndex Disallow: / User-agent: SEOkicks Disallow: / User-agent: spbot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: Barkrowler Disallow: / User-agent: serpstatbot Disallow: / User-agent: ZoominfoBot Disallow: / Sitemap: https://inter-fast.fr/sitemap.xml