# =========================
# Vocaneo – robots.txt
# =========================

# Un seul groupe pour tous les robots (audit SEO 2026-10).
# Un robot suit le groupe le plus spécifique qui le nomme : quand chaque robot
# avait son propre groupe « Allow: / », les Disallow du groupe « * » ne
# s'appliquaient ni à Googlebot ni à Bingbot, et /login s'est retrouvé indexé.
# Les lignes User-agent qui se suivent partagent les règles qui viennent après.
#
# Robots nommés explicitement : moteurs de recherche et assistants IA que nous
# voulons voir citer Vocaneo (recherche, entraînement et visites à la demande).
#
# /login et /register ne sont pas bloqués ici : ces pages portent une balise
# noindex, que les robots doivent pouvoir lire pour les sortir de l'index.
# La garantie pour /fiche-lead/ reste l'en-tête X-Robots-Tag: noindex, nofollow
# posé par LeadSheetController sur les réponses qu'il produit lui-même.

# --- OpenAI (ChatGPT, SearchGPT, Training) ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
# --- Google (Search, Gemini, Vertex AI) ---
User-agent: Googlebot
User-agent: Google-Extended
# --- Microsoft (Bing Search, Copilot) ---
User-agent: Bingbot
# --- Perplexity (AI Search) ---
User-agent: PerplexityBot
User-agent: Perplexity-User
# --- Anthropic (Claude) : Claude-SearchBot = index de recherche, Claude-User = fetch à la demande ---
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
# --- Meta (Facebook, Llama, Meta AI) ---
User-agent: FacebookBot
User-agent: Facebot
# --- Amazon (Alexa, Amazon Q) ---
User-agent: Amazonbot
# --- Apple (Siri, Spotlight, Apple Intelligence) ---
User-agent: Applebot
# --- Mistral AI ---
User-agent: MistralAI-User
# --- Common Crawl (LLM training base) ---
User-agent: CCBot
# --- X / Twitter (Grok) ---
User-agent: Twitterbot
# --- Tous les autres robots ---
User-agent: *
Disallow: /_profiler/
Disallow: /_wdt/
Disallow: /error/
Disallow: /profile/
Disallow: /admin/
Disallow: /fiche-lead/
Disallow: /dashboard/
Disallow: /app/
Disallow: /subscribe/
Disallow: /accompagnement$
Disallow: /newsletter

# --- Sitemap ---
Sitemap: https://vocaneo.com/sitemap.xml
# Métiers en tension (service sous /metiers-en-tension, ADR 0024 du dépôt metiers-en-tension)
Sitemap: https://vocaneo.com/metiers-en-tension/sitemap-tension.xml