[
  {
    "crawler": "GPTBot",
    "editeur": "OpenAI",
    "mission": "Entraînement",
    "robots_txt_token": "GPTBot",
    "sauts_toleres": 5,
    "comportement_au_dela": "Abandon silencieux, page absente de l'index entraînement"
  },
  {
    "crawler": "OAI-SearchBot",
    "editeur": "OpenAI",
    "mission": "ChatGPT Search (temps réel)",
    "robots_txt_token": "OAI-SearchBot",
    "sauts_toleres": 3,
    "comportement_au_dela": "Réponse générée sans citer la page"
  },
  {
    "crawler": "ChatGPT-User",
    "editeur": "OpenAI",
    "mission": "Agent (visite à la demande)",
    "robots_txt_token": "ChatGPT-User",
    "sauts_toleres": 3,
    "comportement_au_dela": "Visite à la demande échouée pour l'utilisateur"
  },
  {
    "crawler": "ClaudeBot",
    "editeur": "Anthropic",
    "mission": "Entraînement",
    "robots_txt_token": "ClaudeBot",
    "sauts_toleres": 5,
    "comportement_au_dela": "Abandon silencieux"
  },
  {
    "crawler": "anthropic-ai",
    "editeur": "Anthropic",
    "mission": "Entraînement (legacy)",
    "robots_txt_token": "anthropic-ai",
    "sauts_toleres": 5,
    "comportement_au_dela": "Abandon silencieux"
  },
  {
    "crawler": "Claude-User",
    "editeur": "Anthropic",
    "mission": "Agent (visite à la demande)",
    "robots_txt_token": "Claude-User",
    "sauts_toleres": 3,
    "comportement_au_dela": "Visite à la demande échouée"
  },
  {
    "crawler": "Claude-SearchBot",
    "editeur": "Anthropic",
    "mission": "Claude Search (temps réel)",
    "robots_txt_token": "Claude-SearchBot",
    "sauts_toleres": 3,
    "comportement_au_dela": "Réponse générée sans la page"
  },
  {
    "crawler": "PerplexityBot",
    "editeur": "Perplexity",
    "mission": "Indexation pour réponses",
    "robots_txt_token": "PerplexityBot",
    "sauts_toleres": 5,
    "comportement_au_dela": "Abandon silencieux, page absente des sources Perplexity"
  },
  {
    "crawler": "Perplexity-User",
    "editeur": "Perplexity",
    "mission": "Agent (visite à la demande)",
    "robots_txt_token": "Perplexity-User",
    "sauts_toleres": 3,
    "comportement_au_dela": "Visite à la demande échouée pour l'utilisateur"
  },
  {
    "crawler": "Googlebot",
    "editeur": "Google",
    "mission": "Référence (SEO classique)",
    "robots_txt_token": "Googlebot",
    "sauts_toleres": 10,
    "comportement_au_dela": "Indexation différée, parfois retentée"
  }
]