# abs-sp.com.br — política de crawling (domínio canônico; abs-sp.org redireciona) # Conteúdo público pode ser indexado e citado (com link). Áreas privadas, # fluxos transacionais e a API ficam fora pra TODO agente. # Agentes de IA: leia também /llms.txt (orientação específica pra LLMs). # ── Buscadores e redes sociais ────────────────────────────────────────────── User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Twitterbot Allow: / User-agent: facebookexternalhit Allow: / # ── Assistentes de IA (podem ler o conteúdo público e citar com link) ────── User-agent: GPTBot Allow: / Disallow: /perfil Disallow: /admin Disallow: /inscricao Disallow: /api User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / Disallow: /perfil Disallow: /admin Disallow: /inscricao Disallow: /api User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / Disallow: /perfil Disallow: /admin Disallow: /inscricao Disallow: /api # ── Coletores de dataset (sem retorno pra ABS — bloqueados) ──────────────── User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Diffbot Disallow: / User-agent: Omgilibot Disallow: / # ── Todo o resto ──────────────────────────────────────────────────────────── User-agent: * Allow: / Disallow: /perfil Disallow: /admin Disallow: /inscricao Disallow: /api