GPTBot e OAI-SearchBot: o que liberar no robots.txt

Para aparecer nas respostas de IA, libere no robots.txt os robôs de busca (como OAI-SearchBot, PerplexityBot e Claude-SearchBot) e não bloqueie os acionados por um usuário (ChatGPT-User, Claude-User). Os robôs de treinamento (GPTBot, ClaudeBot, Google-Extended) são outra decisão: bloqueá-los impede o uso futuro do seu conteúdo no treino dos modelos, e, segundo a OpenAI e a Anthropic, não é o que decide se você aparece na busca.

Qual a diferença entre robô de treinamento, de busca e acionado por usuário?

Os robôs de IA fazem três trabalhos diferentes, e cada empresa usa um nome (user-agent) para cada um. Essa separação é o que permite bloquear um tipo sem afetar o outro.

• Treinamento: coleta páginas que podem ser usadas para treinar modelos. Exemplos: GPTBot (OpenAI) e ClaudeBot (Anthropic).
• Busca: monta um índice para que o site possa ser mostrado e linkado nas respostas. Exemplos: OAI-SearchBot, PerplexityBot e Claude-SearchBot.
• Acionado por usuário: vai até uma página porque alguém, naquele momento, fez uma pergunta ou pediu uma ação. Exemplos: ChatGPT-User, Perplexity-User e Claude-User.

Um quarto grupo é o dos "tokens de controle", como Google-Extended e Applebot-Extended. Eles não são robôs que visitam o site: servem só para você dizer, no robots.txt, como o conteúdo já rastreado pode ser usado.

Quais robôs de IA existem e o que cada um faz?

A tabela resume o que cada empresa documenta. A coluna "Bloquear tira você das respostas?" reflete a documentação oficial, conferida em 14 de outubro de 2026.

Fontes: OpenAI, Perplexity, Anthropic, Google e Apple.

O que o Google-Extended controla de fato?

Google-Extended é um token de controle, sem user-agent próprio, que define se o conteúdo rastreado pode ser usado para treinar futuros modelos Gemini e para "grounding" (levar conteúdo do índice do Google ao modelo na hora da resposta), conforme a documentação do Google. O Google afirma que ele não afeta a inclusão na Busca nem é sinal de ranking.

Dois cuidados. Primeiro, como o grounding também entra nessa definição, bloquear o Google-Extended pode reduzir o uso do seu conteúdo no Gemini (isso é inferência a partir do texto do Google). Segundo, essa página não menciona as Visões Gerais criadas por IA nem o Modo IA, e o Google-Extended não é o controle deles.

O controle específico é a opção "Search generative AI", no Search Console (em Configurações). Ela permite incluir (padrão) ou excluir o site das Visões Gerais, do Modo IA e das funções de IA no Discover, e o Google diz que está disponível para todos os sites desde 31/08/2026, segundo a página de ajuda. Para limitar só o que é exibido de uma página, valem nosnippet, max-snippet e data-nosnippet, conforme a página de recursos de IA na Busca. Os detalhes estão em Modo IA do Google no Brasil.

E os robôs que são acionados por usuários?

Eles tendem a ignorar o robots.txt. A OpenAI diz que, nas ações iniciadas por usuários, as regras do robots.txt podem não se aplicar. A Perplexity afirma que o Perplexity-User "geralmente ignora" as regras. O Google diz o mesmo dos seus fetchers acionados por usuários. Já a Anthropic afirma que seus três robôs seguem o robots.txt.

Na prática, o robots.txt é uma ferramenta para treinamento e busca. Para barrar visitas acionadas por usuários, só um firewall funciona.

Que robots.txt usar? Três modelos prontos

O arquivo fica em seudominio.com.br/robots.txt e vale por domínio e subdomínio. A RFC 9309 define o padrão: o robô usa o grupo que casa com o seu nome e, se nenhum casar, o grupo *. Troque seudominio.com.br pelo seu endereço.

Modelo 1: liberar tudo

Indicado para quem quer ser encontrado e citado e não se importa com o uso em treinamento.

User-agent: *
Allow: /

Sitemap: https://seudominio.com.br/sitemap.xml

Se nenhuma regra bloquear, os robôs já podem entrar. Declarar o grupo * com Allow: / deixa a intenção explícita.

Modelo 2: bloquear treinamento, permitir busca

Indicado para quem quer aparecer nas respostas, mas não quer ceder conteúdo ao treino dos modelos.

# Treinamento: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Busca e acionados por usuário: liberados
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# Demais robôs (inclui Googlebot e Bingbot)
User-agent: *
Allow: /

Sitemap: https://seudominio.com.br/sitemap.xml

Deixei o Google-Extended de fora de propósito. Como o Google o associa também ao grounding do Gemini, bloqueá-lo é uma escolha à parte: se quiser, acrescente User-agent: Google-Extended com Disallow: /, sabendo que pode reduzir o uso do seu conteúdo no Gemini.

Modelo 3: bloquear os robôs de IA

Indicado para quem tem conteúdo pago, sensível ou exclusivo.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

As consequências são diretas: o site deixa de aparecer na busca do ChatGPT, e a Anthropic avisa que bloquear o Claude-SearchBot e o Claude-User pode reduzir sua visibilidade. Não bloqueie o Googlebot achando que está "bloqueando a IA do Google": você sairia da Busca do Google inteira. Para sair só das funções de IA da Busca, o caminho é o controle "Search generative AI" do Search Console, descrito acima.

Como saber se os robôs de IA estão visitando seu site?

Olhe os logs do servidor ou o painel do seu CDN e procure pelos nomes dos robôs. Se um robô nunca aparece, ou aparece com erros 403, algo está bloqueando antes do robots.txt.

1. Logs do servidor. Em servidores com acesso a logs, um comando como grep -E "GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot" access.log mostra quais robôs passaram e qual status receberam (200 é sucesso; 403 é bloqueio).
2. Painel do CDN. O Cloudflare tem o AI Crawl Control, que, segundo a documentação, mostra a atividade dos robôs de IA, permite liberar ou bloquear cada um e indica quais seguem suas diretivas do robots.txt.
3. Confirme a origem. Qualquer um pode escrever "GPTBot" no user-agent. As empresas publicam listas de IPs para verificação, como as da OpenAI e da Perplexity. A Anthropic recomenda checar a lista oficial e desaconselha bloquear por IP.
4. Teste de fora. Um curl -A "OAI-SearchBot" -I https://seudominio.com.br/ mostra o status que um user-agent recebe. Se der 200, ainda não prova que o robô real passa, porque regras podem olhar também o IP.

Quem prefere medir o resultado, e não só o acesso, pode perguntar às próprias IAs. A auditoria técnica da Reefia verifica se os robôs de IA conseguem entrar, mas ela mede e aponta o que corrigir; não libera nada sozinha.

Por que o Cloudflare pode estar bloqueando robôs de IA sem você saber?

Porque o Cloudflare passou a perguntar, nos domínios novos, se eles aceitam robôs de IA, e as configurações padrão podem barrar parte deles. Esse bloqueio acontece no firewall, não no robots.txt, então o seu arquivo pode estar liberando tudo enquanto os robôs recebem erro.

• Em 1º de julho de 2025, o Cloudflare anunciou que todo domínio novo passaria a ser perguntado, no cadastro, se quer permitir robôs de IA.
• Segundo o blog do Cloudflare de 15 de setembro de 2026, a empresa passou a separar o controle em três categorias (Busca, Treinamento e Agente). Em domínios novos que se monetizam com anúncios, o padrão é desautorizar treinamento e bloquear agentes nas páginas com anúncios; os demais domínios novos começam com tudo liberado.
• A mesma publicação diz que os bloqueios mais amplos passaram a valer também para robôs que fazem busca e treinamento ao mesmo tempo (Applebot, Bingbot e Googlebot).
• Quando você bloqueia um robô pelo painel, o Cloudflare cria uma regra de WAF na sua zona.

Se o seu domínio está no Cloudflare, abra o AI Crawl Control e confira o que está permitido. Para barrar o treinamento sem tocar na busca, a própria Cloudflare indica a opção "Disallow AI Training".

Quais são os erros mais comuns?

1. Bloquear o robô errado. Quem bloqueia o GPTBot achando que sai do ChatGPT não ganha nada, e quem bloqueia o OAI-SearchBot para "evitar treino" some da busca.
2. Grupo específico que ignora o *. Se um robô tem um grupo próprio, ele segue só esse grupo. Repita nele as regras gerais que ainda valem.
3. Firewall ou WAF barrando os robôs. Regras antibot e proteção contra scraping podem devolver 403 mesmo com o robots.txt liberado. A Perplexity sugere liberar seus robôs combinando user-agent e a lista de IPs publicada.
4. Conteúdo que só aparece com JavaScript. Um estudo da Vercel com a MERJ, de dezembro de 2024, observou que GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot e PerplexityBot não executam JavaScript. Se o preço, o endereço ou o texto principal só carregam por script, esses robôs podem não ver nada. Isso vale para a data do estudo e pode mudar.
5. noindex ou nosnippet por engano. Para aparecer nas Visões Gerais criadas por IA e no Modo IA, o Google exige que a página esteja indexada e possa exibir um trecho, e que o site não tenha sido excluído no controle "Search generative AI" do Search Console. Na Microsoft, as metatags noarchive e nocache limitam o uso do conteúdo nas respostas do Bing Chat, segundo o anúncio de 2023.
6. Robots.txt em um domínio só. Cada subdomínio precisa do seu arquivo. Quem usa blog.seusite.com.br precisa publicar o arquivo ali também.
7. Esperar efeito imediato. A OpenAI e a Perplexity falam em cerca de 24 horas.

O que fazer depois de liberar os robôs?

Liberar o acesso é o mínimo, não a estratégia. A seguir, o conteúdo precisa responder as perguntas dos seus clientes de forma clara e verificável, como detalha o guia como aparecer no ChatGPT. Se você ouviu falar de um arquivo extra para IA, veja também llms.txt funciona?, e, para o quadro geral, o que é GEO.