Existe uma camada do seu site que ninguém vê, mas que decide quem te encontra. Antes de o Google exibir a sua página, antes de o ChatGPT citar a sua empresa, um robô de leitura precisa entrar, ler e entender o que está publicado. Esses robôs são os crawlers, e hoje eles não trabalham só para o Google: cada sistema de IA tem o seu. A pergunta que este artigo responde é direta: os crawlers de IA estão conseguindo entrar no seu site, ou a porta está trancada sem você saber?

Se a resposta for “não sei”, você não está sozinho. O relatório The AI Citation Economy, da OtterlyAI, que analisou mais de 1 milhão de citações em ChatGPT, Perplexity e Google AI Overviews, encontrou barreiras técnicas bloqueando o acesso dos crawlers de IA em 73% dos sites. E na maioria das operações que acompanhamos, o bloqueio nem é decisão de ninguém: simplesmente ninguém olhou para isso desde que o site foi ao ar. O detalhe importante é que você não precisa ser desenvolvedor para resolver. Precisa saber o que pedir, o que conferir e o que cobrar de quem cuida da parte técnica.

O que são crawlers de IA, em linguagem de gestor

Crawler é um programa que visita páginas da internet, lê o conteúdo e leva essa leitura de volta para quem o enviou. O Googlebot, que existe desde os anos 1990, alimenta o índice da Pesquisa Google. E agora os crawlers de IA fazem o mesmo trabalho para os sistemas de inteligência artificial: uns alimentam buscas com resposta pronta, outros coletam material de treinamento para os modelos.

A diferença prática para a sua empresa está aí. Quando alguém pergunta ao ChatGPT qual agência contratar, a resposta sai do que o crawler da OpenAI conseguiu ler. Se o seu site bloqueia esse robô, por regra antiga de segurança ou por configuração padrão da hospedagem, a sua empresa nem chega a participar dessa conversa.

E o que assusta é que o bloqueio sem intenção é mais comum do que parece. Plugins de segurança, firewalls e regras genéricas de proteção contra robôs maliciosos costumam barrar os legítimos junto. Sei que parece estranho e que o primeiro impulso é criticar a TI, mas o ponto é que esses crawlers são novos: há alguns anos, eles nem existiam.

Googlebot e Google-Extended: um indexa, o outro não

Começamos pelo par que mais gera confusão. O Googlebot é o crawler da Pesquisa Google, o de sempre. Se ele não entra, a página não aparece no Google. Ponto.

Já o Google-Extended não indexa nada. Ele é um controle à parte que permite ao Google usar o seu conteúdo no treinamento das próximas gerações do Gemini. A própria documentação do Google é clara: o Google-Extended não controla a inclusão na Pesquisa e não é sinal de ranqueamento.

Vale a aclaração: as respostas de IA dentro da Pesquisa Google, como as AI Overviews, usam o mesmo índice do Googlebot, não existe um robô separado do Gemini para a busca.

Decidir sobre o Google-Extended é uma escolha de política de conteúdo, não de SEO. Você pode bloquear o treinamento e continuar aparecendo normalmente nas buscas.

Os três bots da OpenAI: quem aparece no ChatGPT não é quem treina o modelo

Aqui mora o erro mais frequente. A OpenAI trabalha com três agentes diferentes, e tratar os três como uma coisa só leva a decisões tortas:

  • OAI-SearchBot é o que interessa para visibilidade. É ele quem lê as páginas que podem aparecer, com link e citação, nos resultados do ChatGPT Search. Bloqueou, sumiu da busca.
  • GPTBot coleta conteúdo que pode ser usado no treinamento dos modelos. É uma decisão separada: a documentação da OpenAI confirma que dá para liberar o OAI-SearchBot e bloquear o GPTBot ao mesmo tempo, aparecendo na busca sem ceder conteúdo para treino.
  • ChatGPT-User não é crawler de indexação. Ele aparece quando um usuário real pede algo ao ChatGPT e o sistema busca uma página na hora. Não substitui o OAI-SearchBot na descoberta.

A mesma lógica de separação vale para os concorrentes. O PerplexityBot alimenta a busca da Perplexity e respeita as regras do robots.txt, segundo a documentação da própria empresa. A Anthropic segue o mesmo desenho com o Claude: o ClaudeBot coleta conteúdo para treino, o Claude-SearchBot alimenta a busca dentro do Claude e o Claude-User atende às ações disparadas pelos usuários. A regra de decisão é idêntica: busca e treino se configuram separado.

E o Bingbot cumpre papel dobrado: além do Bing, o índice da Microsoft abastece parte das respostas do Copilot. Aqui vai um macete sobre o Bing: para quem publica ou atualiza conteúdo com frequência, vale conhecer o IndexNow, protocolo apoiado pela Microsoft, que avisa o buscador sobre URLs novas ou alteradas, em vez de esperar a próxima visita do robô.

A base que decide tudo: robots.txt, firewall e sitemap

Os nomes dos bots importam menos do que a porta por onde eles passam. Cinco pontos sustentam essa porta:

  1. robots.txt por user-agent. O arquivo robots.txt é a portaria do site: diz, robô por robô, o que pode entrar e aonde pode ir. O erro clássico é a regra genérica de bloqueio total: eficiente para afastar robôs maliciosos, mas que, escrita sem recorte, derruba os legítimos junto. Uma regra específica por agente resolve:
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Esse trecho diz: busca do ChatGPT, entre; treinamento de modelo, não. Você não precisa escrever isso sozinho, precisa reconhecer o que está pedindo.

  1. Firewall e proteção antibot. Cloudflare e similares podem responder 403 ou abrir desafio de JavaScript para crawlers legítimos. O robots.txt pode estar perfeito e o robô continuar de fora, barrado um andar antes. E aqui o cuidado dobrou: desde 2025, domínios novos na Cloudflare já nascem com o bloqueio de crawlers de IA ligado por padrão, e a empresa criou até um modo de cobrar pelo acesso, o pay per crawl. Ou seja, o bloqueio pode ter vindo de fábrica com a hospedagem, sem que ninguém tenha pedido.
  2. Conteúdo que só aparece com JavaScript. Se o texto principal da página depende de script para renderizar, parte dos crawlers de IA não consegue ler. O teste caseiro é rápido: abra o código-fonte da página (Ctrl+U) e procure o conteúdo principal. Se ele não está lá, o robô também não vê.
  3. Sitemap limpo. O mapa do site deve listar só URLs canônicas, indexáveis e atualizadas. Sitemap sujo desperdiça a visita do crawler com página que não deveria existir.
  4. Destinos em 200, sem cadeia de redirecionamento. Página final precisa responder 200. Conteúdo movido pede um 301 direto para o endereço novo, nunca uma sequência de pulos. E nada de noindex esquecido nem canonical apontando para o lugar errado.

O que pedir para quem cuida do seu site

O checklist abaixo resume o artigo em pedidos concretos. Pode repassar direto para a equipe técnica ou para a agência:

  1. Liste no log do servidor quais user-agents acessam o site hoje, antes de mexer em qualquer regra
  2. Confira o robots.txt: OAI-SearchBot liberado nas páginas públicas, GPTBot conforme a política de conteúdo da empresa, nenhuma regra genérica bloqueando robô legítimo
  3. Teste firewall e proteção antibot contra Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot e PerplexityBot
  4. Valide o sitemap: apenas URLs canônicas e indexáveis
  5. Confirme que as páginas principais respondem 200, com 301 direto nos endereços antigos
  6. Se a publicação é frequente, avalie IndexNow para avisar o Bing das atualizações
  7. Registre a decisão sobre Google-Extended como política de conteúdo, sabendo que ela não afeta a Pesquisa Google

Visibilidade começa na porta de entrada

Produzir conteúdo para ser citado por IA sem conferir se os crawlers entram é decorar a vitrine com a loja fechada. A camada técnica de descoberta é invisível, mas é ela que decide se o resto do trabalho aparece. E a rotina é mais simples do que o vocabulário sugere: uma auditoria por trimestre, com o checklist acima, já tira a empresa da estatística dos bloqueados sem saber.

Este artigo é o par técnico do nosso guia de como aparecer nas buscas por IA, que cobre o lado do conteúdo e da reputação. Lá a pergunta é “como ser representado”; aqui, “como deixar entrar”. As duas camadas se completam, e a conexão entre elas passa pelo que discutimos nas 5 crenças que travam o crescimento: quem constrói marca e informação conectada está montando os sinais que os modelos leem.

Se você quer essa auditoria rodando no seu site, com relatório em linguagem de gestor e plano de correção, fale com a Pontodesign.