Robots.txt para IAs: como diferenciar busca, treinamento e acesso ao conteúdo

Robots.txt controla rastreamento, não todos os usos do conteúdo

O robots.txt publica instruções de rastreamento para agentes automatizados que optam por respeitar esse protocolo, mas não funciona como uma barreira de segurança. Ele fica no caminho /robots.txt de cada origem do site, e suas regras precisam ser consideradas separadamente quando há subdomínios ou serviços diferentes. Um bloqueio nesse arquivo informa que determinado agente não deve buscar certas URLs, sem exigir senha nem impedir tecnicamente uma conexão ao servidor. Por isso, conteúdo confidencial exige autenticação, autorização e outras proteções que controlem o acesso de fato, independentemente do nome apresentado pelo visitante. Para um projeto de GEO, a primeira decisão prática é separar o que pode ser público daquilo que simplesmente não deveria estar disponível sem identificação.

Rastreamento, indexação, apresentação em respostas e treinamento são etapas distintas, embora possam envolver conteúdo obtido de uma mesma página pública do seu site. Rastrear significa solicitar recursos, enquanto indexar significa processar informações para recuperação posterior em um sistema de busca ou em outra estrutura de consulta. Aparecer como fonte em uma resposta depende de mecanismos adicionais de seleção, relevância e atribuição, portanto a permissão de acesso não garante uma citação. Treinamento, por sua vez, envolve o uso de dados no desenvolvimento de modelos, conforme o escopo declarado pelo fornecedor para aquele agente ou mecanismo de controle. Essa separação evita tratar qualquer acesso de uma empresa de IA como prova de treinamento ou qualquer bloqueio como exclusão automática de todos os produtos.

Também é importante distinguir uma instrução para não rastrear de uma instrução destinada a impedir a indexação de uma página em um buscador. No Google, uma URL bloqueada pelo robots.txt ainda pode aparecer nos resultados quando descoberta por links, mesmo que seu conteúdo não tenha sido rastreado. Já a diretiva noindex precisa ser encontrada pelo mecanismo em uma página ou resposta acessível, o que torna inadequado bloquear o acesso necessário à leitura dessa instrução. Nenhuma dessas medidas apaga automaticamente cópias anteriores, informações já processadas ou dados recebidos pelo fornecedor por outras fontes e relações contratuais. Antes de alterar o arquivo, registre se o objetivo é interromper novas coletas, retirar uma URL de resultados ou restringir o acesso efetivo ao material.

• Defina como rastreamento a solicitação automatizada de páginas e arquivos por um agente.
• Trate a indexação como uma etapa de processamento distinta da simples visita ao servidor.
• Considere a citação em respostas uma possibilidade de visibilidade, nunca uma consequência garantida da permissão.
• Use autenticação para proteger informações privadas, pois o robots.txt não impede acessos por agentes que ignoram suas regras.

Como consultar a documentação dos rastreadores de IA

A documentação oficial deve ser a referência para identificar a finalidade de cada agente e o efeito esperado de suas permissões no robots.txt. Para a OpenAI, consulte https://platform.openai.com/docs/bots e procure as descrições individuais de GPTBot, OAI-SearchBot e ChatGPT-User, sem presumir que compartilham a mesma função. Para o Google, comece pela documentação de crawlers em https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers e avance até a descrição específica do Google-Extended. Para a Perplexity, consulte https://docs.perplexity.ai/guides/bots e confirme a distinção entre o rastreador de busca e os acessos acionados por usuários. Como páginas e endereços podem ser reorganizados, registre a data da consulta e procure novamente o documento oficial quando encontrar um redirecionamento ou uma referência desatualizada.

Ao ler essas páginas, procure primeiro o token reconhecido no robots.txt, porque ele pode ser diferente da identificação completa enviada no cabeçalho HTTP User-Agent. Depois, identifique a finalidade declarada, o comportamento diante de bloqueios e a existência de faixas de IP publicadas para validar acessos nos logs. Também confira se o agente representa um processo automático recorrente ou uma solicitação pontual feita por uma pessoa dentro de um produto de IA. Alguns fornecedores documentam exceções ou comportamentos específicos para essas solicitações, portanto não é seguro transportar as regras de um rastreador para todos os demais. O resultado dessa leitura deve ser uma ficha operacional curta, capaz de explicar qual controle existe, onde ele se aplica e o que permanece fora do seu alcance.

Em 2026, mantenha essa ficha como um documento revisável, e não como uma tabela definitiva copiada de um artigo antigo ou de uma postagem informal. Produtos podem ganhar novos agentes, alterar descrições de finalidade e reorganizar a relação entre busca, recuperação de informações e desenvolvimento de modelos ao longo do tempo. Uma rotina mensal ou trimestral de revisão costuma ser suficiente para muitos sites, com verificações extras quando houver mudanças relevantes anunciadas pelos fornecedores. Evite afirmar que um bot tem determinado comportamento apenas porque seu nome sugere busca ou porque uma ferramenta de análise o classificou dessa maneira. Para decisões sensíveis, preserve a referência consultada, envolva a equipe técnica e trate obrigações contratuais e jurídicas como uma camada separada da configuração de rastreamento.

• Anote o token exato que a documentação manda utilizar no campo User-agent do robots.txt.
• Registre a finalidade declarada pelo fornecedor, incluindo eventuais usos de recuperação de conteúdo para respostas.
• Confirme se o agente respeita o robots.txt e quais ressalvas existem para solicitações iniciadas por usuários.
• Verifique se existem faixas de IP ou procedimentos oficiais para validar a identidade das requisições.
• Documente a data da revisão e o responsável por acompanhar alterações posteriores na política.

GPTBot, OAI-SearchBot e ChatGPT-User têm finalidades diferentes

Na configuração de robots.txt para ChatGPT, o GPTBot é o agente associado à coleta de conteúdo que pode ser usado no treinamento dos modelos da OpenAI. O OAI-SearchBot tem outra finalidade: rastrear conteúdo para os recursos de busca, ajudando na descoberta e apresentação de fontes nesses ambientes de consulta. Portanto, uma política que bloqueia o GPTBot e permite o OAI-SearchBot expressa uma escolha coerente de restringir aquela coleta de treinamento sem bloquear o rastreador de busca. Essa combinação não garante presença em respostas, tráfego orgânico ou qualquer posição privilegiada, porque a seleção de fontes depende de outros critérios do sistema. Ela também não deve ser descrita como impedimento universal de treinamento, pois o alcance técnico da regra está vinculado ao agente e ao uso documentado pelo fornecedor.

O ChatGPT-User identifica acessos relacionados a ações de usuários e não deve ser tratado simplesmente como outro nome para o rastreador automático de busca. Quando uma pessoa pede que o produto consulte uma página, a requisição pode pertencer a essa categoria de acesso, conforme o funcionamento documentado pela OpenAI. A documentação distingue essas ações do rastreamento automático e informa que regras de robots.txt podem não se aplicar da mesma maneira a solicitações iniciadas por usuários. Por isso, bloquear GPTBot não resolve necessariamente a situação de alguém solicitar a leitura de uma URL pública dentro de uma conversa com o assistente. Se determinado material não pode ser entregue nem nesse cenário, a solução precisa estar no controle real de acesso, e não apenas em uma lista de nomes de agentes.

Para decidir entre permitir e bloquear, relacione cada objetivo comercial ao agente correspondente antes de publicar qualquer mudança no arquivo do seu site. Uma editora pode querer preservar descoberta em busca e limitar coleta para treinamento, enquanto uma área de documentação pública pode priorizar ampla recuperação de informações úteis. Já um portal com relatórios restritos precisa manter esses arquivos atrás de autenticação, independentemente de permitir a descoberta de páginas comerciais que descrevem o serviço. O surgimento ou a disponibilidade de produtos publicitários, como ChatGPT Ads no Brasil, não deve ser usado para deduzir permissões de rastreamento orgânico sem documentação específica. Compra de mídia, coleta automatizada e seleção de fontes são assuntos diferentes, e misturá-los costuma produzir decisões técnicas que não correspondem ao objetivo original do negócio.

Google-Extended não é um bloqueio geral do Google Search

O Google-Extended é um token de controle de uso de conteúdo, e não um rastreador separado que precise aparecer com esse nome nos logs. Sua documentação descreve o controle sobre o uso de conteúdo rastreado pelo Google para treinamento de futuras gerações do Gemini e para determinados usos de grounding. Grounding, nesse contexto, é o apoio de respostas em informações recuperadas de fontes, portanto o escopo não deve ser resumido automaticamente à palavra treinamento. A lista de produtos e aplicações cobertos precisa ser conferida na documentação vigente antes de uma decisão, especialmente quando a empresa utiliza serviços associados ao Gemini. Essa leitura evita dois erros opostos: achar que o controle exclui o site de todo o Google ou supor que ele afeta exclusivamente treinamento e nada mais.

Bloquear o Google-Extended não altera, por si só, a inclusão ou a classificação do site no Google Search, conforme a distinção estabelecida na documentação oficial. AI Overviews e AI Mode fazem parte da experiência de busca e não devem ser tratados como se obedecessem automaticamente ao bloqueio desse token. Para administrar presença e exposição de conteúdo no Search, é necessário analisar os controles próprios desse ambiente, incluindo Googlebot, indexação e diretivas de apresentação aplicáveis. Medidas como noindex, nosnippet, max-snippet e data-nosnippet possuem efeitos diferentes, que precisam ser avaliados conforme a intenção e a documentação de recursos de IA da busca. Uma mudança aparentemente simples pode reduzir a exposição desejada de páginas comerciais, por isso não implemente diretivas restritivas sem entender seu impacto nos resultados convencionais.

Na prática, um site pode manter o Googlebot autorizado e bloquear o Google-Extended quando essa combinação corresponde à sua política de uso de conteúdo. Ainda assim, a decisão não equivale a sair de todos os recursos de IA do Google, nem substitui uma avaliação das páginas que devem continuar indexáveis. Campanhas Performance Max pertencem a outra camada operacional, com configurações próprias de anúncios, destinos e expansão de URL que não são controladas pelo Google-Extended. Se a empresa usa mídia paga e SEO ao mesmo tempo, documente separadamente os requisitos de acesso às páginas de destino e as permissões relacionadas ao conteúdo orgânico. O critério correto é mapear produto, agente e finalidade, evitando atribuir ao mesmo token responsabilidades que pertencem a sistemas distintos dentro da plataforma do Google.

PerplexityBot deve ser avaliado como agente de busca

O PerplexityBot é apresentado pela Perplexity como um agente voltado a encontrar e disponibilizar sites nos resultados de busca, não como um rastreador para treinamento de modelos fundamentais. Essa finalidade declarada importa porque bloquear o agente em uma tentativa genérica de evitar treinamento pode atingir justamente a descoberta que o projeto de GEO quer preservar. A leitura correta começa pela descrição oficial do bot e continua pela verificação das permissões efetivamente publicadas no robots.txt de cada origem relevante do site. Não basta permitir o nome em uma ferramenta de segurança se o arquivo continua proibindo o acesso, assim como uma autorização no arquivo não supera um bloqueio no servidor. Para avaliar o cenário completo, compare a política declarada com respostas HTTP, registros de acesso e eventuais desafios impostos pela infraestrutura de proteção.

A Perplexity também documenta acessos associados a solicitações de usuários, que precisam ser analisados separadamente do rastreamento automatizado feito pelo PerplexityBot ao longo do tempo. O princípio é o mesmo aplicado a outros fornecedores: consultar uma página a pedido de alguém não é necessariamente o mesmo processo de construir um índice de busca. Verifique na documentação vigente como o agente correspondente é identificado e quais ressalvas existem sobre o respeito às instruções do robots.txt nesse tipo de solicitação. Se a política da empresa exige proibir qualquer leitura automatizada de determinada área, não suponha que bloquear apenas o rastreador de busca será suficiente para cumprir essa exigência. Nesse caso, restrinja o acesso na aplicação e reconheça que páginas públicas continuam expostas a visitantes e agentes que podem não seguir as preferências publicadas.

Permitir o PerplexityBot melhora a condição de acesso pelo rastreador, mas não cria uma obrigação de citar o site nem de enviar visitas qualificadas ao negócio. Conteúdo recuperável ainda precisa responder a perguntas relevantes, apresentar informações verificáveis e oferecer uma estrutura que facilite a interpretação de suas afirmações principais. Páginas com definições claras, datas quando necessárias e referências pertinentes tendem a ser mais úteis como fontes do que textos vagos escritos apenas para repetir termos de busca. Mesmo assim, a seleção de fontes varia conforme a consulta e o funcionamento do produto, portanto qualquer avaliação precisa considerar um conjunto de perguntas e períodos de observação. Use a permissão como requisito técnico de participação, não como uma previsão de desempenho ou como justificativa para prometer resultados de GEO que você não controla.

Como configurar permissões diferentes no mesmo robots.txt

Você pode criar grupos específicos no robots.txt para permitir agentes de busca e restringir agentes ou controles relacionados a outros usos documentados do conteúdo. Antes de editar, faça uma cópia do arquivo atual e identifique regras indispensáveis para a operação, como restrições de rotas técnicas e referências aos sitemaps. Em seguida, escreva a política em linguagem comum, indicando quais finalidades serão aceitas, quais serão limitadas e quais áreas exigem proteção fora desse protocolo. Só depois traduza essas decisões para tokens reconhecidos, porque começar por uma lista pronta de bots costuma esconder diferenças importantes entre as plataformas e seus produtos. O exemplo abaixo representa uma política possível para conteúdo público, não uma recomendação universal nem um substituto para as regras já necessárias no seu site.

Para bloquear o GPTBot, use um grupo com User-agent: GPTBot e Disallow: /, colocando cada diretiva em sua própria linha no arquivo de texto. Para permitir o OAI-SearchBot, crie outro grupo com User-agent: OAI-SearchBot e Allow: /, preservando eventuais restrições específicas que precisem valer para esse agente. O mesmo formato permite declarar User-agent: PerplexityBot com Allow: / e, em um grupo separado, User-agent: Google-Extended com Disallow: / quando essa for a política escolhida. Separe os grupos com linhas em branco para facilitar a leitura humana e não cole essas instruções como uma única linha ou como uma frase corrida. Se o arquivo já permite acesso de forma geral, alguns grupos de autorização podem ser redundantes, mas ainda podem ajudar a tornar explícita uma decisão operacional.

O cuidado principal está na seleção dos grupos, pois você não deve presumir que as restrições de User-agent: * serão herdadas automaticamente por todo agente com grupo específico. Nos mecanismos que selecionam o grupo mais específico, uma autorização dedicada pode deixar de aplicar bloqueios de caminhos que estavam somente no grupo genérico do arquivo. Por isso, revise as regras efetivas de cada agente e repita as restrições necessárias quando o comportamento documentado exigir essa organização das permissões no protocolo. Também verifique se existem grupos duplicados, padrões de caminhos incompatíveis com sua intenção e diferenças entre a versão publicada no domínio principal e em outros hosts utilizados. Depois da publicação, confirme que /robots.txt entrega o arquivo correto com resposta HTTP adequada, em vez de uma página de erro, tela de login ou desafio de segurança.

• Faça backup do arquivo atual antes de alterar grupos ou remover regras existentes.
• Associe cada permissão a uma finalidade documentada, em vez de bloquear todas as empresas de IA indistintamente.
• Insira cada diretiva em uma linha própria e mantenha os grupos separados para facilitar a manutenção.
• Confira se os grupos específicos preservam as restrições de caminhos que continuam necessárias para o site.
• Teste a versão entregue em produção, pois o conteúdo salvo no painel pode ser diferente daquele servido pela CDN.

Como validar bloqueios e acompanhar o impacto em GEO

A validação precisa combinar leitura do robots.txt, análise da infraestrutura e observação de acessos, porque nenhuma dessas verificações isoladas descreve todo o comportamento do site. Comece solicitando o arquivo público e algumas URLs representativas para conferir códigos HTTP, redirecionamentos, conteúdo retornado e possíveis desafios apresentados a visitantes automatizados. Depois, revise as configurações da CDN e do WAF, pois essas camadas podem bloquear agentes autorizados no arquivo ou entregar respostas diferentes conforme a origem da conexão. Nos registros do servidor, procure o User-Agent e compare os endereços de origem com métodos de verificação publicados pelo fornecedor quando houver documentação disponível. Um nome conhecido no cabeçalho não comprova identidade, já que qualquer cliente HTTP pode declarar um nome de agente sem realmente pertencer à empresa indicada.

Após mudar a política, espere variações no tempo de atualização e não interprete uma única requisição como prova conclusiva de que a configuração foi ignorada. Rastreadores podem consultar novamente o robots.txt em momentos diferentes, enquanto caches e camadas intermediárias podem continuar entregando versões anteriores até sua atualização ou expiração. Compare os acessos com a data da publicação e confirme primeiro qual versão do arquivo estava disponível para o agente no momento observado nos registros. Também separe agentes verificados de visitantes desconhecidos que apenas usam nomes semelhantes, evitando transformar falsificações de identificação em conclusões sobre a política de um fornecedor. Quando houver inconsistência persistente, reúna URLs, horários, cabeçalhos e respostas antes de procurar suporte técnico, porque evidências organizadas ajudam a localizar a camada responsável pelo problema.

Para acompanhar resultados de GEO, observe citações em consultas relevantes, visitas identificáveis e conversões, sem tratar qualquer mudança nesses indicadores como efeito exclusivo do robots.txt. Variações de conteúdo, concorrência, demanda e funcionamento dos próprios produtos de busca podem alterar a visibilidade mesmo quando as permissões técnicas permanecem iguais por vários meses. Registre um conjunto estável de perguntas importantes para o negócio e mantenha histórico das mudanças de infraestrutura e conteúdo para contextualizar o que foi observado. Nas ferramentas de análise, considere que nem todo acesso originado em assistentes preserva uma identificação clara de referência, e evite concluir que ausência de indicação significa ausência de influência. O objetivo da auditoria é comprovar que a política pretendida foi implementada corretamente e acompanhar oportunidades, não fabricar uma relação causal ou prometer crescimento com uma alteração isolada.

• Verifique o arquivo público e as respostas de páginas representativas antes de avaliar qualquer impacto de visibilidade.
• Compare as permissões do robots.txt com as regras da CDN, do WAF e da aplicação.
• Valide a identidade dos agentes pelos métodos oficiais disponíveis, sem confiar apenas no texto do User-Agent.
• Registre a data de cada alteração para interpretar acessos posteriores e possíveis efeitos de cache.
• Acompanhe citações, visitas e conversões como sinais complementares, reconhecendo os limites de atribuição.

Perguntas Frequentes