Como medir robôs de IA no log sem se enganar: seis armadilhas

Por Diego Gomes, fundador da Organic301 · Outubro de 2026 · Série “Robôs de IA em sites”, artigo 5 de 5

Resumo. Este artigo documenta seis armadilhas encontradas ao analisar 243.186 requisições de dois sites, de 30 de maio a 28 de agosto de 2026, e mostra o efeito de cada uma nos resultados. A classificação por comportamento escondeu 79,1% das requisições de robôs de IA do site maior. Oitenta e duas requisições usaram nomes de robôs de IA para procurar arquivos de credenciais. O pré-carregamento de cache do próprio site respondeu por 59,2% das requisições do site menor. Listas de URLs sem limpeza reduziram a cobertura aparente das páginas mais visitadas de 100% para 54%. A coleta na camada da aplicação deixou de registrar arquivos servidos diretamente pelo servidor e registrou o mesmo hash de IP para quase todas as requisições. E a home respondeu 404 a 112 de 120 requisições de IA com status registrado, enquanto respondeu 200 a todas as 253 pré-visualizações de links. O artigo termina com um protocolo de medição e os indicadores recomendados.

Palavras-chave: análise de log; robôs de IA; classificação de tráfego; falsificação de user agent; GEO.

<figure><a href="https://organic301.com/estudos/medir-robos-de-ia-no-log/"><img src="https://organic301.com/wp-content/uploads/2026/10/medir-robos-de-ia-no-log-duas-leituras-infografico.png" alt="Infográfico: Mesma base de log, duas leituras: o método mudou a participação da IA de 9,1% para 38,1% (Organic301)" width="1800" height="1472" style="max-width:100%;height:auto"></a><figcaption>Fonte: <a href="https://organic301.com/estudos/medir-robos-de-ia-no-log/">Como medir robôs de IA no log sem se enganar: seis armadilhas</a>, Organic301 (2026).</figcaption></figure>

1. Introdução

Medir o acesso de robôs de IA ao site virou parte do diagnóstico de GEO (Generative Engine Optimization). O dado parece simples de obter: basta abrir o log. Mas a mesma base de dados, analisada de dois jeitos, produziu conclusões opostas nesta série. Uma primeira leitura, feita com a classificação automática da ferramenta de coleta e com listas brutas de URLs, indicou que a IA era 9,1% das requisições do site maior e via só 54% das páginas mais visitadas. A análise revista mostrou 38,1% e 100%. Este artigo explica de onde veio cada diferença.

2. Método

A base, a coleta e as definições estão no estudo Robôs de IA em sites: o que 243.186 requisições de log mostram. Para cada armadilha, comparamos o resultado obtido com e sem a correção correspondente.

3. As seis armadilhas

<figure><a href="https://organic301.com/estudos/medir-robos-de-ia-no-log/"><img src="https://organic301.com/wp-content/uploads/2026/10/medir-robos-de-ia-no-log-seis-armadilhas-infografico.png" alt="Infográfico: Seis armadilhas ao medir robôs de IA no log, e o efeito de cada uma (Organic301)" width="1800" height="1583" style="max-width:100%;height:auto"></a><figcaption>Fonte: <a href="https://organic301.com/estudos/medir-robos-de-ia-no-log/">Como medir robôs de IA no log sem se enganar: seis armadilhas</a>, Organic301 (2026).</figcaption></figure>

3.1 Classificar robôs por comportamento

Ferramentas de segurança agrupam requisições por comportamento: excesso de requisições por minuto, intervalos regulares, cabeçalhos incompletos. Esse critério ajuda a bloquear abuso, mas não diz quem é o robô. No Site A, 56.401 das 71.272 requisições com user agent de robô de IA (79,1%) tinham sido classificadas como scraper (55.891) ou como humanas (510). No Site B, foram 839 de 1.824 (46,0%). O maior robô de IA do Site A, um coletor de uma empresa de redes sociais com 47.588 requisições, não aparecia como IA. No sentido inverso, um robô auxiliar de um grande buscador, sem finalidade de IA declarada, aparecia como IA.

3.2 Confiar no user agent sem verificar

O user agent é declarado pelo próprio visitante e pode ser falsificado. Nos dois sites, 82 requisições usaram nomes de 16 robôs de IA diferentes para procurar arquivos de configuração e credenciais, como arquivos de variáveis de ambiente, chaves de contas de serviço e cofres de segredos. As requisições se concentraram em cinco dias e alternaram os nomes dos robôs, um padrão de varredura automatizada. Parte desses user agents tinha formato diferente do publicado pelos operadores, por exemplo com outro endereço de contato.

O volume é pequeno diante do total, mas mostra por que a origem precisa ser verificada quando o operador publica faixas de IP ou permite verificação por DNS reverso. Nesta base, a verificação não foi possível: na coleta pelo servidor, o hash de IP foi o mesmo em 98,9% das linhas do Site A e em 94,5% das do Site B, provavelmente o endereço de um intermediário de rede. Ferramentas de coleta precisam registrar o IP original do visitante, e não o do intermediário.

3.3 Contar o tráfego do próprio site

No Site B, 33.110 das 55.954 requisições (59,2%) vieram do processo de pré-carregamento de cache do próprio site, que visita as páginas para deixá-las prontas. Com esse tráfego na base, a IA representava 3,3% das requisições; sem ele, 8,0%. Plugins de cache, monitores de disponibilidade e ferramentas internas de auditoria precisam ser identificados e separados antes de qualquer proporção.

3.4 Usar URLs brutas e listas sem limpeza

Todas as URLs requisitadas no período somavam 11.602 no Site A e 1.472 no Site B. As páginas reais, definidas como URLs canônicas requisitadas por buscadores, eram 5.525 e 106. O restante eram sondagens de segurança, arquivos estáticos, URLs malformadas e arquivos por data. A lista das 50 URLs mais visitadas por humanos tinha o mesmo problema: 28 entradas no Site A e 19 no Site B não eram páginas, incluindo um caminho técnico de pré-busca de navegador em segundo lugar nos dois sites. Com as listas brutas, a IA parecia ler 54% e 90% das páginas mais visitadas; com as listas limpas, leu 100% nos dois sites. O artigo A IA lê as páginas que importam? detalha essa comparação.

3.5 Ignorar o que a coleta não vê

A coleta deste estudo registra o que passa pela aplicação do site. Arquivos servidos diretamente pelo servidor web ficam de fora. No Site B, o robots.txt não aparece no log; no Site A, o llms.txt não aparece. O status HTTP foi registrado em 7,6% das linhas do Site A e em nenhuma do Site B. Antes de concluir que um robô “não lê” um arquivo, é preciso confirmar que a coleta registraria a leitura. O artigo O llms.txt é lido por robôs de IA? mostra como isso limitou a análise do arquivo.

3.6 Supor que o robô recebe a mesma resposta que você

A home do Site A abria normalmente no navegador, mas respondeu 404 a 93% das requisições de robôs de IA com status registrado, sobretudo do coletor do laboratório 1 (107 de 109). As pré-visualizações de links receberam 200 em todas as 253 requisições. O padrão sugere uma regra de servidor, firewall ou cache que responde de forma diferente conforme o visitante. Como o status cobre uma fração pequena das linhas, o dado não é uma taxa, mas é motivo suficiente para testar o site com o user agent de cada robô.

4. Protocolo recomendado

1. Junte as fontes: log da aplicação e log do servidor web, para cobrir também arquivos estáticos, com o IP original do visitante.
2. Classifique pelo user agent declarado, usando os identificadores publicados pelos operadores, e só depois aplique sinais de comportamento.
3. Separe o tráfego do próprio site: pré-carregamento de cache, monitores e auditorias internas.
4. Isole requisições a caminhos sensíveis e verifique a origem dos robôs quando houver como.
5. Monte a lista de páginas reais: URLs canônicas requisitadas por buscadores, sem caminhos técnicos, arquivos e sondagens.
6. Meça por robô, não “a IA” como bloco.
7. Teste a resposta das páginas principais com o user agent de cada robô relevante.

5. Discussão

As armadilhas não são exóticas. Classificação por comportamento, tráfego do próprio site, listas sem limpeza e lacunas de coleta aparecem em qualquer análise de log feita com ferramentas de mercado ou planilhas. O efeito acumulado nesta base foi grande o bastante para inverter conclusões: a IA parecia marginal e desatenta às páginas importantes, quando era o segundo maior grupo de requisições e lia todas as páginas principais.

Para quem toma decisões de GEO com base no log, a recomendação é tratar a medição como parte do projeto: documentar critérios, separar fontes, limpar listas e revisar os números antes de priorizar mudanças no site.

6. Limitações

• A lista de identificadores de robôs de IA reflete o que os operadores publicavam em 2026 e precisa de atualização contínua.
• Sem verificação de origem, não é possível separar todos os robôs falsificados.
• Os exemplos vêm de dois sites e de uma única ferramenta de coleta.

7. Conclusão

Medir robôs de IA no log exige mais do que contar user agents. Nesta base, seis decisões de método mudaram a participação da IA em quatro vezes e a cobertura das páginas mais visitadas de 54% para 100%. Antes de otimizar para os robôs de IA, vale garantir que os números descrevem os robôs certos.

Artigos da série

1. Robôs de IA em sites: o que 243.186 requisições de log mostram.
2. O llms.txt é lido por robôs de IA? O que 90 dias de log mostram.
3. Cada robô de IA lê um site de um jeito: coleta, busca e agentes de usuários.
4. A IA lê as páginas que importam? Cobertura de IA medida com dados limpos.
5. Como medir robôs de IA no log sem se enganar: seis armadilhas (este artigo).

Referências

1. Koster, M. et al. RFC 9309: Robots Exclusion Protocol. IETF, 2022.
2. Gomes, D. Robôs de IA em sites: o que 243.186 requisições de log mostram. Organic301, 2026.
3. Organic301. Consultoria e Agência de GEO (Generative Engine Optimization). Diego Gomes, 2026.

Como citar: Gomes, D. (2026). Como medir robôs de IA no log sem se enganar: seis armadilhas. Organic301. https://organic301.com/estudos/medir-robos-de-ia-no-log/

Sobre o autor: Diego Gomes é fundador da Organic301, especialista em SEO, ASO, GEO e IA aplicada ao marketing. Conheça o trabalho de consultoria e agência de GEO da Organic301.