Por Diego Gomes, fundador da Organic301 · Outubro de 2026 · Série “Robôs de IA em sites”, artigo 1 de 5
Resumo. Este estudo analisa 243.186 requisições registradas em dois sites entre 30 de maio e 28 de agosto de 2026, classificadas pelo user agent declarado em robôs de IA, buscadores, outros robôs e humanos. No site maior, os robôs de IA fizeram 38,1% das requisições, três vezes o volume dos buscadores; no menor, 8,0%, descontado o pré-carregamento de cache do próprio site. O volume foi concentrado: dois robôs responderam por 97,5% das requisições de IA do site maior, e o robô dominante em um site quase não apareceu no outro. A IA leu todas as 50 páginas mais visitadas por humanos nos dois sites, 99,8% das páginas reais do site maior e 91,5% das do menor, mas levou um mês para cobrir o primeiro e três meses para cobrir o segundo. O arquivo llms.txt recebeu 88 requisições em 90 dias, uma delas de robô de IA. Uma primeira leitura destes dados, feita com a classificação automática da ferramenta de coleta e com listas de URLs sem limpeza, subestimou a participação da IA em quatro vezes e indicou lacunas de cobertura que não se confirmaram.
Palavras-chave: robôs de IA; rastreamento; análise de log; GEO; cobertura de rastreamento; llms.txt.
Use este infográfico no seu site
Você pode reproduzir este infográfico desde que mantenha o crédito à Organic301 e o link para o estudo. Copie o código abaixo ou baixe a imagem em alta resolução (1800 × 1634 px).
<figure><a href="https://organic301.com/estudos/robos-de-ia-em-sites/"><img src="https://organic301.com/wp-content/uploads/2026/10/robos-de-ia-em-sites-6-numeros-infografico.png" alt="Infográfico: Robôs de IA em sites: o estudo em 6 números (Organic301)" width="1800" height="1634" style="max-width:100%;height:auto"></a><figcaption>Fonte: <a href="https://organic301.com/estudos/robos-de-ia-em-sites/">Robôs de IA em sites: o que 243.186 requisições de log mostram</a>, Organic301 (2026).</figcaption></figure>1. Introdução
Muitas recomendações de GEO (Generative Engine Optimization) partem de suposições pouco medidas sobre os robôs de IA: que eles são visitantes raros, que leem pouco do site e que arquivos como o llms.txt orientam essa leitura. Este estudo mede o que os robôs de IA de fato requisitaram em dois sites durante 90 dias.
O estudo responde a quatro perguntas: (1) que parte das requisições vem de IA; (2) como esse volume se distribui entre os robôs; (3) se a IA lê as páginas que importam; e (4) se o llms.txt é lido. Os detalhes de cada resposta estão nos outros quatro artigos da série, listados ao final.
2. Método
2.1 Amostra e período
Dois sites do autor, chamados aqui de Site A e Site B. O Site A é um site de serviços de marketing com páginas de serviço, um glossário editorial e cerca de 5.500 páginas programáticas geradas a partir de um mesmo modelo. O Site B é um blog de marketing digital, com artigos e páginas de serviço. O período vai de 30 de maio a 28 de agosto de 2026 (UTC), 91 datas de calendário.
2.2 Coleta
As requisições foram registradas por uma tag de rastreamento instalada no servidor, na camada da aplicação, pela plataforma da Organic301. Essa coleta gerou 97,85% das linhas; o restante veio de pixel e JavaScript, usados para visitas humanas. Cada linha traz data e hora, URL, user agent, hash do IP e, em parte dos casos, o status HTTP: 7,6% das linhas do Site A e nenhuma do Site B. Na coleta pelo servidor, o hash de IP foi o mesmo em 98,9% das linhas do Site A e em 94,5% das do Site B, provavelmente o endereço de um intermediário de rede, e por isso não pôde ser usado para verificar a origem dos robôs.
2.3 Classificação
Cada requisição foi atribuída a um grupo pelo user agent declarado, a partir dos identificadores públicos que os operadores de robôs documentam:
- Robôs de IA: coleta para treinamento, robôs de busca de assistentes e agentes acionados por pedidos de usuários.
- Buscadores: robôs de busca tradicionais, incluindo um robô auxiliar de um grande buscador que não declara finalidade de IA.
- Outros robôs: ferramentas de SEO e de backlinks, scripts, navegadores automatizados e pré-visualização de links em redes sociais e mensageiros.
- Pré-carregamento do próprio site: o processo de cache do Site B, que requisita as próprias páginas. Foi separado para não inflar os demais grupos.
- Humanos: o restante das visitas marcadas como humanas pela coleta.
A ferramenta de coleta também classifica por comportamento, com sinais como limite de taxa e cabeçalhos incompletos. Esse critério é útil para segurança, mas, no Site A, colocou 55.891 requisições de robôs de IA declarados na categoria de scraper e 510 na de humanos. O artigo Como medir robôs de IA no log sem se enganar detalha essa e outras armadilhas.
2.4 Definições
- URL distinta: caminho sem parâmetros de consulta.
- Página real: URL canônica (terminada em barra) requisitada por ao menos um buscador no período, excluídos caminhos técnicos, arquivos estáticos, feeds, paginação, arquivos por data, categoria e autor, e caminhos de sondagem como painéis de login e arquivos de configuração. Site A: 5.525 páginas reais; Site B: 106.
- Top 50 humano: as 50 páginas reais com mais visitas humanas no período.
- Nível: número de segmentos do caminho. A home é o nível 0; /servico/ é o nível 1; /secao/pagina/ é o nível 2.
2.5 Anonimização
Os sites e os robôs não são identificados. Os robôs aparecem por código e função (Tabela 2). Dois deles pertencem a um mesmo laboratório de IA (laboratório 1) e três a um segundo laboratório (laboratório 2).
3. Resultados
3.1 A IA faz mais requisições que os buscadores
| Grupo | Site A | Site B (sem pré-carregamento) |
|---|---|---|
| Robôs de IA | 71.272 (38,1%) | 1.824 (8,0%) |
| Buscadores | 23.148 (12,4%) | 1.384 (6,1%) |
| Outros robôs | 82.889 (44,3%) | 13.846 (60,6%) |
| Humanos | 9.923 (5,3%) | 5.790 (25,3%) |
| Total | 187.232 | 22.844 |
No Site A, os robôs de IA fizeram 3,1 vezes mais requisições que os buscadores; no Site B, 1,3 vez. Nos dois sites, a IA superou os buscadores em volume, e no Site A ela só ficou atrás do conjunto de outros robôs.
Use este infográfico no seu site
Você pode reproduzir este infográfico desde que mantenha o crédito à Organic301 e o link para o estudo. Copie o código abaixo ou baixe a imagem em alta resolução (1800 × 1550 px).
<figure><a href="https://organic301.com/estudos/robos-de-ia-em-sites/"><img src="https://organic301.com/wp-content/uploads/2026/10/robos-de-ia-em-sites-requisicoes-por-grupo-infografico.png" alt="Infográfico: Robôs de IA já fazem mais requisições que os buscadores (Organic301)" width="1800" height="1550" style="max-width:100%;height:auto"></a><figcaption>Fonte: <a href="https://organic301.com/estudos/robos-de-ia-em-sites/">Robôs de IA em sites: o que 243.186 requisições de log mostram</a>, Organic301 (2026).</figcaption></figure>3.2 Poucos robôs fazem quase todo o volume, e o dominante muda de site
| Código | Função | Site A | Site B |
|---|---|---|---|
| IA1 | Coleta de IA de uma empresa de redes sociais | 47.588 (66,8%) | 3 (0,2%) |
| IA2 | Coleta do laboratório 1 | 21.891 (30,7%) | 609 (33,4%) |
| IA3 | Coleta para treinamento do laboratório 2 | 168 (0,2%) | 18 (1,0%) |
| IA4 | Robô de busca do assistente do laboratório 2 | 238 (0,3%) | 159 (8,7%) |
| IA5 | Agente do laboratório 2 acionado por usuários | 394 (0,6%) | 189 (10,4%) |
| IA6 | Agente e robô de busca do laboratório 1 | 68 (0,1%) | 22 (1,2%) |
| IA7 | Repositório aberto de rastreamento | 700 (1,0%) | 107 (5,9%) |
| IA8 | Coleta de IA de uma plataforma de conteúdo | 164 (0,2%) | 649 (35,6%) |
| IA9 | Buscador conversacional | 23 (0,0%) | 0 |
| IA10 | Buscador com IA | 1 (0,0%) | 66 (3,6%) |
| Outros | Robôs de IA de baixo volume | 37 (0,1%) | 2 (0,1%) |
No Site A, IA1 e IA2 somaram 97,5% das requisições de IA; no Site B, os dois maiores, IA8 e IA2, somaram 69,0%. IA1, que fez dois terços do volume do Site A, fez apenas 3 requisições no Site B. Falar em otimizar “para a IA”, no singular, ignora essa assimetria. O artigo Cada robô de IA lê um site de um jeito descreve o comportamento de cada um.
3.3 A IA leu as páginas que importam
| Indicador | Site A | Site B |
|---|---|---|
| Páginas reais lidas pela IA | 99,8% (5.516 de 5.525) | 91,5% (97 de 106) |
| Páginas reais lidas pela IA nos primeiros 30 dias | 91,8% | 29,2% |
| Top 50 humano lido pela IA | 50 de 50 | 50 de 50 |
| Top 50 humano lido pela IA nos últimos 30 dias | 49 de 50 | 48 de 50 |
| Mediana de dias desde a última leitura de IA (top 50) | 2,9 dias | 8,0 dias |
Nos dois sites, a IA leu todas as 50 páginas mais visitadas por humanos, incluindo todas as páginas de serviço. A diferença entre os sites está no tempo: no Site A, a IA conheceu 91,8% das páginas reais nos primeiros 30 dias, puxada por dois robôs que leram as páginas programáticas em massa; no Site B, conheceu 29,2% em 30 dias e só passou de 90% no fim do período. A home concentrou 16,8% das requisições de IA no Site A e 44,1% no Site B. O artigo A IA lê as páginas que importam? traz a análise completa, incluindo o tempo até a primeira leitura de artigos novos.
3.4 O llms.txt quase não foi lido por IA
No Site B, o llms.txt recebeu 88 requisições em 90 dias: 71 de um único script automatizado, 8 de outras ferramentas, 8 de humanos e 1 de um robô de IA, o repositório aberto de rastreamento (IA7). No Site A, o arquivo não aparece na coleta; no mesmo site, robôs de IA requisitaram o robots.txt 110 vezes. Detalhes em O llms.txt é lido por robôs de IA?
3.5 O robô pode receber outra resposta
No Site A, das 120 requisições de robôs de IA à home com status registrado, 112 receberam erro 404. No mesmo período, nenhuma das 253 pré-visualizações de links à home recebeu 404. O status foi capturado em só 7,6% das linhas, então o dado é um sinal para investigar uma regra de servidor ou de cache, não uma taxa.
3.6 O crescimento da IA no Site B acompanhou o rastreamento em geral
No Site B, as requisições de IA passaram de 297 em junho para 549 em julho e 960 em agosto (até o dia 28), 3,2 vezes mais. No mesmo intervalo, os buscadores cresceram 3,8 vezes e os outros robôs 2,3 vezes. O site ajustou linkagem interna e respostas HTTP nesse período, mas sem grupo de controle o crescimento não pode ser atribuído a essas mudanças.
3.7 O que mudou em relação à primeira leitura
Uma primeira leitura destes dados foi apresentada em um evento nacional de SEO em setembro de 2026. Ela usou a classificação automática da ferramenta de coleta e listas de URLs sem limpeza. A reclassificação pelo user agent e o uso de páginas reais mudaram vários resultados:
| Indicador | Primeira leitura | Este estudo |
|---|---|---|
| Participação da IA nas requisições do Site A | 9,1% | 38,1% |
| Maior robô de IA do Site A | 80% do volume de IA (IA2) | 66,8% (IA1); IA2 com 30,7% |
| Requisições de IA à home, Site A | 36,5% | 16,8% |
| Páginas lidas uma única vez pela IA, Site A | 48,5% das URLs | 14,2% das URLs; 1 de 5.516 páginas reais |
| Cobertura, Site A e Site B | 51,5% e 15% de todas as URLs | 99,8% e 91,5% das páginas reais |
| Top 50 humano lido pela IA, Site A e Site B | 54% e 90% | 100% e 100% |
| Crescimento da IA no Site B, junho a agosto | 5 vezes | 3,2 vezes (buscadores: 3,8 vezes) |
| llms.txt lido por IA, Site B | 1 de 88 | 1 de 88 |
As diferenças vêm de três fontes: robôs de IA classificados como scraper por comportamento; listas de URLs com sondagens, arquivos estáticos e variações sem barra, que inflam o denominador e entram na lista de páginas “mais visitadas”; e tráfego gerado pelo próprio site.
4. Discussão
Os dados contrariam duas ideias comuns. A primeira é a de que a IA é um visitante marginal: no Site A, ela fez mais requisições do que todos os buscadores juntos. A segunda é a de que a IA ignora as páginas importantes: nos dois sites, ela leu todas as páginas mais visitadas e todas as páginas de serviço, e voltou a elas no último mês.
Para uma estratégia de GEO, isso desloca o problema. Nestes dois sites, ser lido não foi o gargalo das páginas principais. Os pontos de atenção foram outros: a resposta que o robô recebe (404 na home), o tempo até uma página atualizada ser relida (mediana de 2,9 dias no Site A e 8,0 no Site B), a descoberta lenta de páginas novas no site menor e o conteúdo das páginas que os agentes de usuários buscam repetidamente, como páginas de serviço e estudos com dados próprios.
A assimetria entre robôs também pesa. O robô que domina um site pode ser irrelevante em outro, e robôs do mesmo laboratório têm funções e comportamentos diferentes. Medir por robô, e não “a IA” como bloco, evita conclusões baseadas em um visitante que não aparece no seu site.
5. Limitações
- Dois sites, ambos do autor, com tamanhos e arquiteturas diferentes. Os resultados descrevem esses casos, não a web.
- Janela de 90 dias, sem efeitos sazonais longos.
- Classificação pelo user agent declarado, sem verificação de origem, porque o hash de IP da coleta pelo servidor não variava. Robôs de IA sem identificador público ficam em “outros robôs”, e 82 requisições usaram nomes de 16 robôs de IA diferentes para procurar arquivos de credenciais, sinal de falsificação.
- Coleta na camada da aplicação: arquivos servidos diretamente pelo servidor web podem não aparecer, o que é compatível com a ausência do robots.txt no Site B e do llms.txt no Site A.
- Status HTTP disponível em 7,6% das linhas do Site A e em nenhuma do Site B.
- O grupo “humanos” ainda contém requisições automatizadas, como pré-busca de navegador e sondagens. Por isso as análises de páginas usam a lista de páginas reais.
6. Conclusão
Nos dois sites estudados, os robôs de IA já superam os buscadores em volume, concentram a leitura em poucos robôs e leem as páginas mais importantes com frequência. O llms.txt quase não foi lido por IA. A maior lição é de método: com classificação por comportamento e listas de URLs sem limpeza, a mesma base de dados indicou uma IA quatro vezes menor e lacunas de cobertura que não existiam.
Artigos da série
- Robôs de IA em sites: o que 243.186 requisições de log mostram (este artigo).
- O llms.txt é lido por robôs de IA? O que 90 dias de log mostram.
- Cada robô de IA lê um site de um jeito: coleta, busca e agentes de usuários.
- A IA lê as páginas que importam? Cobertura de IA medida com dados limpos.
- Como medir robôs de IA no log sem se enganar: seis armadilhas.
Referências
- Aggarwal, P. et al. GEO: Generative Engine Optimization. KDD 2024. arXiv:2311.09735.
- Koster, M. et al. RFC 9309: Robots Exclusion Protocol. IETF, 2022.
- Howard, J. The /llms.txt file (proposta), 2024.
- Organic301. Consultoria e Agência de GEO (Generative Engine Optimization). Diego Gomes, 2026.
Como citar: Gomes, D. (2026). Robôs de IA em sites: o que 243.186 requisições de log mostram. Organic301. https://organic301.com/estudos/robos-de-ia-em-sites/
Sobre o autor: Diego Gomes é fundador da Organic301, especialista em SEO, ASO, GEO e IA aplicada ao marketing. Conheça o trabalho de consultoria e agência de GEO da Organic301.
