Os estudos da Organic301 usam dados próprios para responder perguntas que costumam ser respondidas com opinião: quanto os robôs de IA leem um site, quais páginas eles visitam e o que funciona para ser encontrado por eles.
A primeira série analisa 90 dias de log de dois sites, com 243.186 requisições. Ela cobre a participação dos robôs de IA no tráfego, a cobertura das páginas, o comportamento de cada robô, o uso do llms.txt e as armadilhas da medição.
Cada estudo traz a metodologia e os números. Os infográficos podem ser citados com link para a fonte.
5 matérias
Na mesma base de 243 mil requisições, a classificação por comportamento escondeu 79% das requisições de IA, listas sem limpeza criaram lacunas falsas e o tráfego do próprio site inflou os outros robôs.
· Diego Gomes
Com dados limpos, robôs de IA leram as 50 páginas mais visitadas de dois sites e 99,8% das páginas reais do maior. O gargalo foi o tempo: no site menor, a IA levou três meses para passar de 90% de cobertura.
· Diego Gomes
Análise de 73.096 requisições de robôs de IA em dois sites mostra quatro comportamentos distintos: coleta em massa com releitura, exploração em rajadas, varredura única e agentes que voltam às páginas de serviço.
· Diego Gomes
Em 90 dias, o llms.txt de um blog recebeu 88 requisições: 71 de um único script, 8 de humanos e 1 de robô de IA. No mesmo período, robôs de IA leram o robots.txt de outro site 110 vezes.
· Diego Gomes
Estudo com 90 dias de log de dois sites: robôs de IA já fazem 38% das requisições do site maior, três vezes mais que os buscadores, leem as páginas mais visitadas e quase ignoram o llms.txt.
· Diego Gomes
