Google, junto com Anthropic, OpenAI e Microsoft, aderiu a um novo sistema de controle de raspagem de conteúdo web para treinamento de inteligência artificial (IA). Este sistema, baseado em um novo direcionamento robots.txt, permitirá que os proprietários de sites especifiquem suas preferências sobre o uso de seu conteúdo por empresas de IA.

O direcionamento robots.txt proposto, escrito pelo técnico de padrões da Anthropic, Kevin Kelley, será adotado pela IETF, organização de padronização aberta da internet. Ele permite que os publicadores especifiquem uma nova seção no arquivo robots.txt para AI treinamento, que terá a seguinte estrutura:

Configuração do direcionamento

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Esta configuração bloqueará raspadores específicos destinados a coletar dados para treinamento de IA. A seção 'Allow' dá aos proprietários de sites a opção de permitir o raspagem de partes específicas da página para treinamento de IA, como um kit de mídia de imprensa. No entanto, esta nova seção não impedirá o raspamento total ou a exibição do conteúdo em buscas do Google.

Google interpretará esta configuração como um sinal de parada específico para o 'Google-Extended', que raspa sites para materiais usados no treinamento do modelo Gemini. É importante notar que este direcionamento não pode desfazer raspamentos anteriores feitos pelas empresas. Se uma página já foi raspada anteriormente, o conteúdo já está disponível.

A Anthropic já está suportando o novo direcionamento, enquanto a Microsoft planeja começar a suportá-lo a partir de 1º de fevereiro de 2027. Google afirmou que adotará o novo sistema em janeiro de 2027, e a OpenAI promete implementar o novo sinal nos próximos meses.