AI-гиганты поддержали единый отказ от AI-скрапинга в robots.txt

🛡 AI-гиганты поддержали единый отказ от AI-скрапинга в robots.txt

OpenAI, Google, Microsoft и Anthropic поддержат «policy token» — единый отраслевой сигнал opt-out, предложенный Кевином Келли (Anthropic) через IETF. Anthropic уже внедрил его, OpenAI — в ближайшие месяцы, Google и Microsoft — в 2027 году.

🌍 Издателям больше не нужен отдельный opt-out для каждого провайдера — одной записи хватит для нескольких. Это шаг к гармонизации с EU AI Act, где robots.txt признан основным способом выражения предпочтений.

👤 Сайты одной записью в robots.txt смогут запретить обучение моделей на своём контенте, отдельным параметром — grounding (использование как источника ответов). Meta поддержала идею, но соблюдать сигнал пока не подтвердила.

Источник 1: https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out Источник 2: https://openai.com/index/helping-websites-express-ai-training-preferences/