OpenAI, Google, Microsoft и Anthropic объявили о поддержке единого отраслевого сигнала opt-out от AI-скрапинга, встроенного в привычный файл robots.txt. Механизм под названием policy token — единый токен предпочтений — предложен через рабочую группу AIPREF в IETF и заменяет набор правил для краулеров каждого провайдера одной записью. Работающая поддержка сегодня есть только у Anthropic, OpenAI обещает реализацию в ближайшие месяцы, Google и Microsoft — в 2027 году.
Что произошло
Четыре крупнейших разработчика AI публично поддержали единый машиночитаемый сигнал, с помощью которого сайт может запретить использование своего контента для обучения моделей. Механизм — «policy token», единый токен предпочтений — внесёл Kevin Kelley, технический руководитель по стандартам в Anthropic, через рабочую группу AIPREF в IETF: черновик draft-kelley-aipref-training-preference-signal-00 «Machine-Readable Training Preference Signal» обновлён 30 октября 2026 года. Из четырёх компаний работающая поддержка сейчас существует только у Anthropic, чьи краулеры уже обязаны уважать сигнал; OpenAI обещает реализацию «в ближайшие месяцы», то есть пока это обещание, а не действующий механизм, а Google и Microsoft планируют внедрение в 2027 году. Microsoft дополнительно заменяет теги NoArchive и NoCache на два независимых параметра: AI Training, регулирующий обучение моделей, и AI Grounding, регулирующий использование контента как источника для генерации ответов. Для этой реформы Microsoft назвала четыре даты: 15 декабря 2026 года в Bing Webmaster Tools открываются переходные настройки, 1 февраля 2027 года механизм вступает в силу, 1 марта 2027 года — дедлайн миграции сайтов с NoArchive и NoCache, а 30 сентября 2027 года истекают временные настройки grounding.
Контекст
До этого предложения издателю, желавшему закрыть контент от AI-систем, приходилось настраивать правила отдельно для каждого провайдера, перечисляя краулеров по одному в User-Agent; новый сигнал сводит этот набор к одному токену, действующему сразу для нескольких компаний. Движение к общему формату подстёгивается и регулированием: в EU AI Act и Code of Practice для провайдеров GPAI файл robots.txt уже признан основным способом выражения предпочтений сайта, так что стандарт закрывает не только проблему удобства, но и будущие регуляторные требования. Методологическая основа реформы — разведение двух принципиально разных операций в ML-пайплайне: training меняет параметры модели, тогда как grounding означает обращение к контенту как к цитируемому источнику при формировании ответа. Само предложение — это протокольная и координационная работа, где системная ценность выше научной новизны.
Почему это важно для индустрии
Для отрасли главная выгода — снижение транзакционных издержек управления правами на контент: вместо отдельной политики для каждого AI-провайдера появляется единый машиночитаемый слой и перекрёстный механизм контроля между компаниями. Вокруг токена возникает новое направление инструментов: парсеры, валидаторы, CMS-плагины, сервисы миграции и аналитики, а для бизнеса закладывается фундамент рынка AI-лицензирования и compliance-решений. Командам, собирающим данные для обучения, предстоит сделать разбор и соблюдение сигнала частью пайплайна и помечать источники, которые теперь закрыты, — для Anthropic это уже актуально, потому что её поддержка активна. Стартапы получили незанятое окно: карта того, кто и как соблюдает сигнал, ещё не построена, и её создание само по себе продуктивная задача. Прямого эффекта на стоимость и задержку инференса нет — это механизм управления данными, а не оптимизация моделей.
Почему это важно для пользователей
Если вы ведёте сайт или блог, уже сегодня можно одной записью в robots.txt с User-Agent __usage_ai-training запретить использование вашего контента для обучения моделей Anthropic, а отдельным параметром — ограничить grounding. Обычный поиск Bing и Google от этих настроек не зависит, поэтому видимость в поисковой выдаче сохраняется. Для большинства сайтов практических изменений до конца года не будет: поддержка OpenAI остаётся обещанием, а Google и Microsoft подключатся только в 2027 году. Владельцам, использующим теги NoArchive и NoCache, предстоит миграция на новые параметры Microsoft — переходные настройки в Bing Webmaster Tools рассчитаны на то, чтобы дать на это время, а временные настройки grounding будут действовать ограниченный срок.
Что пока неизвестно / ограничения
Анонс поддержки — не то же самое, что внедрение, а внедрение — не то же самое, что проверяемое поведение. Соблюдение сигнала при обучении моделей внешне не верифицируемо: проверочного API и логов не существует, а наблюдение возможно только на уровне краулинга, например через canary-страницы и мониторинг fetch-поведения. Стандарт не покрывает повторное использование уже собранных корпусов, производные датасеты и дистилляцию, так что речь идёт лишь о будущих сборах данных. Показательный штрих — Meta, которая поддержала идею, но не подтвердила, что технически будет соблюдать токен: сила механизма зависит от обязательств участников, а не от протокола. Неизвестно, станет ли стандарт фактической нормой для остальных провайдеров, появится ли независимый рынок проверок соответствия и как поведут себя компании, не участвовавшие в анонсе.
Источники
- The biggest names in AI are backing a new way to opt out of scraping — The Verge (Emma Roth)
- Making it easier for websites to express AI training preferences — OpenAI
- Supporting a shared AI training control for websites — Google Search Central Blog (John Mueller)
Автор
Look at AI, редакция