Федеральная торговая комиссия США (FTC) выпустила программное заявление, запрещающее разработчикам ИИ скрыто подменять точность ответов моделей идеологическими или социально-политическими целями без явного уведомления пользователей.
Что произошло
Согласно новому заявлению FTC, манипулирование результатами работы моделей (steering) ради соблюдения определенных социальных или политических стандартов (например, законов штатов о «справедливости») без раскрытия этого факта пользователю является введением в заблуждение. При этом технические галлюцинации не классифицируются как нарушение, если компания честно сообщает о вероятности их возникновения.
Контекст
Данная инициатива направлена на реализацию Раздела 5 Закона о FTC. Она создает юридическое противоречие между федеральными требованиями к прозрачности и законами отдельных штатов, таких как Колорадо, которые могут навязывать внедрение специфических фильтров контента.
Почему это важно для индустрии
Разработчикам LLM придется пересмотреть методы обучения (RLHF, fine-tuning) и системного промптинга, чтобы избежать скрытого управления выдачей. Это потребует внедрения новых инструментов наблюдаемости (observability) и создания стандартизированных протоколов прозрачности в API для передачи флагов о специфических настройках модели.
Почему это важно для пользователей
Пользователи получат более прозрачные инструменты: компании будут обязаны открыто сообщать, если их ИИ настроен на соблюдение определенных социальных или политических приоритетов в ущерб «сухой» фактической точности.
Что пока неизвестно / ограничения
Инженерное сообщество отмечает сложности в создании пайплайнов оценки (evals), способных эффективно измерять степень скрытого управления (steering) и корректность его раскрытия.
Источники
Автор
Look at AI, редакция