Власти Китая ввели новые правила регулирования ИИ-компаньонов и чат-ботов, чтобы предотвратить развитие эмоциональной зависимости граждан от виртуальных сущностей и решить проблемы социальной изоляции.
Что произошло
Новый регламент запрещает предлагать ИИ-партнеров несовершеннолетним, обязывает технологические платформы ограничивать чрезмерное использование ИИ и требует вмешательства в работу систем, если пользователь находится в тяжелом эмоциональном состоянии. Компании обязаны внедрить механизмы мониторинга эмоционального состояния пользователей в реальном времени.
Контекст
Данные меры направлены на решение масштабных социальных и демографических задач страны, в частности, на борьбу с социальной изоляцией молодежи. Регулятор стремится предотвратить ситуацию, при которой виртуальные отношения замещают реальный рынок брака, тем самым снижая демографические показатели.
Почему это важно для индустрии
Технологическим гигантам, таким как ByteDance, Alibaba и Tencent, потребуется экстренная переработка функционала персональных ИИ-агентов. Разработчикам придется перейти от стратегии максимизации вовлеченности к внедрению жестких систем контроля возраста и эмоционального мониторинга, что может замедлить темпы выпуска новых функций в сегменте эмоционального ИИ.
Почему это важно для пользователей
Пользователям в Китае придется отказаться от формирования глубоких эмоциональных привязанностей к ИИ-сущностям. Глобальный тренд на развитие AI companions может столкнуться с прецедентом прямого государственного вмешательства в цифровую эмоциональную сферу и установления новых стандартов цифрового благополучия.
Что пока неизвестно / ограничения
Регулирование акцентирует внимание на решении широких социальных и демографических задач, что выходит за рамки чисто технических аспектов безопасности моделей.
Источники
Автор
Look at AI, редакция