Массовое использование генеративного ИИ для создания детских энциклопедий привело к появлению пугающего контента с искаженной анатомией и сюрреалистичными биологическими артефактами, известного как боди-хоррор.
Что произошло
Автор блога lcamtuf обнаружил на Amazon наводнение детских обучающих книг, созданных с помощью нейросетей. Из-за стремления издателей к радикальному снижению затрат при сохранении высокого спроса на подарочную литературу, процесс генерации изображений осуществляется без надлежащего контроля, что приводит к появлению визуальных галлюцинаций: искаженных тел, лишних конечностей и других деструктивных анатомических ошибок.
Контекст
Проблема обусловлена критическим разрывом между лингвистическими способностями современных LLM и визуальной точностью генеративных моделей. В то время как текстовая составляющая книг может выглядеть логично, визуальный ряд демонстрирует неспособность моделей соблюдать биологические и анатомические стандарты в специализированных образовательных нишах.
Почему это важно для индустрии
Для индустрии это сигнал о неготовности текущих unsupervised workflow к созданию образовательного контента без жестких систем оценки (evals). Наблюдается острая необходимость в переходе от простой генерации к контролируемым архитектурам, таким как ControlNet, и внедрении специализированных инструментов визуального контроля качества (Visual QA) и многоагентных систем, где один агент выступает критиком анатомической корректности.
Почему это важно для пользователей
Для читателей и родителей это означает риск столкнуться с низкокачественным и визуально деструктивным контентом под видом полезных книг. Это подрывает доверие к ИИ-продуктам в образовательном секторе и требует повышенной бдительности при выборе литературы, созданной с применением генеративных технологий.
Что пока неизвестно / ограничения
Текущие метрики оценки моделей могут не учитывать специфические требования к точности в узкоспециализированных визуальных доменах, что затрудняет автоматическую фильтрацию подобного контента.
Источники
Автор
Look at AI, редакция