Лауреат премии Тьюринга Ян Лекун (Yann LeCun) и основатель AMI Labs предложил перейти от текущих больших языковых моделей (LLM) к архитектуре «Мировых моделей» (World Models), способных понимать физическую реальность через абстрактные представления.

image
image

Что произошло

Ян Лекун представил концепцию перехода от авторегрессионного предсказания токенов к архитектуре Joint Embedding Predictive Architecture (JEPA). Вместо генерации каждого пикселя или слова, модель должна предсказывать абстрактные представления реальности. В рамках подхода предлагается использование механизмов Model Predictive Control (MPC) для планирования и методов регуляризации, таких как SIGReg, для предотвращения коллапса представлений и обеспечения физического «здравого смысла».

Контекст

Современные LLM ограничены отсутствием понимания физических законов и неэффективным использованием данных. Текущая парадигма генеративных моделей фокусируется на текстоцентричных задачах, в то время как для создания по-настоящему автономных систем требуется способность взаимодействовать с окружающим миром через внутренние модели устройства этого мира.

Почему это важно для индустрии

Смена парадигмы с генеративных моделей на предсказательные архитектуры JEPA может решить проблему неэффективности данных и отсутствия физического контекста у нейросетей. Это открывает путь к созданию более адаптивных систем, способных обучаться так же эффективно, как живые организмы, и может сделать текущие Transformer-based LLM менее конкурентоспособными в задачах, требующих взаимодействия с физическим миром.

Почему это важно для пользователей

Для разработчиков и исследователей это сигнал о том, что будущее ИИ может лежать не в простом масштабировании языковых моделей, а в создании систем, обладающих «здравым смыслом». Это критически важно для прогресса в области робототехники, автономных систем и создания агентов, способных к долгосрочному планированию в неструктурированных средах.

Что пока неизвестно / ограничения

На данный момент концепция остается высокоуровневой исследовательской идеей. В индустрии отсутствуют готовые production-решения, стандартизированные API, инструменты для промышленного внедрения (inference engines) и бенчмарки для оценки задержки (latency) и стоимости (cost) таких моделей.

Источники

Автор

Look at AI, редакция