Компания Thinking Machines Lab выпустила Inkling — масштабную мультимодальную модель с открытыми весами, основанную на архитектуре Mixture-of-Experts (MoE). Новинка предлагает уникальный подход к обработке данных и управлению вычислительными ресурсами через механизм контролируемого «усилия мышления».
Что произошло
Была представлена архитектура Inkling, основная версия которой насчитывает 975 млрд параметров (41 млрд активных при каждом проходе). Также выпущена уменьшенная версия Inkling-Small с 276 млрд параметров (12 млрд активных). Модель поддерживает контекстное окно объемом до 1 млн токенов и обладает нативной мультимодальностью: она обрабатывает аудио через dMel-спектрограммы, а также работает с видео и изображениями без использования внешних энкодеров.
Контекст
Разработка опирается на архитектуру Mixture-of-Experts (MoE), что позволяет эффективно масштабировать количество параметров, сохраняя относительно низкие затраты на инференс за счет активации лишь части нейронов. В отличие от многих мультимодальных систем, использующих отдельные предобученные модели-энкодеры для разных типов данных, Inkling стремится к бесшовной интеграции аудио и визуальных потоков непосредственно в общую архитектуру.
Почему это важно для индустрии
Появление крупной open-weights модели с нативной мультимодальностью усиливает конкуренцию с проприетарными API от OpenAI и Google. Инновационный механизм controllable thinking effort позволяет разработчикам гибко балансировать между точностью ответов и стоимостью генерации, что критически важно для создания масштабируемых автономных агентских систем.
Почему это важно для пользователей
Пользователи получают доступ к мощному инструменту, который можно настраивать под конкретные задачи и бюджеты, регулируя глубину размышлений модели. Inkling также демонстрирует продвинутые возможности в области самообучения (self-finetuning) и агентского кодинга, что расширяет сценарии ее практического применения.
Что пока неизвестно / ограничения
Существует риск, что технологические преимущества архитектуры не оправдают затраты на внедрение, если текущие бенчмарки Inkling действительно уступают существующим open-source SOTA-решениям. Для production-использования требуются дополнительные данные по latency, стоимости инференса и подтверждение сопоставимости производительности с лидерами рынка.
Источники
Автор
Look at AI, редакция