🤖 EPFL представили MODUS — универсальную мультимодальную модель
Разработанная на базе BAGEL-7B, архитектура decoder-only использует двух экспертов: 1D-эксперта для дискретных токенов и 2D-эксперта для пространственных данных. Модель поддерживает 16 модальностей и позволяет выстраивать цепочки преобразований.
🌍 MODUS упрощает архитектуру ИИ, заменяя сложные системы с множеством энкодеров единым унифицированным декодером.
👤 Это делает ИИ более гибким: можно превратить текст в карту глубин, а затем на её основе создать реалистичное изображение.
Источник 1: https://modus-multimodal.epfl.ch/ Источник 2: https://github.com/EPFL-VILAB/Modus