💼 Mistral AI представит новую линейку моделей этим летом
CEO Mistral AI Артур Менш объявил о запуске семейства моделей с архитектурой «fat but sparse» (широкое, но разреженное). Использование механизмов Mixture-of-Experts (MoE) позволит сочетать большой объем параметров с высокой эффективностью вычислений. В июле стартует программа раннего доступа для ключевых партнеров.
🌍 Переход к такой архитектуре подтверждает тренд на масштабирование параметров при сохранении эффективности через разреженность, что критически важно для конкуренции с моделями уровня GPT-4/5.
👤 Пользователи получат доступ к моделям, которые обладают знаниями огромных систем, но работают быстрее и дешевле за счет активации лишь части нейронов при каждом запросе.
Источник 1: https://twitter.com/arthurmensch/status/2066913356548542827