🤖 Детали реализации GigaChat 3.5 Ultra
Sber представил GigaChat 3.5 Ultra — модель с 432B параметрами, обученную в формате FP8. Архитектура сочетает MLA с линейными слоями GatedDeltaNet, что сокращает использование KV-кеша в 4 раза и увеличивает контекст в 2.14 раза. Внедрение MTP-голов повысило скорость генерации в 2.2 раза.
🌍 Гибридная архитектура и использование FP8 задают новый стандарт эффективности для сверхбольших моделей, позволяя снизить затраты памяти и задержки (latency) при инференсе.
👤 Пользователи получают доступ к мощной open-source модели (MIT) с высокой скоростью работы, которая превосходит аналоги в математике и кодинге.
Источник 1: https://habr.com/ru/companies/sberbank/articles/1055826/ Источник 2: https://huggingface.co/collections/ai-sage/gigachat-35