🤖 Дообучение LLM научили распределять параметры по слоям
Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на EMNLP 2026 метод SimplexLoRA для дообучения LLM. Он сам решает, каким слоям нужны крупные адаптеры, и обучает по обычной схеме LoRA. На 12 задачах и четырёх моделях, включая Llama 3.1 8B и Qwen3-8B, качество — сопоставимое или выше, чем у стандартной LoRA, при том же числе параметров.
🌍 Стандартная LoRA даёт всем слоям адаптеры одного размера, хотя вклад слоёв разный. Перераспределение фиксированного бюджета параметров повышает отдачу без роста стоимости инференса.
👤 Если вы дообучаете LLM под свои задачи, метод может дать лучшее качество при том же бюджете. Код открыт на GitHub; совместимость с LoRA-пайплайнами — заявления авторов, независимой проверки не было.
Источник 1: https://github.com/brain-lab-research/SimplexLoRA Источник 2: https://www.cnews.ru/news/line/2026-10-26_v_mfti_obuchili_nejroset