Есть ли что покруче LoRA?

💻 Есть ли что покруче LoRA?

Hugging Face провел бенчмаркинг методов эффективного дообучения (PEFT), показав, что LoRA не всегда является оптимальным выбором. Метод OFT продемонстрировал более высокую точность и меньшее потребление VRAM при генерации изображений (модель FLUX.2), а в задачах для LLM (Llama-3.2-3B) метод Lily показал лучшую точность (54.9%) по сравнению с ванильной LoRA (48.1%).

🌍 Разработчики могут оптимизировать использование вычислительных ресурсов, выбирая методы под конкретные задачи (точность vs память), вместо слепого следования индустриальному стандарту LoRA.

👤 Вы можете достичь лучшего качества моделей или сэкономить видеопамять, используя альтернативные адаптеры (OFT, DoRA, Lily) через стандартную библиотеку PEFT.

Источник 1: https://huggingface.co/blog/peft-beyond-lora

Источник 2: https://github.com/huggingface/peft