Дообучение сверхмалой LLM для классификации вопросов

🤖 Дообучение сверхмалой LLM для классификации вопросов

Использование сверхмалой локальной модели Qwen 0.6B с методом QLoRA через фреймворк Unsloth позволило поднять точность классификации вопросов в RAG-системе с 10% до 92%. Ключевой успех достигнут за счет замены текстовых названий категорий на «непрозрачные» двухбуквенные ID (например, AA, BB), что минимизирует семантическую путаницу.

🌍 Это демонстрирует возможность использования экстремально малых моделей (SLM) для специализированных задач препроцессинга, что существенно снижает затраты на вычислительные ресурсы в RAG-системах без потери качества.

👤 Для разработчиков это эффективный хак: замена сложных текстовых ответов на простые токены-метки значительно повышает стабильность работы даже самых маленьких моделей.

Источник 1: https://www.teachmecoolstuff.com/viewarticle/fine-tuning-a-local-llm-to-categorize-questions