Новый фреймворк KTransformers открывает возможность запускать и дообучать нейросети с более чем 100 миллиардами параметров, используя обычные домашние компьютеры за счет эффективного сочетания ресурсов GPU и CPU.
Что произошло
Разработан фреймворк KTransformers для гетерогенных вычислений, оптимизированный под инференс и Supervised Fine-Tuning (SFT) масштабных моделей. Технология позволяет использовать оперативную память CPU для разгрузки видеопамяти (VRAM) GPU, что дает возможность работать с такими моделями, как DeepSeek-V3/R1 и Qwen, на системах с ограниченными ресурсами, например, на одной видеокарте RTX 5090 с 32GB VRAM. Высокая производительность достигается за счет использования специализированных оптимизированных ядер kt-kernel.
Контекст
Для работы современных моделей архитектуры Mixture-of-Experts (MoE) объемом более 100B параметров обычно требуются дорогостоящие серверные GPU-кластеры из-за огромных требований к видеопамяти. KTransformers меняет этот подход, предлагая гибридную схему распределения нагрузки между процессором и видеокартой.
Почему это важно для индустрии
Технология радикально снижает экономические барьеры для R&D и прототипирования. Она позволяет компаниям и малым командам проводить эффективный инференс и полный fine-tuning топовых open-source моделей без необходимости аренды или покупки массивных вычислительных мощностей, что может привести к стандартизации гетерогенного инференса в open-source экосистеме.
Почему это важно для пользователей
Индивидуальные разработчики и энтузиасты получают доступ к демократизации топовых нейросетей. Теперь можно тестировать, запускать и дообучать мощнейшие модели уровня DeepSeek локально на персональных станциях, используя комбинацию имеющегося процессора и видеокарты.
Что пока неизвестно / ограничения
Существует различие в оценке масштаба влияния: технические специалисты фокусируются на эффективности распределения ресурсов, в то время как бизнес-роли подчеркивают изменение экономики разработки и радикальное снижение затрат.
Источники
Автор
Look at AI, редакция