💻 KTransformers: запуск сверхкрупных LLM на домашнем железе
Фреймворк KTransformers позволяет запускать и дообучать модели с 100B+ параметров на потребительском железе, используя оперативную память CPU для разгрузки GPU. Оптимизация через kt-kernel обеспечивает высокую производительность даже на одной RTX 5090.
🌍 Технология снижает порог входа для работы с топовыми MoE-моделями, позволяя проводить эффективный инференс и fine-tuning без дорогих серверных GPU-кластеров.
👤 Теперь можно запускать мощнейшие нейросети уровня DeepSeek прямо на домашнем ПК, используя связку видеокарты и процессора.
Источник 1: https://ktransformers.net/en Источник 2: https://github.com/kvcache-ai/ktransformers