Обучение LLM за $315: Tessera 1B от AIIT-THRESHOLD

🤖 Обучение LLM за $315: Tessera 1B от AIIT-THRESHOLD

Группа AIIT-THRESHOLD представила Tessera 1B — языковую модель объемом ~1 млрд параметров, обученную с нуля на архитектуре ProtoGPT. Обучение заняло около 146 часов на одной NVIDIA H100 (80GB) и обошлось примерно в $315.

🌍 Проект доказывает, что качественные базовые модели можно создавать с минимальными затратами, используя чистые данные вместо огромных массивов синтетического шума. Это открывает путь к эффективному специализированному fine-tuning.

👤 Это пример того, как энтузиасты могут создавать серьезные AI-инструменты с крайне низким бюджетом. Модель служит отличным фундаментом для разработки узкоспециализированных ИИ-помощников.

Источник 1: https://huggingface.co/AIIT-Threshold/Tessera-1B