Создана специализированная LLM nanoGPT-Seis для сейсмологии

🌋 Создана специализированная LLM nanoGPT-Seis для сейсмологии

Разработчик представил nanoGPT-Seis — модель с 113 млн параметров, обученную с нуля на сейсмологических данных и научных корпусах. Архитектура включает GQA, RoPE и SwiGLU для работы с контекстом в 4096 токенов.

🌍 Проект доказывает эффективность создания узкоспециализированных малых моделей (SLM) через тщательный подбор смеси данных (data mix), обеспечивая высокую точность при низких затратах.

👤 Это пример создания качественной модели для науки на доступном оборудовании (2× NVIDIA A30).

Источник 1: https://github.com/jiazhe868/nanogpt-seis