Разработчик представил nanoGPT-Seis — компактную языковую модель с 113 млн параметров, обученную на специализированных сейсмологических данных. Проект демонстрирует возможность создания высокоэффективных узкоспециализированных решений на базе малых языковых моделей (SLM) с использованием доступного оборудования.
Что произошло
Создана модель nanoGPT-Seis, обученная на корпусе из 822,7 млн токенов. Обучение включало научные статьи из Crossref и arXiv, препринты, а также общие тексты из Wikipedia и FineWeb-Edu для сохранения языковой грамотности. Архитектура модели базируется на современных компонентах: Grouped-Query Attention (GQA), Rotary Position Embeddings (RoPE) и SwiGLU, что обеспечивает поддержку контекста в 4096 токенов.
Контекст
Традиционно для решения сложных научных задач используются гигантские базовые модели, требующие огромных вычислительных мощностей. Проект nanoGPT-Seis предлагает альтернативный путь через создание Small Language Models (SLM), которые фокусируются на конкретном домене знаний, достигая высокой точности за счет тщательного подбора смеси данных (data mix).
Почему это важно для индустрии
Проект подтверждает жизнеспособность стратегии разработки вертикального ИИ (Vertical AI) через создание малых, но глубоко специализированных моделей. Это снижает порог входа для стартапов, позволяя обучать эффективные решения на ограниченном оборудовании (например, 2× NVIDIA A30) вместо использования сверхдорогих вычислительных кластеров, и задает тренд на переход от концепции «чем больше, тем лучше» к специализации на данных.
Почему это важно для пользователей
Для исследователей и разработчиков это практический пример того, как собрать качественную «умную» модель для конкретной научной дисциплины, используя открытые источники и имеющееся в распоряжении среднее серверное оборудование. Это открывает путь к созданию быстрых и дешевых в эксплуатации локальных агентов для медицины, геологии и других узких областей.
Что пока неизвестно / ограничения
Существуют вопросы относительно юридической чистоты использования массивов данных из таких источников, как Crossref, arXiv, Wikipedia и FineWeb-Edu для обучения коммерческих или специализированных моделей.
Источники
Автор
Look at AI, редакция