Грегори Курцер — создатель Rocky Linux, CentOS и Apptainer — запустил проект OpenWALDO (Open Weights, Artifacts, Licenses, Data, Origins), который делает тренировочные данные для ИИ такими же проверяемыми, как исходный код в Git-репозитории. Проект предоставляет публичный корпус из 124 миллиардов токенов и вводит стандарт AI Bill of Materials для отслеживания происхождения данных.

image
image

Что произошло

Курцер запустил OpenWALDO как open-source проект для создания общей и проверяемой инфраструктуры тренировочных данных. Публичный корпус включает 124 миллиарда токенов, 75,1 миллиона документов и 20 коллекций, разбитых на 1051 шард с 18 типами лицензий. Ключевая инновация проекта — AI Bill of Materials (BOM): неизменяемый документ, отслеживающий источники, лицензии, криптографические хеши данных и полную историю от набора данных до выпущенной модели. Метаданные хранятся в Git с обязательным Developer Certificate of Origin (DCO), бинарные данные — в контент-адресном хранилище в формате Parquet. Коммерческим спонсором выступает CIQ (Ctrl IQ Inc.), также основанная Курцером, но управление остаётся за сообществом.

Контекст

MIT Data Provenance Initiative зафиксировала системную проблему тренировочных данных: более 70% наудированных наборов данных не содержат информации о лицензиях, более 50% имеют ошибки лицензирования. Отрасль столкнулась с чёрным ящиком: невозможно проследить, откуда взяты данные для обучения модели, какие лицензии на них действуют и как данные трансформировались. Концептуально AI Bill of Materials аналогичен SBOM/SPDX в программной инженерии — но адаптирован для ML-данных. Использование Git с DCO для метаданных и Parquet для бинарных данных обеспечивает криптографически проверяемую историю изменений и columnar-эффективность хранения. Курцер имеет проверенный трек-рекорд создания устойчивых open-source инфраструктур: Rocky Linux стал одной из самых распространённых Linux-дистрибуций после прекращения поддержки CentOS.

Почему это важно для индустрии

OpenWALDO предлагает общепринятый стандарт прозрачности: вместо того чтобы каждая команда с нуля скрапила и собирала данные, отрасль получает общую проверенную базу с криптографическими хешами и юридически проверяемой цепочкой происхождения. Это может стать основой для регуляторного комплаенса и снижения рисков model collapse — деградации моделей при обучении на синтетических данных. Для стартапов входной барьер для работы с качественными данными резко снижается. При широком принятии OpenWALDO создаст проверяемый граф происхождения данных для всей отрасли, позволяя автоматизировать лицензионный комплаенс и строить reproducible research pipeline от датасета до модели. Концепция BOM может стать де-факто стандартом описания provenance для open-source моделей — аналогично тому, как SPDX стал стандартом для SBOM.

Почему это важно для пользователей

Это первый проект, который делает тренировочные данные проверяемыми, как код в GitHub. OpenWALDO не создаёт модели, а строит фундамент под ними: можно взять публичный корпус как чистую базу, добавить собственные данные и получить полностью аудируемый стек. Публичный корпус сразу пригоден как источник чистых, проверенных данных для fine-tuning и RAG-корпусов. Репозитории доступны на GitHub (openwaldo/waldo-index и openwaldo/waldo), документация — на openwaldo.org, сообщество — в Slack. Исследователи могут начать аудировать лицензии и источники своих существующих наборов данных, используя BOM как эталонную структуру.

Что пока неизвестно / ограничения

Текущий корпус в 124 миллиардов токенов недостаточен для pretraining современных моделей уровня SOTA — практическая ценность сейчас ограничена fine-tuning и RAG. AI Bill of Materials сам по себе не делает данные легальными: BOM не заменяет полноценный лицензионный аудит. Нет информации о скорости доступа к данным, API latency и throughput хранилища. Ключевой вопрос будущего — скорость принятия стандарта сообществом: потребуются интеграции с Hugging Face и другими реестрами, а также инструменты автоматической генерации BOM. Существует риск фрагментации, если конкурирующие стандарты provenance начнут развиваться параллельно.

Источники

Автор

Look at AI, редакция