Инженеры Томас Димсон (ex-OpenAI) и Джоуи Флинн запустили веб-сервис In the Weights, который позволяет оценить, насколько глубоко информация о конкретных людях или компаниях запечатлена в весах популярных больших языковых моделей, таких как GPT, Claude, Gemini и Llama.
Что произошло
Платформа In the Weights делает прямые запросы к нейросетям в изолированной среде без доступа к интернету. Это позволяет исключить влияние веб-поиска и RAG (Retrieval-Augmented Generation), фокусируясь исключительно на параметрической памяти моделей. На основе полученных ответов система рассчитывает скоринг, отражающий вероятность присутствия определенных данных в обучающих датасетах.
Контекст
Метод оценки позволяет изолировать знания, заложенные непосредственно в веса (parametric memory). Проект демонстрирует сложность процесса machine unlearning — удаления данных из параметров моделей, так как информация, попавшая в веса, становится практически неизвлекаемой из цифрового следа.
Почему это важно для индустрии
Проект служит инструментом для аудита агрессивных методов скрейпинга данных крупными корпорациями. Он открывает возможности для формирования новых рыночных ниш на стыке AI-аудита данных, управления репутацией и кибербезопасности, а также позволяет оценивать степень загрязнения моделей чувствительной информацией.
Почему это важно для пользователей
Появление такой метрики может превратить присутствие в памяти ИИ в новый показатель публичной значимости, сопоставимый с SEO, но работающий на уровне фундаментальных знаний нейросетей. Это дает пользователям инструмент для первичного аудита утечек персональных данных и проверки того, насколько бренды интегрированы в базовые знания ИИ.
Что пока неизвестно / ограничения
Существует различие в оценке готовности инструмента: эксперты расходятся во мнениях, является ли он чисто исследовательским инструментом (eval tool) или же базой для коммерческих систем автоматизированного контроля приватности и LLM-SEO.
Источники
Автор
Look at AI, редакция