Разработчик представил проект millfolio, предлагающий новую архитектуру взаимодействия с искусственным интеллектом, где конфиденциальность обеспечивается за счет разделения процесса планирования в облаке и непосредственного исполнения кода на локальном устройстве пользователя.

Что произошло

Проект millfolio реализует концепцию 'local-first' AI. Вместо отправки файлов в облачную модель, система передает в облако только обезличенную схему данных (метаданные). На основе этой схемы фронтир-модель (например, Claude) генерирует программу (код), которая затем отправляется на устройство пользователя. Исполнение кода происходит в локальной песочнице на Mac, где локальная модель обрабатывает реальные значения данных. Технологический стек включает язык Mojo и кастомные Metal-кернелы для высокопроизводительного инференса на GPU.

Контекст

Традиционные методы использования больших языковых моделей часто требуют передачи чувствительных документов в облако для их анализа. Это создает риски утечки персональной или корпоративной информации. Подход 'send the program to your data' (отправить программу к данным, а не данные к модели) меняет стандарт взаимодействия с LLM, делая упор на приватность через гибридную схему.

Почему это важно для индустрии

Проект демонстрирует жизнеспособность архитектуры, разделяющей облачное планирование (cloud-based reasoning) и локальное исполнение (local execution). Это открывает путь к созданию безопасных персональных AI-агентов и может привести к переходу от чисто облачных RAG-систем к гибридным моделям, которые станут стандартом для обработки конфиденциальных данных. Кроме того, использование Mojo для оптимизации инференса на потребительском железе подтверждает потенциал этого языка для развития AI-инфраструктуры.

Почему это важно для пользователей

Для обычных пользователей это означает возможность использовать мощные возможности таких моделей, как Claude, для глубокого анализа личных заметок, финансовых отчетов или других приватных документов без риска их загрузки в интернет. В облако уходят только названия столбцов и типы данных, что существенно повышает уровень защиты личной информации.

Что пока неизвестно / ограничения

Специалисты указывают на отсутствие конкретных данных по задержкам (latency), масштабируемости системы и сложности её интеграции с существующими корпоративными системами.

Источники

Автор

Look at AI, редакция