Пользователь Max Jendrall продемонстрировал возможность развертывания локальной языковой модели Gemma 4B непосредственно в изолированной среде (sandbox) ChatGPT, используя нестандартные методы обхода сетевых ограничений.

image

Что произошло

В ходе эксперимента была успешно запущена модель Gemma 4B внутри виртуальной машины ChatGPT. Для преодоления блокировок при загрузке весов с Hugging Face использовался метод ChatGPT Sites в качестве прокси-сервера. Проверка подтвердила, что вычислительная среда, доступная платным пользователям, обладает ресурсами в 15 ГБ RAM и 9 ядрами CPU, что достаточно для инференса легковесных моделей в формате GGUF.

Контекст

Традиционно песочницы LLM воспринимаются как инструменты для выполнения фрагментов кода (Code Interpreter) или обработки текста. Однако данный технический хак показывает, что существующая инфраструктура ChatGPT может функционировать как полноценная runtime-среда, позволяющая запускать стороннее специализированное программное обеспечение.

Почему это важно для индустрии

Это открытие подчеркивает потенциал облачных песочниц LLM как полноценных сред исполнения для автономных ИИ-агентов. Вместо того чтобы просто генерировать текст, агенты смогут развертывать специализированный софт и управлять сложными вычислительными процессами внутри защищенного облачного контура, что может привести к появлению концепции AI-операционных систем.

Почему это важно для пользователей

Для продвинутых пользователей и разработчиков это означает возможность использовать вычислительные мощности ChatGPT в качестве временной рабочей станции для запуска малых моделей или выполнения сложных программных задач, превращая чат-бота из простого интерфейса в полноценный инструмент для автоматизации.

Что пока неизвестно / ограничения

Метод на данный момент является техническим хаком и непригоден для промышленного использования (production) из-за эфемерности среды, где данные и состояние системы очищаются после завершения сессии, а также из-за отсутствия стабильного API для управления этим процессом.

Источники

Автор

Look at AI, редакция