Использование «режима кода» (code mode) позволяет значительно повысить надежность работы компактных языковых моделей при вызове инструментов, предлагая им писать полноценный исполняемый код вместо генерации сложных JSON-схем.
Что произошло
Вместо использования традиционных методов вызова функций через строгие JSON-сигнатуры, небольшим LLM-моделям предлагается генерировать код на Python или TypeScript для взаимодействия с API или системной оболочкой. Такой подход, используемый в programmatic tool calling (например, в решениях Anthropic), позволяет моделям применять свои развитые навыки написания кода для выполнения задач, что снижает количество синтаксических ошибок при работе с инструментами.
Контекст
Малые языковые модели часто испытывают трудности с соблюдением жестких форматов JSON-схем, что приводит к ошибкам в вызове функций. Однако те же модели обычно показывают высокую точность при написании стандартного программного кода. Переход к генерации исполняемого кода позволяет использовать сильные стороны моделей в области программирования для компенсации их слабостей в структурированном выводе данных.
Почему это важно для индустрии
Для индустрии это означает смену парадигмы: от проектирования сложных JSON-интерфейсов к созданию безопасных сред исполнения кода (sandboxes). Это позволяет использовать более легкие, дешевые и быстрые модели в сложных агентских сценариях, которые ранее требовали мощных проприетарных систем уровня GPT-4 или Claude 3.5 Sonnet.
Почему это важно для пользователей
Разработчикам AI-агентов этот метод открывает возможность оптимизировать стоимость и скорость систем. Можно заменить дорогие API на компактные open-source решения или локальные модели без потери качества выполнения задач, перенося выполнение функций с мощных моделей на более эффективные и специализированные малые модели.
Что пока неизвестно / ограничения
Критическим риском остается необходимость обеспечения безопасности и строгого контроля при исполнении сгенерированного кода в рабочей среде.
Источники
Автор
Look at AI, редакция