Разработчики представили ext-infer — расширение для PHP 8.3+, которое позволяет выполнять инференс языковых моделей и генерировать эмбеддинги непосредственно внутри процесса PHP, избавляя от необходимости использования сторонних Python-микросервисов.

image

Что произошло

Выпущено расширение ext-infer, базирующееся на llama.cpp и использующее Rust через ext-php-rs для обеспечения высокой производительности. Инструмент позволяет реализовывать RAG-пайплайны и семантический поиск нативно, поддерживая модели в формате GGUF прямо в среде PHP.

Контекст

Традиционно интеграция LLM в веб-приложения требует развертывания дополнительных инфраструктурных слоев, таких как Python-сервисы или обращение к внешним API. Ext-infer стремится децентрализовать AI-стек, позволяя использовать возможности современных моделей в рамках стандартного веб-стека.

Почему это важно для индустрии

Для индустрии это важный шаг к децентрализации AI-инфраструктуры. Веб-языки, такие как PHP, получают возможность становиться полноценными участниками AI-экосистемы, интегрируя локальный инференс без усложнения архитектуры дополнительными микросервисами.

Почему это важно для пользователей

PHP-разработчики получают инструмент для быстрой интеграции AI-функций с минимальными задержками. Это упрощает прототипирование RAG-систем и позволяет запускать локальные модели на стандартных веб-серверах без необходимости настройки сложного Python-окружения или оплаты за внешние API.

Источники

Автор

Look at AI, редакция