Нативный инференс LLM и эмбеддингов для PHP

💻 Нативный инференс LLM и эмбеддингов для PHP

Выпущен ext-infer — расширение для PHP 8.3+, позволяющее выполнять инференс LLM и создавать эмбеддинги непосредственно внутри процесса PHP. Инструмент базируется на llama.cpp и использует Rust через ext-php-rs.

🌍 Интеграция локальных моделей в традиционные серверные среды без усложнения инфраструктуры.

👤 Использование LLM (GGUF) нативно, без Python и внешних API.

Источник 1: https://infer.displace.tech Источник 2: https://github.com/DisplaceTech/ext-infer