CLEAR измерила налог на токенизатор в разных языках

🤖 CLEAR измерила налог на токенизатор в разных языках

Объединение CLEAR 29 сентября опубликовало исследование The Tokenizer Tax: токенизаторы LLM, обученные в основном на английском, дробят текст других языков на больше токенов, а API берёт деньги за токен — тот же смысл стоит дороже. На FLORES-200 у GPT-5 фраза — 13 токенов на английском, 26 на малаялам, 78 на амхарском.

🌍 По шкале max/min единственную A получает NLLB-200 от Meta (2.7x), Gemini — B (5.1x), GPT-5 и gpt-oss — F (13.8x), у Falcon 3 разброс 17x. Метрику можно публиковать в model cards, расширять словари и нормировать цены.

👤 Для RAG и агентов на LLM-API с неанглийскими документами стоимость и эффективная длина контекста зависят от языка промптов. Замер одной фразы — иллюстрация, для смет нужны распределения.

Источник 1: https://clear-languages.org/blog/the-tokenizer-tax Источник 2: https://restofworld.org/2026/ai-tokenizer-tax-non-english-languages-cost-inequity/