🤖 Почему ИИ хуже работает на неанглийских языках
Разрыв в качестве работы LLM связан не с лингвистикой, а с техническими факторами: распределением обучающих данных, неэффективностью токенизаторов и нехваткой instruction-tuning. Плохая токенизация делает использование моделей на других языках в 3–4 раза дороже и сокращает эффективное окно контекста, а точность retrieval может падать на 29%.
🌍 Проблема требует перехода от универсальных моделей к региональным решениям или перераспределения ресурсов на обучение токенизаторов и дообучение инструкциям для менее представленных языков.
👤 Для лучшего результата используйте английские промпты для логики, запрашивая ответ на целевом языке. Учитывайте, что стоимость API и объем доступного контекста для неанглийских текстов будут выше и меньше соответственно.
Источник 1: https://artifipedia.com/blog/multilingual-ai