💻 Представлен SALT (Salience-Aware Lexical Trie) — инструмент для эффективного сжатия длинного контекста в LLM.
Вместо простого выбора наиболее релевантных предложений, SALT строит лексическое дерево (trie) на основе ключевых тем документа. Это позволяет эффективно распределять бюджет токенов между различными темами и предотвращает «коллапс тем» (theme collapse), сохраняя важные детали в длинных диалогах.
🌍 Технология предлагает новый подход к управлению контекстом (KV-cache), позволяя эффективно работать с длинными документами при ограниченном бюджете токенов, сохраняя семантическое разнообразие.
👤 Позволяет использовать возможности LLM на длинных текстах более экономно и точно, не теряя важные нюансы повествования.
Источник 1: https://github.com/oteomamo/SALT Источник 2: https://arxiv.org/abs/2607.17486