🚀 Новая парадигма PSM для ускорения механизмов внимания в LLM
Разработана архитектура Active State-machine Memory Architecture (ASMA) на базе Persistent State Machine (PSM). Она позволяет перенести вычисления непосредственно в ячейки памяти, что потенциально снижает трафик системной шины на 99,47% и энергопотребление на 99,0% по сравнению с GPU при использовании INT4 точности.
🌍 Это решение фундаментальной проблемы «стены памяти» (memory wall), когда передача KV-кеша между DRAM и процессором потребляет в тысячи раз больше энергии, чем сами вычисления. Технология открывает путь к созданию сверхэффективных чипов для инференса с огромным контекстом.
👤 Теоретический прорыв в архитектуре ИИ-ускорителей может привести к появлению устройств, способных запускать мощные модели локально с минимальным расходом заряда батареи и огромной скоростью генерации.
Источник 1: https://zenodo.org/records/21679919