Одинаковые веса LLM — разные ответы на MacBook и Jetson

💻 Одинаковые веса LLM — разные ответы на MacBook и Jetson

Kernwerk прогнал один и тот же файл весов Qwen2.5-1.5B-Instruct на обеих системах: сводно разница до 0,5 п.п., но 18 из 250 ответов GSM8K различаются. В int8 меняется 53,2% ответов и балл падает на 11,2 пункта (частично — квантизация TensorRT-LLM). Из-за неассоциативного FP-суммирования при почти равных логитах ответ «переворачивается».

🌍 Бенчмарк с другой машины не гарантирует ответы на целевой плате: нужны тесты движка на устройстве и поштучная сверка. Работа NeurIPS 2026 (FloatDoor) показывает вектор атаки: LoRA-адаптер заставляет Qwen3-8B писать уязвимый код в 49% программ на A100 против 16% на H200.

👤 Одинаковые веса на разном железе дают разные ответы — особенно при int8. Проверяйте ответы на целевом устройстве, а не по баллам с чужой машины.

Источник 1: https://kernwerk.org/blog/same-model-different-board/ Источник 2: https://news.ycombinator.com/item?id=50109547