💻 Адвокат запустил DeepSeek V4.1 Flash на восьми б/у Nvidia V100

Ник Мермиджес из Южной Каролины добавил в сервер 1 ТБ RAM и RTX 3090, устранив краши заменой БП. 5 949 «горячих» экспертов MoE из 15 360 работают в 4-битном NVFP4, остальные — в 2-бит: контекст вырос до 524K, совпадение токенов с эталонной NVFP4-версией — 95,1%.

🌍 Смешанное квантование — «горячие» эксперты в NVFP4, «холодные» в 2-бит — позволяет держать крупную MoE-модель на старом Volta-железе, удешевляя локальный инференс там, где данные не должны покидать офис.

👤 Запас точности мал: 8 из 513 ответов всё ещё расходятся, а юридические тексты медленнее на 9–23% — без проверки человеком рискованно.

Источник 1: https://www.tomshardware.com/tech-industry/artificial-intelligence/lawyer-upgrades-eight-v100-private-ai-server-to-run-80-percent-of-deepseek-v4-1-flash-at-4-bit-nvfp4-precision-adds-1tb-of-ram-an-nvidia-rtx-3090-and-fixes-crashes-caused-by-a-bad-psu