capy-flash: запуск Qwen3.8-Flash-Next (125B MoE) в формате NVFP4 на двух потребительских GPU по 16 ГБ

Проект capy-flash демонстрирует возможность запуска крупной модели Qwen3.8-Flash-Next с 125 миллиардами параметров в квантованном формате NVFP4 на двух видеокартах RTX 5070 Ti. Решение использует тензорное параллелизм и выгрузку экспертов в оперативную память, обеспечивая скорость генерации около 100 токенов в секунду. Автор также делится техническим инсайтом о влиянии точности накопления сумм при тензорном параллелизме на качество результатов.