DeepSeek V4 Flash: 32 токена в секунду на AMD Ryzen AI MAX+ 395

Разработчики успешно запустили модель DeepSeek V4 Flash на потребительском процессоре AMD Ryzen AI MAX+ 395 с 128 ГБ объединённой памяти, достигнув скорости генерации до 32 токенов в секунду. Для этого использовалась кастомная квантовизация ROCmFPX с битрейтом около 2.88 бита на параметр, что позволило уместить 102 ГБ весов в доступную память. Код решения открыт под лицензией Apache-2.0 и доступен для повторения.