DeepSeek V4 Flash разогнали до 1328 токенов/сек на одной RTX PRO 6000

Энтузиаст оптимизировал инференс модели DeepSeek-V4-Flash-0731 в инструменте Krasis, достигнув скорости префилла 1328 токенов/сек и ~29 токенов/сек при генерации на одной GPU RTX PRO 6000 96GB. Использовалось INT4-квантование экспертов с гибридным хранением: горячие эксперты в VRAM, остальные — в системной памяти.