DeepSeek-V4-Flash: 17.20 токенов/сек на RTX A6000 с 256 ГБ ОЗУ

Пользователь поделился результатами запуска квантованной модели DeepSeek-V4-Flash на RTX A6000. Скорость инференса достигла 17.20 токенов в секунду, а 48 ГБ VRAM позволили загрузить контекст до 1 миллиона токенов. Оптимизация размера батча до 8096 существенно ускорила обработку промптов.