DeepSeek V4.1 Flash в квантовании 2.61 bpw: запуск на двух RTX 3090 со скоростью 26 токенов/с

Автор демонстрирует работу модели DeepSeek-V4.1-Flash с экстремальным квантованием (2.61 bpw) с использованием движка dsx. На конфигурации из двух видеокарт RTX 3090 достигается скорость генерации 26 токенов в секунду при контексте 262K, что позволяет эффективно использовать модель для программирования и агентных задач на потребительском железе.