Запуск DeepSeek V4.1 Flash на RTX 5090: эксперимент с распределением экспертов

Автор успешно запустил модель DeepSeek V4.1 Flash (квантование IQ1_S) на одной видеокарте RTX 5090, используя кастомный движок Basalt. Эксперимент показал декодирование со скоростью 53.6 токенов в секунду, а при использовании второй карты RTX 5060 Ti для вычисления части экспертов скорость выросла до 63.5 токенов в секунду. Это демонстрирует возможности локального запуска крупных Mixture-of-Experts моделей на потребительском железе.