Использование Q38FN с dflash2: попробуйте квантование черновых моделей пониженной разрядности

Автор делится опытом оптимизации работы с моделью Qwen 3.8 27B, используя технику dflash2. Наблюдается, что применение черновой модели (draft model) с квантованием Q4 обеспечивает наибольший прирост скорости по сравнению с версиями Q8 или FP16, сохраняя приемлемый уровень принятия токенов.