Оптимизация модели MoE на 35B параметров для Tesla P40: 262k контекста и высокая скорость генерации

Автор поделился результатами двухдневной тонкой настройки архитектуры MoE (35B параметров) на видеокарте Tesla P40 с 24 ГБ VRAM. Ключевые улучшения скорости декодирования достигнуты за счет отключения ECC, использования KV-кэша q8_0 вместо q4_0, применения int8 dp4a для ускорения Flash-Attention и оптимизации окна префилла MTP-головы. В результате удалось получить стабильные ~60 токенов/сек на коротких промптах и ~30 токенов/сек при глубоком контексте до 100k токенов без потери качества весов.