Reddit
capy-flash v0.7.1: запуск Qwen3.8-Flash-Next (125B MoE) на 64 ГБ ОЗУ и Qwen3.8-27B на одной 16 ГБ видеокарте
Вышла версия 0.7.1 движка capy-flash, оптимизированного для инференса моделей Qwen3.8 на потребительских GPU. Теперь модель Flash-Next (125B MoE) работает на 64 ГБ системной памяти с использованием CPU для вычислений «холодных» экспертов, а версия 27B с 3-битным квантованием помещается на одну 16 ГБ видеокарту. Движок поддерживает tensor parallelism для двух GPU и обеспечивает высокую скорость генерации текста.
score 40r/LocalLLaMA