Назад к дайджесту
Reddit

capy-flash v0.7.1: запуск Qwen3.8-Flash-Next (125B MoE) на 64 ГБ ОЗУ и Qwen3.8-27B на одной 16 ГБ видеокарте

Вышла версия 0.7.1 движка capy-flash, оптимизированного для инференса моделей Qwen3.8 на потребительских GPU. Теперь модель Flash-Next (125B MoE) работает на 64 ГБ системной памяти с использованием CPU для вычислений «холодных» экспертов, а версия 27B с 3-битным квантованием помещается на одну 16 ГБ видеокарту. Движок поддерживает tensor parallelism для двух GPU и обеспечивает высокую скорость генерации текста.

score 40r/LocalLLaMA