Назад к дайджесту
Reddit

Betelgeuse: запуск Qwen 3.8 Flash на DDR4 с RTX 3060 без потери точности

Технология Betelgeuse позволяет запускать большие языковые модели с экспертами (MoE) на системах с ограниченным объемом оперативной памяти, используя асинхронный DMA-кэш. На конфигурации с двумя планками DDR4 по 8 ГБ скорость генерации достигла 24 токенов в секунду при полном сохранении точности вывода по сравнению со стандартными решениями.

score 40r/LocalLLaMA