Betelgeuse: Запуск Qwen 3.8 Flash Next со скоростью 22 токена/с на RTX 3060 12GB без потери качества

Разработчик представил Betelgeuse — форк llama.cpp, позволяющий запускать 68-гигабайтную MoE-модель Qwen 3.8 Flash Next на бюджетном железе (RTX 3060 12GB + 16GB RAM). В отличие от предыдущих экспериментов с отсечением экспертов, новый метод обеспечивает 100% битовую точность и стабильную скорость генерации около 22 токенов в секунду, избегая проблем с подкачкой памяти.