Reddit
Реальная скорость prefill — 1400 ток/с, decode — не 60 ток/с: сравнение 5 форков Strix Halo с Qwen3.8 Flash-Next
Автор тестирует пять форков GGUF для Strix Halo с моделью Qwen3.8 Flash-Next и приходит к выводу, что ключевое различие между сборками — скорость prefill, а не decode. Лучшие результаты показывает форк Nathan's toolbox (15-18/19 баллов в агент-бенчмарке, быстрый prefill), а закрытый форк halogen достигает 1246-1424 ток/с prefill, но уступает по качеству и гибкости. Рекомендуется отключать драфтер для точных повторных запусков.
score 40r/LocalLLaMA