Рекурсивный llama.cpp на RTX 3050: тесты Qwen 32B и 7B — прирост качества в 3 раза и затраты памяти

Авторы исследуют форк llama.cpp с рекурсивным механизмом на видеокарте RTX 3050. Сравнение моделей Qwen 32B и 7B Coder выявило трёхкратный прирост качества генерации. Статья оценивает баланс между эффективностью и потреблением памяти для локального запуска.