Фork llama.cpp: квантование QFN и специфичное железо дают невероятную, но невоспроизводимую скорость

Пользователь Reddit сообщает о форке библиотеки llama.cpp, который обеспечивает выдающуюся производительность при использовании квантования QFN на специфичной аппаратной конфигурации. Отмечается, что результаты сложно воспроизвести на других системах, что указывает на узкую оптимизацию под конкретное железо.