Сравнение CPU-рантаймов для битовых моделей: BitNet, Bonsai и ik_llama.cpp

Автор провёл тестирование низкобитовых GGUF-моделей (1-2 бита) на CPU, сравнивая выходные данные с эталонными значениями. Выявлено, что оригинальный bitnet.cpp выдает некорректные результаты из-за ошибок в активациях, в то время как Bonsai 1.7B работает верно на всех платформах. ik_llama.cpp с флагом -rtr показал наибольшую скорость обработки промптов.