Reddit
Ternary Bonsai 2 теперь полностью работает в ik_llama.cpp: нативная поддержка CUDA и быстрая обработка на CPU
В репозиторий ik_llama.cpp добавлена полная нативная поддержка модели Ternary Bonsai 2, включая CUDA-ядра для PQ2_0 и скрипт бесшовной конвертации весов. Это устраняет проблемы с отладкой слоев на GPU и ускоряет обработку промптов на CPU благодаря новому формату интерливинга.
score 55r/LocalLLaMA