Назад к дайджесту
Reddit

Обновление форка ik_llama.cpp и поиск обратной связи

Автор представляет обновление форка библиотеки llama.cpp, оптимизированного для моделей с архитектурой MoE. Тестирование на RTX 2060 показало высокую скорость генерации (45–48 токенов в секунду) и префила (430–700 токенов в секунду). Разработчик не планирует слияние с основной веткой без достаточной обратной связи и тестирования на другом оборудовании.

score 55r/LocalLLaMA