Назад к дайджесту
Reddit

В llama.cpp добавлена утилита llama-eval для оценки моделей

В библиотеку llama.cpp интегрирована новая утилита для локальной оценки качества моделей. Инструмент поддерживает стандартные датасеты (AIME, GSM8K, GPQA) и позволяет сравнивать квантования и дообученные версии. Это важный шаг для разработчиков, работающих с открытыми LLM на локальном оборудовании.

score 82r/LocalLLaMA