Reddit
Несоответствия в результатах LiveCodeBench для Unsloth
Автор анализирует внезапное улучшение всех квантованных моделей Unsloth и базового Q8 на бенчмарке LiveCodeBench v6 на 2–3%. Статистический анализ показывает, что вероятность такого одновременного скачка при неизменной истинной вероятности успеха составляет около 1 к миллиарду, что указывает на возможную методологическую ошибку или манипуляцию с данными.
score 40r/LocalLLaMA