Reddit
Разброс точности на 22% у 4B-модели: единственная переменная — дизайн системы оценки
Проведена аблиция на задаче классификации инцидентов Kubernetes с использованием одной и той же замёрзшей модели на 4 млрд параметров. Единственным изменяемым фактором стала структура промпта и управление контекстом, что дало разброс точности от 60% до 82%. Вывод: низкие показатели часто обусловлены плохим дизайном системы, а не качеством модели.
score 40r/LocalLLaMA