Сравнение локальных и проприетарных LLM: влияние фреймворка на производительность моделей

Автор публикует результаты бенчмарка, сравнивающего различные фреймворки (harnesses) и квантованные модели на локальном оборудовании RTX 5090. Исследование показывает, что выбор фреймворка критически влияет на точность и скорость: одни и те же модели могут показывать разброс результатов от 22% до 96% в зависимости от используемого ПО. Также подтверждается возможность локального запуска моделей, сопоставимых по качеству с проприетарными решениями, такими как Claude Code.