Тест локальных LLM для разгрузки Hermes Agent: сравнение Qwen и GLM на RTX 3080

Автор провел эксперимент по подключению локальных языковых моделей Qwen и GLM к агенту Hermes Agent для снижения нагрузки на облачные лимиты ChatGPT. Тестирование на домашнем ПК с RTX 3080 и 32 ГБ RAM включало сравнение архитектурных задач, редактуры и извлечения данных с разными квантованиями. Несмотря на успешное подключение, получить качество ответов, сопоставимое с облачными решениями, и подтвердить экономическую выгоду не удалось.