Какой у вас реальный стек для локальных LLM на данный момент?

Автор спрашивает у сообщества о реальных рабочих конфигурациях для запуска локальных LLM, отмечая, что настройка окружения часто важнее самой модели. В обсуждении затрагиваются ключевые технические аспекты: бэкенд, фронтенд, RAG, квантование и использование GPU. Цель — найти стабильные стеки для повседневной работы, а не просто теоретические бенчмарки.