Настройка локального ИИ: выбор фреймворков и моделей для RTX 3090

Автор обсуждает оптимальную ОС и стек для запуска LLM на домашнем сервере с RTX 3090. Сравнивает производительность Ollama, Unsloth и llama.cpp, а также ищет подходящие модели для 24 ГБ VRAM в задачах кодинга и анализа PDF.