Reddit
Мой путь в локальном ИИ: от Ollama до кастомных батников
Автор делится личным опытом настройки локальных языковых моделей на слабом железе, начиная с Ollama и LM Studio и заканчивая использованием Oobabooga WebUI, KoboldCPP и Llamafile. В тексте подробно описывается эволюция инструментов для ролевой игры с ИИ и методы оптимизации запуска моделей Llama на старых ПК с помощью скриптов.
score 40r/LocalLLaMA