llama.cpp: путь от скепсиса к локальному ИИ

Автор делится опытом использования локальных LLM, начиная с Mistral Nemo и заканчивая Magistral Small 3.2. В тексте описывается переход на мощное железо (RTX 5060 Ti) для оптимизации работы с llama.cpp и SillyTavern, а также обсуждение перспектив поддержки тензорного параллелизма.