Лимиты питания, локальный ИИ и вопросы, которые я задаю себе в свободное время

Автор делится результатами тестирования влияния лимитов мощности GPU (от 100 до 220 Вт) на производительность локальных LLM. В ходе эксперимента на базе RTX 3070 и Ollama измерялись метрики скорости генерации токенов и энергоэффективность при запуске различных моделей.