125 токенов в секунду на RTX 4070 Ti SUPER: как запустить локальную LLM в качестве кодинг-агента

Автор описывает оптимизацию локального запуска больших языковых моделей на видеокарте RTX 4070 Ti SUPER с 16 ГБ памяти. Удалось достичь скорости генерации 125 токенов в секунду, что позволяет использовать модель как полноценного кодинг-агента, в то время как стандартные настройки для умных моделей давали лишь 10–20 токенов в секунду.