Медленно — значит умно, а умно — значит быстро

Автор делится опытом оптимизации локальных LLM для задач кодирования: использование более высоких квантований (IQ3_S вместо IQ3_XXS) и отключение экспериментальных ускорений привели к снижению скорости генерации токенов, но повысили их смысловую ценность. В результате модель справляется с задачами эффективнее, тратя меньше контекста и времени на выполнение реальных рабочих процессов.