Мы точно справимся: опыт настройки локального ИИ на двух RTX 3090

Автор отчитывается о запуске локальных LLM на двух видеокартах RTX 3090, используя патчи Sonnet для исправления ошибок. После перехода на Ubuntu он достиг скорости 113 токенов в секунду и 4000 prompt tokens в секунду, успешно тестируя модель Qwen 3.6 27b для кода и задач.