Запуск Mistral Medium 128B (квантование Q3_K_M) на трёх RTX 3090: тест производительности

Автор делится результатами локального запуска квантованной модели Mistral Medium (128 млрд параметров) на трёх видеокартах RTX 3090 с общим объёмом памяти 72 ГБ. В материале показаны примеры генерации Python-кода, SVG и HTML с замерами скорости работы. Практический обзор для сообщества, интересующегося развёртыванием больших языковых моделей на собственном железе.