Как я запустил 32B-модель и улучшил её качество в два раза на RTX 3050

Автор создал форк популярной библиотеки llama.cpp, чтобы оптимизировать запуск больших языковых моделей на потребительском железе. Ему удалось запустить модель с 32 миллиардами параметров на видеокарте RTX 3050 и заявить о двукратном улучшении её качества работы.