Пользователь RTX 3090 для локального запуска LLM: выбор моделей для реверс-инжиниринга и серверной инфраструктуры

Автор делится опытом настройки сервера на базе RTX 3090 (24 ГБ) для запуска локальных языковых моделей и систем распознавания речи. Он ищет рекомендации по моделям для кодинга и реверс-инжиниринга, которые помещаются в память, а также по бэкендам для headless-сервинга с динамической подгрузкой весов.