Домашний ИИ на Tesla V100: запуск больших моделей в 2026 году

Автор исследует возможность использования старой серверной видеокарты Tesla V100 на 32 ГБ для запуска локальных языковых моделей. Статья демонстрирует, что на этом оборудовании можно развернуть модели объемом до 30 миллиардов параметров, а с оптимизациями — до 120 миллиардов, и приводит результаты замеров производительности.