Запуск DeepSeek-V4.1-Flash на восьми V100: скорость 200+ токенов/с в коде и контекст 524K

Автор демонстрирует успешный запуск модели DeepSeek-V4.1-Flash на восьми видеокартах NVIDIA V100 2018 года с полным удержанием весов в VRAM. Модель обеспечивает скорость генерации более 200 токенов в секунду при написании кода и около 110 токенов в секунду для юридических текстов, поддерживая контекстное окно до 524 тысяч токенов. Это решение позволяет заменить дорогие фронтенд-модели в большинстве рабочих процессов LLM, сохраняя высокую производительность.