Запуск 748-миллиардной модели DeepSeek-V4.1-Flash на ПК за 2000 евро

Автор протестировал запуск квантованной до 1 бита модели DeepSeek-V4.1-Flash (748B параметров) на домашнем ПК с RTX 3090. С использованием оптимизаций llama.cpp и Unsloth удалось достичь скорости 7,2 токена в секунду, хотя практическая польза модели была оценена как низкая.