Запуск DeepSeek v4 Flash (4-бит) на M5 Air: ~50 токенов/сек при префилле, ~1 токенов/сек при генерации

Энтузиаст оптимизировал запуск 300-миллиардной модели DeepSeek v4 Flash на MacBook Air 32GB с помощью квантования 4-бит и техники streamed experts. Эксперимент показал возможность сокращения количества экспертов при префилле без критической потери качества KV-кэша.