Запуск 85-ГБ модели DeepSeek-V4-Flash на RTX 3060 с 12 ГБ видеопамяти с помощью Overspill

Разработчик представил инструмент Overspill, позволяющий запускать крупные MoE-модели, не помещающиеся в оперативную память, за счет использования диска как дополнительного уровня хранения. На базе FreeToken и с вдохновением от Colibri удалось достичь скорости около 3 токенов в секунду при использовании 12 ГБ VRAM и 64 ГБ DDR5 RAM.