Эксперимент: запуск 1.56 ТБ MoE-модели на ноутбуке с RTX 4050 и 6 ГБ VRAM

Автор протестировал запуск гигантской MoE-модели весом 1.56 ТБ на бюджетном ноутбуке с 6 ГБ видеопамяти. Для этого пришлось модифицировать движок для стриминга весов с NVMe SSD, так как стандартная конфигурация вызывала нехватку памяти. Скорость генерации составила около 0.1 токена в секунду, что демонстрирует пределы оптимизации инференса на слабом оборудовании.