wici-ai/inferssd: Запуск больших моделей через потоковую передачу экспертов MoE с SSD

Проект позволяет запускать модели, превышающие объем оперативной или видеопамяти, путем потоковой загрузки экспертов смешанной архитектуры (MoE) непосредственно с SSD. Решение построено на базе llama.cpp и ориентировано на оптимизацию использования ресурсов при инференсе.