GitHub
Hummingbird: лёгкий рантайм для MoE-моделей
Hummingbird — это лёгкий рантайм без зависимостей для запуска больших открытых MoE-моделей. Он объединяет SSD, RAM и VRAM в единую иерархию памяти, позволяя инференс моделей вроде GPT-OSS 120B и Qwen на обычном потребительском железе.
5111 forksCscore 86.9
c17high-performance-computingmemory-managementllmdeepseekartificial-intelligenceqwentransformerscross-platformsystems-programming