Назад к дайджесту
GitHub

Hummingbird: лёгкий рантайм для MoE-моделей

Hummingbird — это лёгкий рантайм без зависимостей для запуска больших открытых MoE-моделей. Он объединяет SSD, RAM и VRAM в единую иерархию памяти, позволяя инференс моделей вроде GPT-OSS 120B и Qwen на обычном потребительском железе.

5111 forksCscore 86.9
c17high-performance-computingmemory-managementllmdeepseekartificial-intelligenceqwentransformerscross-platformsystems-programming