Запуск 35B MoE-моделей на Tesla K80 (2014) со скоростью ~21 токен/с на чистом C

Разработчик представил движок вывода Pantheon на базе библиотеки Foundry, написанные на чистом C без внешних зависимостей. Система поддерживает устаревшие GPU Kepler (например, Tesla K80), обеспечивая скорость декодирования около 21 токена в секунду для моделей типа Qwen3.6-35B-A3B при использовании всего 8 ГБ системной памяти.