Запустил Kimi K3 на одном CPU с 8 ГБ ОЗУ

Разработчик создал кастомный движок инференса на C99 для запуска модели Kimi K3 на CPU без GPU, используя всего 8 ГБ ОЗУ. Архитектура MoE позволяет загружать экспертов с NVMe по требованию, избегая их размещения в памяти, что обеспечивает скорость генерации около 33 токенов в секунду.