Потоковый тензорный движок с учётом весов: запуск Kimi K3 в 29 ГБ ОЗУ со скоростью 0.5 токена в секунду

Разработчик представил новый потоковый тензорный движок, оптимизированный для работы с весами нейросетей, позволяющий запускать модель Kimi K3 в 29 ГБ оперативной памяти. Технология обеспечивает генерацию текста со скоростью 0.5 токена в секунду, что делает возможным инференс на ограниченном оборудовании. Это решение демонстрирует методы оптимизации памяти для больших языковых моделей.