Reddit
Обновление Delta Inference Engine v0.93: запуск DeepSeek-V4.1-Flash на RTX 3090 с оптимизацией Unsloth
Выпущено крупное обновление движка Delta Inference Engine, поддерживающее работу с 64–192 ГБ оперативной памяти и новые квантованные модели Unsloth. Версия UD-IQ2_XXS обеспечивает скорость 41 токен/с на RTX 3090, демонстрируя качество, близкое к полной API-версии модели, при этом сокращая время ожидания первого токена на 40%.
score 40r/LocalLLaMA