Reddit
При каких условиях оптимизацию инференса можно считать нейтральной по качеству?
Обсуждается сравнение производительности модели NVIDIA Ling-3.0-flash на DGX Spark с использованием оптимизаций FP8, NEXTN speculative decoding и изменения бэкенда MoE. Автор спрашивает, какие метрики и методы валидации (парные сравнения, повторные запуски, допуск по ошибке) необходимы для подтверждения того, что технические улучшения не привели к значимой деградации качества ответов модели.
score 40r/MachineLearning