Назад к дайджесту
Reddit

UkisAI: оптимизация Swift GLM5.3 и Ornith 9B — снижение потребления токенов до 57,7% при потере точности менее 1%

Команда UkisAI представила оптимизированные версии моделей Swift GLM-5.3-Flash и Swift Ornith 9B, снизившие использование токенов на 61,4% и 33,5% соответственно без существенной потери точности. Метод включает выявление и штрафование токенов, связанных с избыточным размышлением, а также дообучение через RL и дистилляцию для адаптации к более сжатому формату вывода.

score 40r/LocalLLaMA