Специализация словаря малых языковых моделей снижает затраты на инференс на 77%

Исследование демонстрирует, что адаптация словаря малых языковых моделей (SLM) под конкретные задачи позволяет существенно сократить вычислительные ресурсы. Оптимизация лексикона приводит к снижению стоимости инференса в реальных приложениях на 77% без потери качества.