Назад к дайджесту
Reddit

Обучение первой маленькой языковой модели для замены облачного API

Автор заменил медленный вызов Gemini Flash локальной SLM, обученной на 2500 примерах с помощью двух фронтальных моделей. Модель размером 50 МБ работает на CPU за 0.06 секунды с точностью 97%, что приемлемо для высокочастотного использования в интерфейсе. Процесс обучения занял 15 минут на GPU RTX A6000.

score 40r/LocalLLaMA