Reddit
Обучение первой маленькой языковой модели для замены облачного API
Автор заменил медленный вызов Gemini Flash локальной SLM, обученной на 2500 примерах с помощью двух фронтальных моделей. Модель размером 50 МБ работает на CPU за 0.06 секунды с точностью 97%, что приемлемо для высокочастотного использования в интерфейсе. Процесс обучения занял 15 минут на GPU RTX A6000.
score 40r/LocalLLaMA