Зачем использовать облачные LLM для маршрутизации вызовов инструментов? Тестирование локальных CPU-эмбеддингов против BM25 на 100 тыс. инструментов

Автор исследует альтернативу отправке JSON-схем инструментов в промпт LLM для выбора функции, предлагая использовать локальные векторные индексы на CPU. Тестирование на 100 тысячах инструментов показало, что метод локальных эмбеддингов превосходит BM25 по точности (70,7% против 40,4%) и значительно выигрывает по задержке (9,56 мс против 194 мс).