Reddit
Почему наивная косинусная маршрутизация терпит неудачу: использование поглощающих цепей Маркова для триажа намерений за <2 мс
Автор предлагает метод маршрутизации запросов, заменяющий прямое вычисление косинусного сходства на проекцию эмбеддингов на многообразие домена с решением поглощающих цепей Маркова на GPU. Этот подход позволяет точно классифицировать намерения (например, отличать проблемы с базой данных от платежей) за доли миллисекунды, не обращаясь к большой языковой модели, и демонстрирует высокую точность на бенчмарке JevBench.
score 40r/LocalLLaMA