Мы перестали вручную оптимизировать LLM-стек — теперь он настраивается сам

Автор описывает создание самооптимизирующегося стека LLM, где роутер на основе эмбеддингов выбирает лучшую модель для каждого запроса по реальным данным. Система использует обратную связь для дообучения 7B-модели, достигая 95% качества заявленного GPT-5.1 при 2% стоимости. Автоматическая детекция галлюцинаций и накопление трасс позволяют снижать расходы на 80% за четыре месяца без ручного вмешательства.