Назад к дайджесту
Reddit

Разделение роутера и воркера снизило p95-латентность на 47% и утроило кэш-чтения

DeepSeek представила прототип Super-agent, где отдельный роутер распределяет запросы между воркерами. Эксперименты показали снижение медианного времени выполнения на 47% по сравнению с базовым вариантом, однако это потребовало почти четырехкратного увеличения объема кэш-чтений токенов.

score 40r/OpenAI