Reddit
Разделение роутера и воркера снизило p95-латентность на 47% и утроило кэш-чтения
DeepSeek представила прототип Super-agent, где отдельный роутер распределяет запросы между воркерами. Эксперименты показали снижение медианного времени выполнения на 47% по сравнению с базовым вариантом, однако это потребовало почти четырехкратного увеличения объема кэш-чтений токенов.
score 40r/OpenAI