Эксплуатация LLM-шлюза в продакшене: ноды, отказы и обновления

Статья описывает практический опыт эксплуатации open-source LLM-шлюза KTMS на Go. Рассматриваются вопросы подключения собственных GPU, обработки сбоев зависимостей, ротации ключей шифрования и бесшовных обновлений без простоя.