Бесплатный инструмент для расчета окупаемости кэширования промптов и порогов безубыточности облачных GPU

Разработчик представил open-source сервис ModelAnalysis.si, который помогает оценить экономическую эффективность использования различных языковых моделей. Инструмент рассчитывает необходимый объем VRAM с учетом квантования, моделирует расходы на API с учетом кэширования и определяет точку безубыточности между использованием облачных API и арендой spot-GPU.