Бенчмарк качества англо-русского перевода для ведущих западных и китайских LLM

Представлен бенчмарк для оценки качества художественного перевода, встроенный в опенсурсный конвейер BookTrans. Он сравнивает ведущие западные модели Anthropic, OpenAI и Google с китайскими LLM. Авторы выясняют, можно ли сэкономить, используя китайские модели, без потери качества.