Назад к дайджесту
Reddit

Дилемма модели на 1,02 трлн параметров: MiMo-V2.5-Pro открыт. Стоит ли запускать самому, если API стоит $70 за 387 млн токенов?

Xiaomi открыла исходный код модели MiMo-V2.5-Pro с 1,02 трлн параметров и архитектурой MoE. Автор использовал API для автономной разработки SaaS-продукта, достигнув 96% попадания в кэш и затратив всего $70 за 387 млн токенов. Материал сравнивает стоимость самохостинга с экстремально дешёвым облачным использованием благодаря кэшированию.

score 24r/LocalLLaMA