Reddit
Дилемма модели на 1,02 трлн параметров: MiMo-V2.5-Pro открыт. Стоит ли запускать самому, если API стоит $70 за 387 млн токенов?
Xiaomi открыла исходный код модели MiMo-V2.5-Pro с 1,02 трлн параметров и архитектурой MoE. Автор использовал API для автономной разработки SaaS-продукта, достигнув 96% попадания в кэш и затратив всего $70 за 387 млн токенов. Материал сравнивает стоимость самохостинга с экстремально дешёвым облачным использованием благодаря кэшированию.
score 24r/LocalLLaMA