Назад к дайджесту
Reddit

В llama.cpp добавлена поддержка модели Flint (FlintForCausalLM)

В репозиторий llama.cpp интегрирована поддержка новой языковой модели Flint от разработчика Recursive. Это декодерная MoE-архитектура с 39.8 млрд параметров, из которых активно используется около 2.5 млрд на токен, с контекстным окном до 262 144 токенов.

score 55r/LocalLLaMA