Reddit
В llama.cpp добавлена поддержка модели Flint (FlintForCausalLM)
В репозиторий llama.cpp интегрирована поддержка новой языковой модели Flint от разработчика Recursive. Это декодерная MoE-архитектура с 39.8 млрд параметров, из которых активно используется около 2.5 млрд на токен, с контекстным окном до 262 144 токенов.
score 55r/LocalLLaMA