Назад к дайджесту
Reddit

Представляем DWARF-55M-Base

Представлена первая модель на базе новой архитектуры DWARF, использующей почти полностью разреженное внимание. В основе лежит механизм DSQG, обеспечивающий O(1) вычислительную сложность и возможность экстраполяции контекста до 6144 токенов. Модель открыта под лицензией Apache 2.0 и доступна для экспериментов.

score 40r/LocalLLaMA