Обучил 0.5M-параметрическую модель на 1 млрд токенов Fineweb-edu

Автор представил обновлённую версию архитектуры Silia — модель на 0.5 млн параметров, обученную на 1 млрд токенов Fineweb-edu. В релизе добавлены бенчмарки и оптимизации внимания (MLA, HydraHead, AFT) для снижения вычислительных затрат. Код и веса модели открыты в репозиториях на HuggingFace и GitHub.