Я обучил модель на 0.5 млн параметров на 1 млрд токенов Fineweb-edu

Независимый исследователь представил архитектуру Silia v2 — нейросеть на 0.5 млн параметров, обученную на 1 млрд токенов. В обновлении использованы методы MLA от DeepSeek и Attention Free Transformer от Apple, модель протестирована на бенчмарках HellaSwag, PIQA и LAMBADA. Код и веса выложены в открытый доступ на HuggingFace и GitHub.