Студия Aarambh: LLM на чистом Rust без Python

Проект представляет собой декодерную языковую модель, созданную с нуля на чистом Rust с использованием фреймворка Candle. Архитектура включает Gated DeltaNet, разреженное внимание и MoE, поддерживая понимание видео и документов, а также работу с инструментами. Модель масштабируется от 25M до 1.3B параметров с обучением, учитывающим квантование.