Назад к дайджесту
Reddit

Обновление: бэкенд обучения трансформеров на Rust + Vulkan, 14 верифицированных архитектур и полная поддержка PEFT

Автор отчитывается о прогрессе в разработке бэкенда для обучения нейросетей на Rust с использованием Vulkan. Достигнута поддержка 14 архитектур (включая Falcon, Qwen, Mistral) с абсолютной ошибкой градиентов не более 2e-7, а также реализован полный цикл работы с PEFT-адаптерами (LoRA) совместимыми с Hugging Face.

score 40r/singularity