Назад к дайджесту
Reddit

Обновление: нативный бэкенд для обучения трансформеров на Rust и Vulkan — 14 верифицированных архитектур и полная поддержка PEFT

Автор обновляет статус собственного бэкенда для обучения нейросетей, написанного на Rust с использованием Vulkan. Теперь поддерживается 14 архитектур, включая Falcon, DeepSeek и Qwen, с абсолютной ошибкой градиентов не более 2e-7 по сравнению с эталонной реализацией Hugging Face Transformers. Ключевое нововведение — полностью рабочая поддержка PEFT (включая LoRA) с экспортом адаптеров, совместимых с экосистемой Hugging Face.

score 40r/LocalLLaMA