Новый оптимизатор Rose: экономия VRAM, простота и Apache 2.0

Разработчик представил новый оптимизатор для PyTorch под названием Rose, который позиционируется как стейтлесс-решение с низким потреблением памяти. Инструмент обещает быструю сходимость и лучшую обобщающую способность по сравнению с AdamW8bit. Код открыт под лицензией Apache 2.0 с готовыми примерами интеграции.