NVIDIA представила LLM Dory1.0-4B с архитектурой latent-recurrent

Компания NVIDIA выпустила открытую языковую модель Dory1.0-4B объемом 4 миллиарда параметров. Модель использует уникальную архитектуру с чередованием слоев полного внимания и скользящего окна, что позволяет эффективно распределять вычислительные ресурсы и повышать качество рассуждений на компактном устройстве.