Создать собственную диффузионную языковую модель с нуля оказалось проще, чем я ожидал

Автор реализовал диффузионную языковую модель (DLM) с нуля, обучив её на датасете Шекспира на MacBook Air M2. Модель на 7.5 млн параметров демонстрирует работу архитектуры диффузии для текста, код выложен в GitHub.