Бенчмарки мини-AGI: динамическая модель непрерывного обучения, обученная с нуля на GPU с 8 ГБ VRAM

Автор представил результаты обучения модели mini-AGI с нуля в течение месяца на GPU с ограниченной памятью. Ключевой вывод заключается в преимуществе режима непрерывного обучения (continual learning), позволяющего модели специализироваться на задачах в процессе оценки, чего невозможно достичь в типичных LLM.