mini-AGI — динамически растущая модель continual learning (сейчас 530M параметров), обученная с нуля на ноутбуке с 8 ГБ VRAM на потоке данных batch-1

Автор представляет экспериментальный проект mini-AGI — модель непрерывного обучения, которая динамически растёт (сейчас 530M параметров) и обучается с нуля на ноутбуке с 8 ГБ VRAM на одном непрерывном потоке данных. Используется подход MoE с добавлением и удалением экспертов, что позволяет обходить ограничения по видеопамяти, а также batch-1 обучение. В процессе разработки автор активно использовал ИИ (Claude).