Эксперимент с 21M-моделью: 6.4B параметров хранятся в таблице на SSD, а скорость достигает 140 токенов в секунду

Автор исследовал возможность использования огромной таблицы обученных векторов (6.4B параметров) вместо традиционной памяти в небольшой модели на 21M параметров. Оказалось, что такая архитектура сопоставима по качеству с плотной моделью в 114M параметров, при этом таблица может храниться на NVMe SSD, что позволяет генерировать текст со скоростью 140 токенов в секунду, используя всего 0.4 ГБ видеопамяти.