Talkie: языковая модель на 13B параметров, обученная на данных до 1931 года

Исследователи, включая Алекса Рэдфорда, представили модель Talkie, обученную на 260 млрд токенов текста, датированных до 1931 года. Проект направлен на изучение способности LLM к обобщению знаний без доступа к современным данным, тестируя навыки прогнозирования и базового программирования.