Talkie: 13B LLM, обученная только на текстах до 1931 года, использовала Claude Sonnet для тестирования и оценки

Команда исследователей во главе с Алексом Радфордом представила модель Talkie — 13-миллиардный LLM, обученный исключительно на текстах до 1931 года без доступа к современным данным. Для обучения использовалась модель Claude Sonnet, что позволяет оценить вклад запоминания и обобщения в способности языковых моделей. Несмотря на отсутствие современных данных, модель демонстрирует способность к обучению коду на основе математических текстов XIX века.