HDTenEightyP/GPT-USENET-6: легковесная модель на основе данных USENET и веб-скрейпинга

Представлена новая легковесная языковая модель с 0,4 миллиарда параметров и контекстным окном в 16 384 токена. Модель обучена на данных из архивов USENET (включая UTZOO), веб-скрейпинга и художественной литературы, что позволяет ей сочетать универсальность с глубокими знаниями и памятью.