Назад к дайджесту
Reddit

Делиться ли экспериментами по реализации исследовательских статей на собственной LLM?

Автор делится опытом создания и обучения небольшой языковой модели (~8M параметров) с нуля на PyTorch. Проект служит лабораторией для тестирования идей из научных статей, включая реализацию Transformer, KV-caching и PagedAttention. Пользователь спрашивает о возможности публикации своих блогов с описанием ошибок и успехов для получения обратной связи.

score 55r/MachineLearning