Reddit
Делиться ли экспериментами по реализации исследовательских статей на собственной LLM?
Автор делится опытом создания и обучения небольшой языковой модели (~8M параметров) с нуля на PyTorch. Проект служит лабораторией для тестирования идей из научных статей, включая реализацию Transformer, KV-caching и PagedAttention. Пользователь спрашивает о возможности публикации своих блогов с описанием ошибок и успехов для получения обратной связи.
score 55r/MachineLearning