Своя GPT-подобная LLM по вселенной Warhammer 40K с нуля. Часть 1: токенизируем Империум

Автор реализует архитектуру языковой модели на чистом PyTorch для обучения на материалах вселенной Warhammer 40K. В первой части цикла рассматриваются основы токенизации и принципы работы Decoder-only моделей. Статья будет полезна разработчикам, желающим понять внутреннее устройство обучения нейросетей.