Собственная GPT-подобная LLM по вселенной Warhammer 40K с нуля. Часть 3: предобучение

В третьей части цикла автор продолжает обучение небольшой decoder-only LLM с нуля, фокусируясь на процессе предобучения. Рассматривается сборка архитектуры на базе трансформерных блоков и запуск обучения на подготовленном датасете. Практический гайд для тех, кто хочет разобраться в механизмах работы языковых моделей.