Краткое руководство по изучению распределенных алгоритмов для обучения и инференса LLM

Автор делится подборкой статей для начинающих, объясняющих основы распределенных систем, необходимых для параллельного обучения и вывода больших языковых моделей. В материале рассматриваются виды параллелизма: тензорный, конвейерный и модельный, а также предоставляется ссылка на репозиторий с примерами реализации.