Краткое руководство по изучению распределённых алгоритмов для обучения и вывода LLM

Автор делится подборкой ключевых статей и практическими примерами кода для понимания основ распределённых вычислений, необходимых при работе с большими языковыми моделями. В материале рассматриваются такие техники, как параллелизм данных, тензоров, конвейерный и модели, а также предоставляется ссылка на репозиторий с реализациями.