Reddit
Обсуждение методов ускорения инференса языковых моделей
Автор поста ищет актуальные научные работы по архитектуре инференса LLM для обмена опытом. Инициатива направлена на создание дискуссии, аналогичной неформальным обсуждениям в Bell Labs, с целью изучения новых подходов к оптимизации скорости вывода моделей.
score 40r/MachineLearning