Сэм Альтман: локальный инференс — расточительное использование ресурсов

Глава OpenAI Сэм Альтман заявил, что запуск больших языковых моделей на личных компьютерах неэффективен с точки зрения глобального распределения ограниченных вычислительных мощностей и памяти. Он аргументирует это тем, что использование DRAM на устройствах пользователей происходит лишь в малую часть времени, тогда как облачные центры обеспечивают максимальную утилизацию ресурсов.