vLLM получил поддержку выгрузки на диск через PLE в ночных сборках

Фреймворк vLLM добавил экспериментальную поддержку offloading на диск с использованием PyTorch Lazy Evaluation (PLE). Функционал доступен в ночных сборках и предназначен для оптимизации работы с большими моделями при нехватке видеопамяти.