Текущее состояние LocalLLaMA

Пост посвящён анализу актуального состояния проекта LocalLLaMA, который занимается квантованием и запуском больших языковых моделей на локальном оборудовании. Автор рассматривает доступные модели, уровни сжатия и требования к аппаратному обеспечению для эффективной работы с ними. Материал будет полезен разработчикам и энтузиастам, интересующимся развёртыванием LLM вне облака.