192 ГБ: что вы запускаете?

Автор делится опытом запуска моделей на 397B параметров на Mac M2 Ultra с 192 ГБ памяти, используя оптимизированный llama.cpp и Unsloth. Он описывает технические решения для работы с KV cache и гибридными моделями, а также спрашивает сообщество о других крупных моделях. Обсуждение фокусируется на возможностях локального инференса и инструментах для работы с GGUF.