Reddit
Стоит ли апгрейдить оперативную память до 128 ГБ для локальных LLM?
Пользователь рассматривает переход с 64 ГБ на 128 ГБ ОЗУ для запуска больших языковых моделей локально, так как текущие 55-64 ГБ заполнены. Он планирует использовать модели формата GGUF с квантованием Q8_0 и увеличенным контекстом, интересуясь влиянием частоты памяти на скорость генерации токенов при работе с CPU-инференсом.
score 40r/LocalLLaMA