Назад к дайджесту
Reddit

Станет ли AMD Strix Halo (на примере GMKtec EVO-X2) идеальным решением для локальных LLM?

Автор анализирует возможности запуска локальных языковых моделей объемом 20-32 миллиардов параметров, отмечая, что главным ограничением сегодня является не вычислительная мощность, а объем и пропускная способность памяти. Рассматриваются компромиссы между потребительскими GPU с малым VRAM, NPU и новыми системами на базе AMD Strix Halo с унифицированной памятью большого объема.

score 40r/LocalLLaMA