Reddit
Станет ли AMD Strix Halo (на примере GMKtec EVO-X2) идеальным решением для локальных LLM?
Автор анализирует возможности запуска локальных языковых моделей объемом 20-32 миллиардов параметров, отмечая, что главным ограничением сегодня является не вычислительная мощность, а объем и пропускная способность памяти. Рассматриваются компромиссы между потребительскими GPU с малым VRAM, NPU и новыми системами на базе AMD Strix Halo с унифицированной памятью большого объема.
score 40r/LocalLLaMA