Модель Mistral Medium 3.5 на платформе AMD Strix Halo: тест производительности

Пользователь протестировал запуск 128-миллиардной модели Mistral Medium 3.5 в квантованном формате GGUF на процессоре AMD Strix Halo. Результаты показали крайне низкую скорость генерации: около 2 часов на запрос с контекстом 48k токенов. Это указывает на текущие ограничения аппаратного ускорения для больших языковых моделей на данной платформе.