Skymizer Taiwan представила архитектуру для инференса LLM на 700 млрд параметров на одной карте

Компания Skymizer Taiwan представила PCIe-карту с шестью чипами HTX301 и 384 ГБ памяти для локального инференса моделей на 700 млрд параметров. Решение использует гибридную архитектуру: GPU отвечает за префилл, а специализированный чип — за декодирование, что позволяет снизить энергопотребление до 240 Вт. Полные тесты производительности ожидаются на выставке Computex в начале июня.