SBC Sipeed K3 на RISC-V запускает 30-миллиардные LLM с 60 TOPS (INT4) и поддержкой BF16/FP16/INT4

Компания Sipeed выпустила одноплатный компьютер K3 с NPU мощностью 60 TOPS и 32 ГБ оперативной памяти LPDDR5. Устройство способно выполнять инференс 30-миллиардных языковых моделей со скоростью 15 токенов в секунду. Это решение демонстрирует возможности локального запуска больших моделей на архитектуре RISC-V.