Реализация Qwen3.5 на FPGA: запуск 9B и 27B моделей на недорогом оборудовании для майнинга

Автор демонстрирует инференс языковых моделей Qwen3.5 масштаба 9B и 27B (INT4) на FPGA-платформах SQRL FK33 и Jungle Cat, приобретенных на eBay. Достигнуты скорости генерации около 2-3 токенов в секунду при использовании бюджетного оборудования с HBM2, что подтверждает возможность эффективного развертывания передовых моделей на кастомном аппаратном обеспечении.