MicroGPT от Карпати выдает 50 000 токенов в секунду на FPGA

Проект TALOS-V2 реализует версию MicroGPT (4192 параметра) на FPGA с онбордингом весов, что обеспечивает рекордную скорость инференса. Это исследование показывает перспективы специализированных FPGA для малых языковых моделей (SLM) и может стимулировать появление чипов, заточенных под ИИ.