AIR-LLM: Передача весов ИИ по радио для вывода больших языковых моделей на периферии без использования памяти через радиовычисления

Исследователи представляют метод AIR-LLM, позволяющий выполнять инференс больших языковых моделей на устройствах с ограниченными ресурсами путем прямой передачи весов нейросети через радиочастотный канал.该技术 использует радиовычисления для обхода необходимости хранения весов в памяти устройства, что открывает новые возможности для развертывания ИИ на периферийных устройствах.