T-Rex: фреймворк, объединяющий зрение, язык и тактильное восприятие для роботов

Команда из UC Berkeley, Nvidia и Stanford представила фреймворк T-Rex, позволяющий роботам реагировать на физический контакт в реальном времени, используя мультимодальные данные. В основе лежит датасет из 100 часов телеоперации, где движения перчаток ManusMeta переносились на манипуляторы SharpaRobotics. Это решение снижает зависимость от визуального восприятия и улучшает точность манипуляций.