НОВИНКА: плагин GazeSense™ для ROS
Исследователи и разработчики в робототехнике теперь могут измерять внимание к объектам в ROS с помощью моста GazeSense™
GazeSense представляет собой приложение для 3D-отслеживания взгляда на основе потребительских 3D-сенсоров. GazeSense позволяет задавать виртуальные 3D-объекты в системах координат камеры и окружающего мира и измерять внимание людей к этим объектам.
С новым плагином GazeSense для ROS мост GazeSense передаёт данные отслеживания взгляда и внимания в реальном времени, обычно доступные через собственный API, в Robot Operating System (ROS).
Что такое ROS?
ROS (Robot Operating System) представляет собой гибкий фреймворк для написания ПО для роботов. Он объединяет инструменты, библиотеки и соглашения, которые упрощают создание сложного и надёжного поведения роботов на самых разных робототехнических платформах.
Что GazeSense будет делать в ROS? Он даёт механизм восприятия: GazeSense передаёт исследователям и разработчикам в робототехнике сигналы о внимании к объектам в реальном времени. Можно определить, смотрит ли человек, взаимодействующий с роботом, на один из заданных объектов или на самого робота. Метка внимания («на что смотрит человек») затем публикуется в ROS как топик.
Распознавание внимания особенно полезно тем, кто работает в области взаимодействия человека и робота (HRI): оно критически важно, чтобы понимать намерение вступить во взаимодействие и выстраивать контакт.
Первая версия плагина GazeSense для ROS жёстко запрограммирована и позволяет пользователю:
- задавать объекты и передавать их в GazeSense;
- получать сигналы GazeSense о внимании к объектам и публиковать их в ROS.
«Робот играет на пианино», фото: Franck V., Unsplash
Если вам нужны дополнительные функции, например более простое задание объектов по принципу plug-and-play для моста GazeSense в ROS, напишите нам на products@eyeware.tech или просто оставьте запрос на нашей доске идей и запросов в Trello.
Где взять плагин GazeSense для ROS?
GazeSense размещён в репозитории на GitHub, где его легко найти и посмотреть.
Перейти к плагину GazeSense для ROS!
Зачем мы сделали плагин GazeSense для ROS доступным всем исследователям и разработчикам в робототехнике, которые используют ROS?
Потому что создать по-настоящему надёжное и универсальное ПО для роботов сложно, и в одиночку с этим никто не справится. Поэтому мы присоединяемся к первоклассной совместной платформе разработки ПО для роботов и к активному сообществу робототехников ROS, чтобы вместе создавать надёжные решения и развивать работу друг друга.
Ядро ROS распространяется по стандартной трёхпунктовой лицензии BSD, очень свободной открытой лицензии, которая разрешает повторное использование в коммерческих продуктах и продуктах с закрытым исходным кодом.
А вы знали? Amazon использует ROS в сервисе AWS RoboMaker, где разработчики могут создавать и тестировать робототехнические приложения. Если интересно, всю богатую историю ROS можно изучить в Википедии, в разделе «milestones».
Хотите плагин GazeSense для другой платформы или фреймворка? Работаете с Unity, Matlab или другими нишевыми платформами? Оставьте свой вариант на нашей доске идей и запросов или напишите на products@eyeware.tech, и мы вас услышим! Мы хотим поддержать вашу работу и принести 3D-отслеживание взгляда в реальные приложения с простой интеграцией.