NOUVEAU : le plugin GazeSense™ ROS est disponible
Les chercheurs et développeurs en robotique peuvent désormais s'appuyer sur la passerelle GazeSense™ pour mesurer l'attention portée aux objets dans ROS
GazeSense est une application de suivi oculaire 3D qui s'appuie sur des capteurs 3D grand public. GazeSense permet de définir des objets 3D virtuels par rapport aux systèmes de coordonnées de la caméra et du monde, puis de mesurer l'attention que les personnes portent à ces objets.
Grâce au nouveau plugin GazeSense ROS, la passerelle GazeSense transmet au Robot Operating System (ROS) les données de suivi oculaire et d'attention en temps réel, habituellement accessibles via une API dédiée.
Qu'est-ce que ROS ?
ROS est un framework souple de système d'exploitation pour robots, destiné à l'écriture de logiciels robotiques. C'est un ensemble d'outils, de bibliothèques et de conventions qui vise à simplifier la création de comportements robotiques complexes et robustes sur une grande variété de plateformes.
Que fera GazeSense dans ROS ? Il offre un mécanisme de perception : GazeSense fournit aux chercheurs et développeurs en robotique des signaux en temps réel sur l'attention portée aux objets. On peut ainsi savoir si une personne qui interagit avec le robot regarde l'un des objets définis, aucun d'entre eux, ou le robot lui-même. L'étiquette d'attention (« ce que regarde la personne ») est ensuite publiée sous forme de topic dans le framework ROS.
La détection de l'attention est particulièrement utile en interaction homme-robot (HRI), car elle est essentielle pour comprendre l'intention d'engagement et pour établir une relation.
La première version du plugin GazeSense ROS repose sur une configuration codée en dur qui permet :
- de définir des objets et de les transmettre à GazeSense ;
- de capter les signaux GazeSense sur l'attention portée aux objets et de les publier dans ROS.
« Robot jouant du piano », photo de Franck V. sur Unsplash
Vous souhaitez d'autres fonctions, par exemple une définition d'objets plus « plug-and-play » pour la passerelle GazeSense ROS ? Faites-le-nous savoir par e-mail à products@eyeware.tech ou soumettez simplement votre demande sur notre tableau Trello Idées & demandes.
Où trouver le plugin GazeSense ROS ?
GazeSense est hébergé sur un dépôt GitHub, facile d'accès et de consultation.
Accéder au plugin GazeSense ROS !
Pourquoi avons-nous créé un plugin GazeSense ROS ouvert à tous les chercheurs et développeurs en robotique qui utilisent ROS ?
Parce que créer des logiciels robotiques vraiment robustes et polyvalents est difficile, et que personne ne peut espérer y parvenir seul. Nous rejoignons donc cette plateforme collaborative de développement de logiciels robotiques de classe mondiale et la communauté ROS, très active, pour contribuer à des solutions robustes et bâtir les uns sur le travail des autres.
Le cœur de ROS est publié sous la licence BSD standard à trois clauses, une licence libre très permissive qui autorise sa réutilisation dans des produits commerciaux et propriétaires.
Le saviez-vous ? Avec AWS RoboMaker, Amazon utilise ROS pour offrir aux développeurs un espace où développer et tester des applications robotiques. Par curiosité, vous pouvez parcourir toute l'histoire marquante de ROS sur Wikipédia, en descendant jusqu'à la section « milestones ».
Vous aimeriez un plugin GazeSense pour une autre plateforme ou un autre framework de développement ? Vous travaillez avec Unity, Matlab ou d'autres plateformes de niche ? Proposez votre choix sur notre tableau Idées & demandes ou par e-mail à products@eyeware.tech : votre avis compte ! Notre objectif est de soutenir vos projets et d'amener le suivi oculaire 3D dans des applications concrètes, grâce à des intégrations simples.