En combinant les données des caméras de Kinect, les chercheurs ambitionnent d’apprendre à l’interface Kinect de la Xbox 360 à reconnaître les gestes présents dans la langue des personnes malentendantes.
Le but de ce programme est de permettre à ces personnes de pouvoir communiquer aisément avec ceux qui ne connaissent pas la langue des signes et vice versa.
La façon dont le système fonctionne est assez astucieuse. En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l'alignement du mouvement de la trajectoire 3D. Une fois que la machine a pu assimiler les données visuelles, elle essaye de les faire correspondre aux mots qu'elle connait par ordre de pertinence. Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.
Encore au stade embryonnaire, si ce projet est commercialisé il permettra sans doute de rompre la barrière de la langue entre les personnes atteintes de surdité et les autres.
Source : reconnaissance des langages de signes et traduction par Kinect (au format PDF)
Et vous ?
Que pensez-vous de cette initiative ?