Des Chinois utilisent Kinect pour transformer le langage des signes en texte

Un système très ingénieux

Des Chinois utilisent Kinect pour transformer le langage des signes en texte,
un système très ingénieux

La communication est un outil primordial chez les êtres humains car elle permet des interactions. Cependant, combien de fois avez-vous été en face d'une personne frappée de surdité sans comprendre ce qu'elle dit et vice versa ? Une équipe de chez Microsoft Research Asia a récemment travaillé avec l’Institut de Technologie de l’Informatique à l’Académie Chinoise des Sciences sur la conception d'un système capable de traduire le langage des signes en écriture.

En combinant les données des caméras de Kinect, les chercheurs ambitionnent d’apprendre à l’interface Kinect de la Xbox 360 à reconnaître les gestes présents dans la langue des personnes malentendantes.

Le but de ce programme est de permettre à ces personnes de pouvoir communiquer aisément avec ceux qui ne connaissent pas la langue des signes et vice versa.


La façon dont le système fonctionne est assez astucieuse. En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l'alignement du mouvement de la trajectoire 3D. Une fois que la machine a pu assimiler les données visuelles, elle essaye de les faire correspondre aux mots qu'elle connait par ordre de pertinence. Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.

Encore au stade embryonnaire, si ce projet est commercialisé il permettra sans doute de rompre la barrière de la langue entre les personnes atteintes de surdité et les autres.

Source : reconnaissance des langages de signes et traduction par Kinect (au format PDF)

Et vous ?

Que pensez-vous de cette initiative ?