La Universidad de La Plata desarrolla un sistema para traducir lenguaje de señas a texto de forma automática

Un equipo del Instituto de Investigación Informática (III-LIDI) de la Universidad Nacional de La Plata (UNLP) trabaja en el desarrollo de un sistema para traducir a texto, de manera automática, el lenguaje de señas que utilizan las personas hipoacúsicas.
El sistema funciona con una cámara de video conectada a una computadora que permite captar la posición y los movimientos de las manos de la persona que se expresa en lenguaje de señas y, con el uso de algoritmos, lo traduce a texto en tiempo real.
“Es un proyecto de investigación que trabaja en el desarrollo de lenguaje inteligente”, contó el doctor en Informática Franco Ronchetti, parte del equipo de programación del III-LIDI.
“En el laboratorio hacemos tareas de investigación y desarrollo con docentes y graduados de la Facultad. Hace cuatro años que trabajamos en algoritmos que permitan la clasificación de gestos dinámicos, que son los que uno puede hacer con el cuerpo moviéndose frente a un dispositivo”, precisó.
El profesional explicó que comenzaron con dispositivos del estilo del controlador Kinect, de la consola Xbox de Microsoft, que reconoce gestos corporales y da comandos simples como saltar, moverse, correr o dar patadas, por lo que luego les pareció interesante mudarse a la lengua de señas.
“La UNLP le da importancia al tema en los últimos tiempos, hay muchos alumnos hipoacúsicos, y nos pareció que podíamos acercarnos a la problemática”, dijo Ronchetti.
Sostuvo que “esos golpes y saltos son más fáciles de clasificar porque los dispositivos censan dónde están las manos y pies, y porque los movimientos son bastante simples; pero en la lengua de señas, no sólo hay un movimiento más pequeño sino que el lenguaje tiene diferentes configuraciones, formas que la mano puede tomar”.
El especialista afirmó que las manos pueden adquirir “muchas formas mientras va haciendo una seña”, por lo que clasificarlas “es sumamente complejo”
Los investigadores del III-LIDI partieron del concepto de desarrollar un mecanismo de fácil acceso, por eso el primer paso del proyecto consistió en el armado de una base de datos propia del Lenguaje de Señas Argentino, que no existía, con 800 imágenes de las manos estáticas en las 16 posiciones que se usan durante el lenguaje de señas.
“Registramos las señas con una cámara convencional, pero también podría hacerse con una webcam. La idea es que se pueda usar una computadora común, o también se podrían filmar las señas con un teléfono”, contó Ronchetti.
Luego manifestó que “lo hicimos bajo un proceso que se conoce como ‘aprendizaje automático’. Es decir, que sirva para entrenar un sistema inteligente de una computadora. Tiene que tener muchos sujetos distintos, cada uno repite varias veces cada seña, es un proceso interactivo”.
La investigación continuó con la filmación de las 64 señas que componen las palabras más usadas del Lenguaje de Señas y después de que un equipo de diez personas repitiera cinco veces cada seña frente a la cámara, se obtuvieron 3.200 videos que fueron analizados por el sistema para incorporar modos particulares de mover las manos en distintas personas y caracterizar los movimientos constitutivos de cada seña.
“Filmamos videos convencionales con cámaras tradicionales y web cams. La idea es tener un video lo más convencional donde lo único que hay son píxeles, como en una cámara común. Dado eso, procesamos el video e identificamos dónde están las manos y el rostro, para empezar a clasificar los movimientos que hacen y las formas”, dijo.
El proyecto todavía se encuentra en una fase de laboratorio y se espera que la aplicación final contenga cientos de señas. La base de datos resultante será de acceso público para todo investigador que quiera usarla.
“El nuestro es un trabajo de investigación donde proponemos técnicas, publicamos trabajos científicos con propuestas de técnicas. Somos pocas personas y nos enfocamos en una tarea de investigación. Pero siempre estamos abiertos a que se sume gente y pueda ayudar con algún proyecto financiado. Estaríamos dispuestos a cerrar esto en un sistema”, dijo Ronchetti.
Y apuntó: “Este todavía es un proyecto de investigación. Que funcione en un entorno real es más lento. Si alguien quiere aportar es bienvenido o más gente se quiere sumar al grupo”.
Reconoció que “tranquilamente, el día de mañana una persona hipoacúsica podría filmarse con la cámara del celular y que éste convierta las señas a texto. La idea es que acerque el mundo del español y de la lengua de señas, porque no es un mismo idioma y comunicarse entre eso dos mundos no es fácil».