Esta nueva técnica permite identificar los memes a las personas con discapacidad visual

Un grupo de investigadores de la Universidad Carnegie Mellon (Estados Unidos) ha desarrollado una tecnología que es capaz de identificar los memes publicados en Internet. Los traduce para ayudar así a las personas con alguna discapacidad visual.

Memes accesibles

Las personas ciegas o con problemas de visión disponen de tecnologías que les permiten acceder al texto de las redes sociales. En el caso de los memes, si no entienden las imágenes humorísticas, se pierden una parte importante de la conversación.

Para extender la accesibilidad, han desarrollado un método que identifica los memes a través de las imágenes que utilizan y que incluye contenidos escritos previamente. Este tipo de contenido proporciona un texto alternativo con contexto adicional para entenderlos.

A través de técnicas de visión computerizada, el sistema describe en primer lugar la imagen del meme y después emplea el reconocimiento óptico de caracteres para leer el texto que se ha superpuesto a la imagen. Además de indicar también si se ubica en la parte superior o inferior del meme.

El sistema de la Universidad Carnegie Mellon es capaz de traducir los memes a texto pero también en forma de sonido

Además de leer el texto se han añadido otros elementos como música y efectos de sonido para ayudar a describir el sentido del meme. No obstante, han explicado que en sus pruebas la gente prefería solo el texto debido a la costumbre.

Los investigadores han llamado la atención también sobre la dificultad de introducir este sistema en Internet, ya que cuando los usuarios crean un meme copian la imagen, pero no el texto alternativo que podría ayudar a las personas invidentes. Por ello, trabajan actualmente en una extensión de Twitter que se ocupe de esta tarea o incluso en los metadatos de la foto.

Una app de Microsoft que describe escenas

Millones de personas ciegas o con discapacidad visual grave ya pueden descargar las nuevas versiones en español, alemán, francés, japonés y holandés de Seeing AI, la app de Microsoft que describe en voz alta escenas y fotos.

Seeing AI dispone de distintos canales o modos que permiten la lectura de textos breves y de etiquetas (mediante la cámara del teléfono); el reconocimiento de códigos de barras; el escaneado y posterior lectura de documentos de mayor longitud (también de aquellos escritos a mano); la identificación de colores; la determinación de monedas y billetes (dólares, euros, libras...); el reconocimiento facial; el calibrado de la luminosidad mediante pitidos, y la descripción de escenas, ya sean entornos naturales, fotografías tomadas con el teléfono o imágenes de otras APP como WhatsApp o Hotmail.

Desde que Seeing AI salió al mercado, todos los usuarios han podido comunicar sus quejas y sugerencias de mejora al equipo de desarrolladores, "siempre con el propósito de mejorar la app y adaptarnos mejor a las demandas".