Ibm Watson ayuda a estudiantes universitarios a aprender mandarín

Las universidades han recorrido un largo camino en sus estudios de idiomas, yendo más allá de las clases tradicionales en una sala de conferencias y lecciones pregrabadas sin interacción. Ahora los estudiantes tienen acceso a tecnologías como la inteligencia artificial (IA) y el procesamiento del lenguaje natural (PNL) en un entorno de aprendizaje inmersivo. Eso es lo que sucede en el Laboratorio de Sistemas Cognitivos e Inmersivos (CISL) en el campus de Troy, Nueva York, del Instituto Politécnico Rensselaer (RPI). Es aquí donde el instituto se ha asociado con IBM Research para crear la tecnología para un curso de verano de seis semanas en el que los estudiantes interactúan con agentes de IA en entornos que incluyen mercados callejeros y restaurantes.

El curso, titulado "Chino inmersivo asistido por IA", presenta un sistema de visualización panorámica de 360 ​​grados de escenas generadas por computadora en la Sala de inmersión cognitiva (CIR) del laboratorio, que también se llama la "Sala de situaciones". Las escenas virtuales tienen lugar en China. Los estudiantes conversan con avatares que funcionan con Watson Assistant y se corrigen en su discurso y pronunciación. En el CIR, los estudiantes usan IA conversacional, generación narrativa, conciencia del contexto espacial y tecnología de reconocimiento facial y de gestos.

El CIR es un ejemplo de la amplia gama de potencial para IBM Watson en varias industrias además de la educación. Estas industrias incluyen agricultura, recursos humanos (RR. HH.) Y gestión de flotas.

En el RPI, además de Watson Assistant, los estudiantes usan Watson Speech to Text, Watson Text to Speech y Language Translator en sus estudios.

Los estudiantes aprenden mandarín usando IA en el campus de RPI. (Crédito de la imagen: IBM Research / RPI)

Una experiencia de aprendizaje activa

Para Julian Wong, un joven en el RPI, la experiencia inmersiva de IA fue una forma atractiva de aprender mandarín porque le brinda una forma más activa de aprender. Debido a que el mandarín es un lenguaje tonal en el que un cambio en el tono puede alterar el significado de las palabras, los avatares en la experiencia de IA brindan retroalimentación sobre el tono para asegurarse de que Wong y los demás estudiantes estén pronunciando correctamente.

Trabajar con IA en el CIR proporciona un buen equilibrio con el tiempo de clase regular, según Wong. "Reunirse para hablar con la computadora… definitivamente ayuda con muchos aspectos del aprendizaje del idioma, especialmente las habilidades verbales", dijo Wong.

La clase de mandarín de Wong se reúne cuatro veces por semana. Los lunes y viernes, asiste a una clase en un aula tradicional con Helen Zhou, profesora asociada del RPI. Allí aprende vocabulario nuevo y recibe una introducción a frases y estructuras gramaticales. Los martes y jueves, la clase se reúne en el CIR, donde los estudiantes realizan conversaciones con agentes virtuales. En un ambiente de restaurante, Wong dijo que los estudiantes pueden pasar por todo el proceso de sentarse en el restaurante, mirar un menú, pedir comida, hablar con un camarero sobre cómo se prepara la comida y pagar la factura. Otros entornos incluyen un jardín, un mercado y un campus escolar.

La clase de mandarín en el aula inmersiva difiere de un entorno tradicional porque proporciona una experiencia multimodal de lenguaje y video, según Zhou. Ella dijo que una clase tradicional sería menos inmersiva e interactiva. "En la simulación en el aula inmersiva, tenemos dos agentes para luchar entre ellos, para tratar de persuadir a los estudiantes para que compren el producto", dijo Zhou. "Para que los estudiantes entiendan por experiencia personal en lugar de mirar videos o escuchar conferencias solamente. Creo que aprenderían la cultura más fácilmente que simplemente aprendiendo de los libros de texto o escuchando cintas".

En el CIR, los estudiantes toman cuestionarios relacionados con las escenas con las que han interactuado y levantan la mano para dar sus respuestas. La tecnología de visión por computadora de las cámaras en la sala captura sus gestos. El asistente de IA ofrece un cuestionario relacionado con la escena y los estudiantes deben responder con una frase en chino.

"Si desea seleccionar una de las ventanas emergentes que están en la pantalla, puede extender la mano, la palma abierta, y luego cerrar la mano", explicó Wong. "Usted selecciona el cursor en el que se encuentre actualmente. Para las pequeñas pruebas, si sabe cuál es la respuesta correcta, puede mover la mano a los caracteres que desea seleccionar y luego cerrar la mano para seleccionarlos. le informará si acertó o no ".

El agente virtual comprende a los estudiantes la mayor parte del tiempo, excepto cuando es posible que no tengan el micrófono cerca de la boca. El sistema tiene diferentes configuraciones de reconocimiento de voz que recogen a los estudiantes si no están con su pronunciación. También proporciona retroalimentación inmediata en una conversación si no tiene un profesor presente. En su propio tiempo, los estudiantes en la clase de mandarín van a un sitio web para acceder a clips de voz para practicar.

Una característica interesante de la experiencia inmersiva en el RPI es el conocimiento del contexto espacial, en el que múltiples agentes virtuales en la pantalla pueden decir con cuál estás haciendo contacto visual. "Si dice algo mientras mira a un agente, ese agente responderá y no el otro", dijo Wong.

Un estudiante utiliza la tecnología de reconocimiento facial y gestual de IBM Watson como parte de una clase de mandarín en el RPI. (Crédito de la imagen: IBM Research / RPI )

Cómo se desarrolló la experiencia inmersiva

La experiencia inmersiva en el RPI surgió cuando los profesores de idiomas y los profesores de diseño de juegos se reunieron para discutir una mejor manera de enseñar idiomas. Un plan para desarrollar un juego de rol pronto se convirtió en una discusión sobre cómo enseñar mandarín a través de una simulación de escenarios de la vida real, según Hui Su, quien es el Director de Experiencia Cognitiva del Usuario en IBM Research y Director de la CISL. IBM y el RPI comenzaron a desarrollar el curso a finales de 2015, y establecieron el laboratorio conjunto en ese momento. El CISL luego tomó forma poco después.

"El propósito del laboratorio es construir el entorno cognitivo e inmersivo para mejorar las actividades grupales, aumentar la inteligencia grupal en el contexto del aprendizaje y la toma de decisiones", dijo Su. "También nos enfocamos en construir salas de juntas cognitivas inmersivas… para ver los datos de una situación crítica y tratar de dar sentido a la información y crear decisiones o recomendaciones para los tomadores de decisiones".

Como parte del programa de aprendizaje de idiomas AI, IBM y el RPI están experimentando con el análisis del contorno de tono. Su describió cómo funciona esta tecnología. "Cuando dices una sílaba, cuando pronuncias una sílaba, la tecnología subyacente capturará la voz y generará un contorno visual de cómo pronuncias esa sílaba", dijo Su. "Luego usa ese contorno visual y compara ese contorno visual con el contorno visual de un hablante nativo".

Luego, los estudiantes pueden hacer ajustes en su pronunciación para alcanzar el tono correcto. Aprenderán que necesitan cambiar las pronunciaciones de ciertas sílabas. Con el conocimiento que los estudiantes obtienen al aprender mandarín en el aula inmersiva utilizando la tecnología Watson, tendrán más confianza para conversar en la vida real, según Su.

"La idea es proporcionar suficiente contexto cultural a través de nuestro entorno inmersivo y tecnología de inteligencia artificial para que los estudiantes puedan practicar un ejercicio", dijo Su. "Entonces no tendrán miedos como hablar con personas en la vida real".

Un estudiante practica mandarín en un entorno de restaurante virtual utilizando la tecnología IBM Watson. (Crédito de la imagen: IBM Research / RPI )

Un puente entre la industria tecnológica y la academia

IBM y el RPI pueden construir un puente entre los investigadores de IBM y los miembros de la facultad, con IBM integrando un investigador en el campus, a saber, Su. Mientras tanto, Zhou, el profesor de la clase en el RPI, también brinda retroalimentación a los diseñadores, usuarios y maestros sobre cómo mejorar la experiencia inmersiva en el aula.

"Necesito darles comentarios inmediatos para depurar o mejorar el diseño para que podamos ofrecer un aula más natural a los estudiantes", dijo Zhou. "Así que hay mucho trabajo involucrado pero vale la pena".

El futuro del aprendizaje de idiomas

• El mejor software de aprendizaje de idiomas para 2019 El mejor software de aprendizaje de idiomas para 2019
• IBM lanza herramientas de inteligencia artificial Watson pre-entrenadas en varias industrias IBM lanza herramientas de inteligencia artificial Watson pre-entrenadas en varias industrias
• ¿AI realmente habla nuestro idioma? ¿AI realmente habla nuestro idioma?

Según Zhou, este tipo de entorno inmersivo es valioso debido a la capacidad de proporcionar un entorno aparentemente real. "El entorno inmersivo de IA no solo puede mejorar el habla y la escucha de los estudiantes, sino también la pragmática de usar ese lenguaje en situaciones de la vida real", dijo Zhou. "Es por eso que la IA es más ideal para mí como instructor, de modo que los estudiantes puedan tener la sensación de usar el idioma desde el principio, incluso para los principiantes, sin viajar al país".

Los entornos de aprendizaje multimodal como los ofrecidos en el RPI ampliarán el papel de la IA en el aula. Con la experiencia que ofrece AI a través de los agentes virtuales, los estudiantes estarán preparados para abordar diversos escenarios en el mundo real con las habilidades lingüísticas necesarias.