Tabla de contenido:
Video: NO PREGUNTES ESTO A AMAZON ALEXA (Respuesta escalofriante) (Noviembre 2024)
Un dispositivo Amazon Echo grabó recientemente la conversación privada de un usuario y la envió a uno de sus contactos sin su conocimiento y consentimiento. Esto (nuevamente) plantea preocupaciones sobre la seguridad y la privacidad de los altavoces inteligentes. Sin embargo, como más tarde se hizo evidente, el extraño comportamiento de Alexa no era parte de un siniestro plan de espionaje, sino que fue causado por una serie de fallas vinculadas atribuidas a la forma en que funciona el altavoz inteligente.
El escenario es un caso marginal, el tipo de incidente que ocurre muy raramente. Pero también es un estudio interesante en los límites de la tecnología de inteligencia artificial que alimenta el Echo y otros dispositivos llamados "inteligentes".
Demasiada confianza en la nube
Para comprender los comandos de voz, los parlantes inteligentes como Echo y Google Home dependen de algoritmos de aprendizaje profundo, que requieren una gran potencia informática. Como no tienen los recursos informáticos para realizar la tarea localmente, deben enviar los datos a los servidores en la nube del fabricante, donde los algoritmos de IA transforman los datos de voz en texto y procesan los comandos.
Pero los altavoces inteligentes no pueden enviar todo lo que escuchan a sus servidores en la nube, porque eso requeriría que el fabricante almacene cantidades excesivas de datos en sus servidores, la mayoría de los cuales serían inútiles. Grabar y almacenar accidentalmente conversaciones privadas que tienen lugar en los hogares de los usuarios también presentaría un desafío de privacidad y podría causar problemas a los fabricantes, especialmente con las nuevas regulaciones de privacidad de datos que imponen restricciones severas sobre cómo las empresas de tecnología almacenan y usan datos.
Es por eso que los altavoces inteligentes están diseñados para activarse después de que el usuario pronuncie una palabra de activación como "Alexa" o "Hola Google". Solo después de escuchar la palabra de activación comienzan a enviar la entrada de audio de sus micrófonos a la nube para su análisis y procesamiento.
Si bien esta característica mejora la privacidad, presenta sus propios desafíos, como resaltó el reciente incidente de Alexa.
"Si la palabra, o algo que suena muy parecido, se envía a la mitad de una conversación, Alexa no tendrá nada del contexto anterior", dice Joshua March, CEO de Conversocial. "En ese momento, está escuchando muy atentamente cualquier comando relacionado con las habilidades que ha configurado (como su aplicación de mensajería). En su mayor parte, la privacidad se mejora en gran medida al restringir el contexto al que Alexa está prestando atención (como no está grabando o escuchando ninguna de sus conversaciones normales), aunque eso fue contraproducente en este caso ".
Los avances en la computación perimetral podrían ayudar a aliviar este problema. A medida que la inteligencia artificial y el aprendizaje profundo se abren camino en más y más dispositivos y aplicaciones, algunos fabricantes de hardware han creado procesadores especializados para realizar tareas de inteligencia artificial sin demasiada dependencia de los recursos de la nube. Los procesadores Edge AI pueden ayudar a dispositivos como Echo a comprender y procesar mejor las conversaciones sin infringir la privacidad de los usuarios al enviar todos los datos a la nube.
Contexto e Intención
Además de recibir piezas de audio dispares y fragmentadas, la IA de Amazon tiene dificultades para comprender los matices de la conversación humana.
"Si bien ha habido grandes avances en el aprendizaje profundo en los últimos años, permitiendo que el software entienda el habla y las imágenes mejor que nunca, todavía hay muchos límites", dice March. "Si bien los asistentes de voz pueden reconocer las palabras que estás diciendo, no necesariamente tienen ningún tipo de comprensión real sobre el significado o la intención detrás de él. El mundo es un lugar complejo, pero cualquier sistema de inteligencia artificial hoy en día solo puede manejar muy casos de uso específicos y estrechos ".
Por ejemplo, los humanos tenemos muchas formas de determinar si una oración se dirige hacia nosotros, como el tono de voz o siguiendo señales visuales, por ejemplo, la dirección en la que mira el hablante.
En contraste, Alexa presume que es el destinatario de cualquier oración que contenga la palabra "A". Es por eso que los usuarios a menudo lo activan accidentalmente.
Parte del problema es que exageramos las capacidades de las aplicaciones actuales de IA, a menudo poniéndolas a la par o por encima de la mente humana y confiando demasiado en ellas. Por eso estamos sorprendidos cuando fallan espectacularmente.
"Parte del problema aquí es que el término 'IA' se ha comercializado de manera tan agresiva que los consumidores han depositado una fe inmerecida en los productos con este término vinculado a ellos", dice Pascal Kaufmann, neurocientífico y fundador de Starmind. "Esta historia ilustra que Alexa tiene muchas capacidades y una comprensión relativamente limitada de cómo y cuándo deben aplicarse adecuadamente".
Los algoritmos de aprendizaje profundo son propensos a fallar cuando enfrentan configuraciones que se desvían de los datos y escenarios para los que están entrenados. "Una de las características definitorias de la IA a nivel humano será la competencia autosuficiente y una verdadera comprensión del contenido", dice Kaufmann. "Esta es una parte crucial de considerar verdaderamente una IA 'inteligente' y vital para su desarrollo. Crear asistentes digitales conscientes de sí mismos, que traigan consigo una comprensión completa de la naturaleza humana, marcará su transformación de una novedad divertida a una verdadera Herramienta útil."
Pero crear IA a nivel humano, también conocido como IA general, es más fácil decirlo que hacerlo. Durante muchas décadas, hemos estado pensando que está a la vuelta de la esquina, solo para desanimarnos ya que los avances tecnológicos han demostrado lo complicada que es la mente humana. Muchos expertos creen que perseguir la IA general es inútil.
Mientras tanto, la IA estrecha (como se describen las tecnologías actuales de inteligencia artificial) aún presenta muchas oportunidades y puede repararse para evitar repetir errores. Para ser claros, el aprendizaje profundo y el aprendizaje automático aún son incipientes, y las compañías como Amazon actualizan constantemente sus algoritmos de inteligencia artificial para abordar casos extremos cada vez que suceden.
Qué necesitamos hacer
"Este es un campo joven y emergente. La comprensión del lenguaje natural está especialmente en su infancia, por lo que hay mucho que podemos hacer aquí", dice Eric Moller, CTO de Atomic X.
Moller cree que los algoritmos de inteligencia artificial de análisis de voz se pueden ajustar para comprender mejor la entonación y la inflexión. "Usar la palabra 'Alexa' en una oración más amplia suena diferente a una invocación o comando. Alexa no debería despertarse porque dijiste ese nombre de pasada", dice Moller. Con suficiente entrenamiento, la IA debería poder distinguir qué tonos específicos se dirigen al altavoz inteligente.
Las compañías tecnológicas también pueden entrenar a su IA para poder distinguir cuándo recibe ruido de fondo en lugar de hablar directamente. "La conversación de fondo tiene una 'firma' auditiva única que los humanos son muy buenos para captar y desconectar selectivamente. No hay razón para que no podamos entrenar a los modelos de IA para que hagan lo mismo", dice Moller.
Como precaución, los asistentes de inteligencia artificial deben calificar el impacto de las decisiones que están tomando e involucrar la decisión humana en los casos en que quieran hacer algo que sea potencialmente sensible. Los fabricantes deberían incorporar más salvaguardas a sus tecnologías para evitar que se envíe información confidencial sin el consentimiento explícito y claro del usuario.
"Aunque Amazon informó que Alexa intentó confirmar la acción que interpretó, algunas acciones deben ser manejadas con más cuidado y mantener un estándar más alto de confirmación de la intención del usuario", dice Sagi Eliyahi, CEO de Tonkean. "Los humanos tienen los mismos problemas de reconocimiento de voz, ocasionalmente escuchan mal las solicitudes. Sin embargo, a diferencia de Alexa, es más probable que un humano confirme absolutamente que entienden una solicitud poco clara y, lo que es más importante, mida la probabilidad de una solicitud en comparación con solicitudes anteriores".
Mientras tanto…
Si bien las compañías tecnológicas ajustan sus aplicaciones de IA para reducir errores, los usuarios deberán tomar la decisión final sobre cuánto quieren exponerse a los posibles errores que puedan cometer sus dispositivos con IA.
"Estas historias muestran un conflicto con la cantidad de datos que las personas están dispuestas a compartir en contra de la promesa de las nuevas tecnologías de inteligencia artificial", dice Doug Rose, experto en ciencia de datos y escritor de varios libros sobre inteligencia artificial y software. "Podrías burlarte de Siri por ser lenta. Pero la mejor manera para que ella logre una mayor inteligencia es invadiendo nuestras conversaciones privadas. Entonces, una pregunta clave en la próxima década es cuánto permitiremos que estos agentes de IA asuman nuestro comportamiento ?"
"¿Qué familia colocaría un asistente humano en la sala de estar y dejaría que esa persona escuche cualquier tipo de conversación todo el tiempo?" dice Kaufmann, el neurocientífico de Starmind. "Al menos deberíamos aplicar los mismos estándares a los llamados dispositivos 'AI' (si no más altos) que también aplicamos a los seres humanos inteligentes cuando se trata de privacidad, secreto o confiabilidad".
