La inteligencia artificial tiene un problema de sesgo, y es nuestra culpa

En 2016, investigadores de la Universidad de Boston y Microsoft estaban trabajando en algoritmos de inteligencia artificial cuando descubrieron tendencias racistas y sexistas en la tecnología subyacente a algunos de los servicios más populares y críticos que usamos todos los días. La revelación fue en contra de la sabiduría convencional de que la inteligencia artificial no sufre los prejuicios de género, raciales y culturales que padecemos los humanos.

Los investigadores hicieron este descubrimiento mientras estudiaban algoritmos de inclusión de palabras, un tipo de IA que encuentra correlaciones y asociaciones entre diferentes palabras al analizar grandes cuerpos de texto. Por ejemplo, un algoritmo capacitado de inclusión de palabras puede comprender que las palabras para flores están estrechamente relacionadas con sentimientos agradables. En un nivel más práctico, la inclusión de palabras comprende que el término "programación informática" está estrechamente relacionado con "C ++", "JavaScript" y "análisis y diseño orientado a objetos". Cuando se integra en una aplicación de escaneo de currículums, esta funcionalidad permite a los empleadores encontrar candidatos calificados con menos esfuerzo. En los motores de búsqueda, puede proporcionar mejores resultados al mostrar contenido relacionado semánticamente con el término de búsqueda.

Sin embargo, los investigadores de BU y Microsoft descubrieron que los algoritmos de integración de palabras tenían sesgos problemáticos, como asociar "programador informático" con pronombres masculinos y "ama de casa" con femeninos. Sus hallazgos, que publicaron en un artículo de investigación titulado "¿El hombre es para el programador de computadoras como la mujer para el ama de casa?" Fue uno de varios informes para desacreditar el mito de la neutralidad de la inteligencia artificial y arrojar luz sobre el sesgo algorítmico, un fenómeno que está alcanzando dimensiones críticas a medida que los algoritmos se involucran cada vez más en nuestras decisiones cotidianas.

Los orígenes del sesgo algorítmico

Los algoritmos de aprendizaje automático y aprendizaje profundo subyacen a la mayoría del software moderno con tecnología de inteligencia artificial. A diferencia del software tradicional, que funciona en base a reglas predefinidas y verificables, el aprendizaje profundo crea sus propias reglas y aprende con el ejemplo.

Por ejemplo, para crear una aplicación de reconocimiento de imágenes basada en el aprendizaje profundo, los programadores "entrenan" el algoritmo al alimentarlo con datos etiquetados: en este caso, fotos etiquetadas con el nombre del objeto que contienen. Una vez que el algoritmo ingiere suficientes ejemplos, puede obtener patrones comunes entre datos etiquetados de manera similar y usar esa información para clasificar muestras no etiquetadas.

Este mecanismo permite que el aprendizaje profundo realice muchas tareas que eran prácticamente imposibles con el software basado en reglas. Pero también significa que el software de aprendizaje profundo puede heredar sesgos encubiertos o abiertos.

"Los algoritmos de IA no están sesgados inherentemente", dice el profesor Venkatesh Saligrama, que enseña en el Departamento de Ingeniería Eléctrica e Informática de la Universidad de Boston y trabajó en los algoritmos de integración de palabras. "Tienen una funcionalidad determinista y recogerán cualquier tendencia que ya exista en los datos sobre los que entrenan".

Los algoritmos de inclusión de palabras probados por los investigadores de la Universidad de Boston fueron capacitados en cientos de miles de artículos de Google News, Wikipedia y otras fuentes en línea en los que los sesgos sociales están profundamente arraigados. Como ejemplo, debido a la cultura del hermano que domina la industria de la tecnología, los nombres masculinos surgen más a menudo con trabajos relacionados con la tecnología, y eso lleva a los algoritmos a asociar a los hombres con trabajos como la programación y la ingeniería de software.

"Los algoritmos no tienen el poder de la mente humana para distinguir lo correcto de lo incorrecto", agrega Tolga Bolukbasi, estudiante de doctorado de último año en BU. Los humanos pueden juzgar la moralidad de nuestras acciones, incluso cuando decidimos actuar en contra de las normas éticas. Pero para los algoritmos, los datos son el último factor determinante.

Saligrama y Bolukbasi no fueron los primeros en dar la alarma sobre este sesgo. Investigadores de IBM, Microsoft y la Universidad de Toronto subrayaron la necesidad de prevenir la discriminación algorítmica en un artículo publicado en 2011. En aquel entonces, el sesgo algorítmico era una preocupación esotérica, y el aprendizaje profundo aún no había llegado a la corriente principal. Hoy, sin embargo, el sesgo algorítmico ya deja huella en muchas de las cosas que hacemos, como leer noticias, encontrar amigos, comprar en línea y mirar videos en Netflix y YouTube.

El impacto del sesgo algorítmico

En 2015, Google tuvo que disculparse después de que los algoritmos que activaban su aplicación de fotos etiquetaran a dos personas negras como gorilas, tal vez porque su conjunto de datos de entrenamiento no tenía suficientes imágenes de personas negras. En 2016, de los 44 ganadores de un concurso de belleza juzgado por AI, casi todos eran blancos, algunos eran asiáticos y solo uno tenía la piel oscura. Una vez más, la razón fue que el algoritmo se entrenó principalmente con fotos de personas blancas.

Google Photos, ustedes están jodidos. Mi amigo no es un gorila. pic.twitter.com/SMkMCsNVX4

- Jackyalciné no responde mucho aquí. DM (@jackyalcine) 29 de junio de 2015

Más recientemente, una prueba de los servicios de análisis facial de IBM y Microsoft descubrió que los algoritmos de las compañías eran casi perfectos para detectar el género de los hombres con piel clara, pero a menudo se equivocaban cuando se les presentaban imágenes de mujeres con piel oscura.

Si bien estos incidentes probablemente causaron daños insignificantes, no se puede decir lo mismo de los algoritmos de IA en dominios más críticos, como la atención médica, la aplicación de la ley y el reclutamiento. En 2016, una investigación realizada por ProPublica descubrió que COMPAS, un software impulsado por IA que evalúa el riesgo de reincidencia en los delincuentes, estaba sesgado contra las personas de color. El descubrimiento fue especialmente preocupante porque los jueces en algunos estados usan COMPAS para determinar quién camina libre y quién permanece en la cárcel.

En otro caso, un estudio de la plataforma de publicidad de Google, que funciona con algoritmos de aprendizaje profundo, descubrió que a los hombres se les mostraban anuncios de trabajos bien remunerados con más frecuencia que a las mujeres. Otro estudio encontró un problema similar con los anuncios de empleo de LinkedIn. Otro demostró que los algoritmos de contratación sesgados tenían un 50 por ciento más de probabilidades de enviar una invitación a una entrevista cuyo nombre era europeo-estadounidense que a alguien con un nombre afroamericano.

Áreas como la aprobación de préstamos, calificación crediticia y becas enfrentan amenazas similares.

El sesgo algorítmico es aún más preocupante debido a cómo podría amplificar los sesgos sociales. Bajo la ilusión de que la IA es fría, el cálculo matemático carece de prejuicios o sesgos, los humanos pueden tender a confiar en el juicio algorítmico sin cuestionarlo.

En una entrevista con Wired UK, el conferencista de criminología de la Universidad Napier de Edimburgo, Andrew Wooff, observó que el mundo policial "presionado por el tiempo e intensivo en recursos" podría hacer que los agentes de la ley confíen demasiado en las decisiones algorítmicas. "Me imagino una situación en la que un oficial de policía puede confiar más en el sistema que en sus propios procesos de toma de decisiones", dijo. "En parte, eso podría ser para que puedas justificar una decisión cuando algo sale mal".

Confiar en algoritmos sesgados crea un ciclo de retroalimentación: tomamos decisiones que crean datos más sesgados que los algoritmos luego analizarán y entrenarán en el futuro.

Este tipo de cosas ya está sucediendo en las redes sociales como Facebook y Twitter. Los algoritmos que ejecutan las fuentes de noticias crean "burbujas de filtro", que muestran contenido que se ajusta a las preferencias y sesgos de los usuarios. Esto puede hacerlos menos tolerantes hacia puntos de vista opuestos y también puede polarizar aún más a la sociedad al abrir una brecha en la división política y social.

"El sesgo algorítmico podría afectar a cualquier grupo", dice Jenn Wortman Vaughan, investigadora principal de Microsoft. "Los grupos que están subrepresentados en los datos pueden estar especialmente en riesgo".

En dominios que ya son conocidos por su sesgo, como la discriminación endémica de la industria tecnológica contra las mujeres, los algoritmos de IA podrían acentuar esos sesgos y resultar en una mayor marginación de los grupos que no están bien representados.

La salud es otro dominio crítico, señala Wortman. "Podría causar serios problemas si un algoritmo de aprendizaje automático que se utiliza para el diagnóstico médico está entrenado en datos de una población y, como resultado, no funciona bien en otros", dice ella.

El sesgo también puede ser dañino en formas más sutiles. "El año pasado estaba planeando llevar a mi hija a un corte de pelo y busqué en línea imágenes de 'cortes de pelo para niños pequeños' en busca de inspiración", dice Wortman. Pero las imágenes devueltas eran casi todas de niños blancos, principalmente con cabello lacio, y más sorprendentemente, principalmente niños, notó.

Los expertos llaman a este fenómeno "daño representacional": cuando la tecnología refuerza los estereotipos o disminuye grupos específicos. "Es difícil cuantificar o medir el impacto exacto de este tipo de sesgo, pero eso no significa que no sea importante", dice Wortman.

Eliminar sesgo de los algoritmos de IA

Las implicaciones cada vez más críticas del sesgo de AI han llamado la atención de varias organizaciones y organismos gubernamentales, y se están tomando algunas medidas positivas para abordar los problemas éticos y sociales que rodean el uso de AI en diferentes campos.

Microsoft, cuyos productos dependen en gran medida de los algoritmos de inteligencia artificial, lanzó hace tres años un proyecto de investigación llamado Equidad, responsabilidad, transparencia y ética en la inteligencia artificial (FATE) destinado a permitir a los usuarios disfrutar de la información mejorada y la eficiencia de los servicios basados ​​en inteligencia artificial sin discriminación y parcialidad.

En algunos casos, como el concurso de belleza adjudicado por AI, encontrar y corregir la fuente del comportamiento sesgado de un algoritmo de IA podría ser tan fácil como verificar y cambiar las fotos en el conjunto de datos de entrenamiento. Pero en otros casos, como los algoritmos de inclusión de palabras que examinaron los investigadores de la Universidad de Boston, el sesgo está grabado en los datos de entrenamiento de maneras más sutiles.

El equipo de BU, al que se unió el investigador de Microsoft Adam Kalai, desarrolló un método para clasificar las incrustaciones de palabras en función de sus categorizaciones de género e identificar analogías potencialmente sesgadas. Pero no tomaron la decisión final y dirigieron cada una de las asociaciones sospechosas por 10 personas en Mechanical Turk, el mercado en línea de Amazon para tareas relacionadas con datos, que decidirían si la asociación debería eliminarse o no.

"No queríamos insertar nuestros propios prejuicios en el proceso", dice Saligrama, profesor e investigador de la BU. "Acabamos de proporcionar las herramientas para descubrir asociaciones problemáticas. Los humanos tomaron la decisión final".

En un artículo más reciente, Kalai y otros investigadores propusieron el uso de algoritmos separados para clasificar diferentes grupos de personas en lugar de usar las mismas medidas para todos. Este método puede resultar efectivo en dominios donde los datos existentes ya están sesgados a favor de un grupo específico. Por ejemplo, los algoritmos que evaluarían a las postulantes femeninas para un trabajo de programación utilizarían los criterios más adecuados para ese grupo en lugar de utilizar el conjunto más amplio de datos que está profundamente influenciado por los sesgos existentes.

Wortman de Microsoft ve la inclusión en la industria de IA como un paso necesario para combatir el sesgo en los algoritmos. "Si queremos que nuestros sistemas de inteligencia artificial sean útiles para todos y no solo para ciertos datos demográficos, las empresas deben contratar equipos diversos para trabajar en inteligencia artificial", dice.

En 2006, Wortman ayudó a fundar Women in Machine Learning (WiML), que lleva a cabo un taller anual en el que las mujeres que estudian y trabajan en la industria de IA pueden reunirse, establecer contactos, intercambiar ideas y asistir a paneles de discusión con mujeres de alto nivel en la industria y la academia. Un esfuerzo similar es el nuevo Black in AI Workshop, fundado por Timnit Gebru, otro investigador de Microsoft, que tiene como objetivo desarrollar talentos más diversos en IA.

Bolukbasi de la Universidad de Boston también propone alterar la forma en que los algoritmos de IA resuelven problemas. "Los algoritmos elegirán un conjunto de reglas que maximice su objetivo. Puede haber muchas maneras de llegar al mismo conjunto de conclusiones para pares de entrada y salida dados", dice. "Tomemos el ejemplo de las pruebas de opción múltiple para humanos. Uno puede llegar a la respuesta correcta con un proceso de pensamiento incorrecto, pero sin embargo obtener el mismo puntaje. Una prueba de alta calidad debe diseñarse para minimizar este efecto, permitiendo solo a las personas que realmente conozca al sujeto para obtener puntajes correctos. Hacer que los algoritmos sean conscientes de las restricciones sociales puede verse como un análogo a este ejemplo (aunque no exacto), donde aprender a establecer un conjunto de reglas incorrecto se penaliza en el objetivo. Esta es una investigación continua y desafiante tema."

La opacidad de AI complica la equidad

Otro desafío que se interpone en el camino para hacer que los algoritmos de IA sean más justos es el fenómeno de la "caja negra". En muchos casos, las empresas guardan celosamente sus algoritmos: por ejemplo, Northpointe Inc., el fabricante de COMPAS, el software de predicción de delitos, se ha negado a revelar su algoritmo patentado. Las únicas personas que conocen el funcionamiento interno de COMPAS son sus programadores, no los jueces que lo utilizan para emitir un juicio.

Además del secreto corporativo, los algoritmos de IA a veces se vuelven tan complicados que las razones y los mecanismos detrás de sus decisiones eluden incluso a sus creadores. En el Reino Unido, la policía de Durham usa el sistema de inteligencia artificial HART para determinar si los sospechosos tienen un riesgo bajo, moderado o alto de cometer más delitos dentro de un período de dos años. Pero una revisión académica de HART en 2017 observó que "la opacidad parece difícil de evitar". Esto se debe en parte a la gran cantidad y variedad de datos que utiliza el sistema, lo que dificulta el análisis de las razones detrás de sus decisiones. "Estos detalles podrían estar disponibles gratuitamente para el público, pero requerirían una gran cantidad de tiempo y esfuerzo para comprenderlos completamente", dice el periódico.

Varias empresas y organizaciones lideran los esfuerzos para brindar transparencia a la IA, incluido Google, que lanzó GlassBox, una iniciativa para hacer que el comportamiento de los algoritmos de aprendizaje automático sea más comprensible sin sacrificar la calidad de salida. La Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA), que supervisa el uso de IA en el ejército, también está financiando un esfuerzo para permitir que los algoritmos de IA expliquen sus decisiones.

En otros casos, el juicio humano será clave para lidiar con el sesgo. Para evitar que los prejuicios humanos raciales y sociales existentes se infiltraran en los algoritmos de HART, la policía de Durham proporcionó a los miembros de su personal sesiones de conciencia sobre el sesgo inconsciente. La fuerza policial también ha tomado medidas para eliminar puntos de datos como los rasgos raciales, lo que podría crear las bases para decisiones sesgadas.

Responsabilidad humana

Desde una perspectiva diferente, los algoritmos de IA pueden proporcionar una oportunidad para reflexionar sobre nuestros propios prejuicios y prejuicios. "El mundo está sesgado, los datos históricos están sesgados, por lo tanto, no es sorprendente que recibamos resultados sesgados", dijo a The Guardian Sandra Wachter, investigadora en ética y algoritmos de datos de la Universidad de Oxford.

Wachter es parte de un equipo de investigación del Instituto Alan Turing en Londres y de la Universidad de Oxford, que publicó un documento en el que pedía regulaciones e instituciones para investigar la posible discriminación por algoritmos de IA.

También hablando con The Guardian , Joanna Bryson, científica de la computación de la Universidad de Bath y coautora de un trabajo de investigación sobre sesgos algorítmicos, dijo: "Mucha gente dice que está demostrando que la IA tiene prejuicios. No. Esto está demostrando que tienes prejuicios y esa IA lo está aprendiendo ".

En 2016, Microsoft lanzó Tay, un bot de Twitter que se suponía que debía aprender de los humanos y entablar conversaciones inteligentes. Pero dentro de las 24 horas posteriores al lanzamiento de Tay, Microsoft tuvo que cerrarlo después de que comenzó a arrojar comentarios racistas, que había recogido de sus conversaciones con los usuarios de Twitter. Quizás este sea un recordatorio de que ya es hora de que los humanos reconozcamos nuestro propio papel en la aparición y propagación del fenómeno de sesgo algorítmico y tomemos medidas colectivas para deshacer sus efectos.

"Esta es una tarea muy complicada, pero es una responsabilidad que nosotros como sociedad no debemos evitar", dice Wachter.