Cómo las advertencias de noticias falsas de openai desencadenaron noticias falsas reales

El laboratorio de investigación de IA sin fines de lucro OpenAI causó una ola de pánico apocalíptico de IA el mes pasado cuando introdujo una IA de generación de texto de vanguardia llamada GPT-2. Pero aunque celebró los logros de GPT-2, OpenAI declaró que no lanzaría su modelo de IA al público, temiendo que en las manos equivocadas, GPT-2 pudiera usarse con fines maliciosos, como generar artículos de noticias engañosos, hacerse pasar por otros en línea. y automatizar la producción de contenido falso en las redes sociales.

Como era de esperar, el anuncio de OpenAI creó una avalancha de noticias sensacionales, pero si bien cualquier tecnología avanzada puede ser armada, la IA todavía tiene mucho camino por recorrer antes de dominar la generación de texto. Incluso entonces, se necesita más que IA generadora de texto para crear una crisis de noticias falsas. En este sentido, las advertencias de OpenAI fueron exageradas.

AI y lenguaje humano

Las computadoras han tenido dificultades históricamente para manejar el lenguaje humano. Hay tantas complejidades y matices en el texto escrito que convertirlos a reglas de software clásicas es prácticamente imposible. Pero los avances recientes en el aprendizaje profundo y las redes neuronales han allanado el camino para un enfoque diferente para crear software que pueda manejar tareas relacionadas con el lenguaje.

El aprendizaje profundo ha traído grandes mejoras a campos como la traducción automática, el resumen de texto, la respuesta a preguntas y la generación de lenguaje natural. Permite a los ingenieros de software crear algoritmos que desarrollen su propio comportamiento mediante el análisis de muchos ejemplos. Para las tareas relacionadas con el idioma, los ingenieros alimentan las redes neuronales con contenido digitalizado, como historias de noticias, páginas de Wikipedia y publicaciones en redes sociales. Las redes neuronales comparan cuidadosamente los datos y toman nota de cómo ciertas palabras siguen a otras en secuencias recurrentes. Luego convierten estos patrones en ecuaciones matemáticas complejas que los ayudan a resolver tareas relacionadas con el lenguaje, como predecir palabras faltantes en una secuencia de texto. En general, cuantos más datos de capacitación de calidad proporcione a un modelo de aprendizaje profundo, mejor será al realizar su tarea.

Según OpenAI, GPT-2 ha sido entrenado en 8 millones de páginas web y miles de millones de palabras, que es mucho más que otros modelos similares. También utiliza modelos avanzados de IA para aplicar mejor los patrones de texto. El resultado de muestra de GPT-2 muestra que el modelo logra mantener la coherencia en secuencias de texto más largas que sus predecesores.

Pero aunque GPT-2 es un paso adelante en el campo de la generación de lenguaje natural, no es un avance tecnológico hacia la creación de IA que pueda comprender el significado y el contexto del texto escrito. GPT-2 sigue empleando algoritmos para crear secuencias de palabras que son estadísticamente similares a los miles de millones de extractos de texto que ha visto anteriormente, no tiene absolutamente ninguna comprensión de lo que está generando.

En un análisis en profundidad, Tiernan Ray de ZDNet señala varios casos en los que las muestras de salida de GPT-2 traicionan su naturaleza artificial con artefactos bien conocidos como la duplicación de términos y la falta de lógica y consistencia en los hechos. "Cuando GPT-2 avanza para abordar la escritura que requiere un mayor desarrollo de ideas y de lógica, las grietas se abren bastante", señala Ray.

El aprendizaje estadístico puede ayudar a las computadoras a generar texto que sea gramaticalmente correcto, pero se requiere una comprensión conceptual más profunda para mantener la coherencia lógica y objetiva. Desafortunadamente, ese sigue siendo un desafío que las mezclas actuales de IA no han superado. Es por eso que GPT-2 puede generar buenos párrafos de texto, pero probablemente sería difícil generar un artículo auténtico de larga duración o hacerse pasar por alguien de manera convincente y durante un período prolongado de tiempo.

¿Por qué el pánico de las noticias falsas de AI es exagerado?

Otro problema con el razonamiento de OpenAI: supone que la IA puede crear una crisis de noticias falsas.

En 2016, un grupo de adolescentes macedonios difundió noticias falsas sobre las elecciones presidenciales de EE. UU. A millones de personas. Irónicamente, ni siquiera tenían las habilidades de inglés adecuadas; estaban encontrando sus historias en la web y uniendo contenido disparejo. Tuvieron éxito porque crearon sitios web que parecían lo suficientemente auténticos como para convencer a los visitantes de confiar en ellos como fuentes de noticias confiables. Los titulares sensacionales, los usuarios negligentes de las redes sociales y los algoritmos de tendencias hicieron el resto.

Luego, en 2017, actores maliciosos desencadenaron una crisis diplomática en la región del Golfo Pérsico al piratear sitios web de noticias estatales de Qatar y cuentas de redes sociales del gobierno y publicar comentarios falsos en nombre del jeque Tamim bin Hamad Al Thani, el emir de Qatar.

Como muestran estas historias, el éxito de las campañas de noticias falsas depende de establecer (y traicionar) la confianza, no de generar grandes cantidades de texto coherente en inglés.

Sin embargo, las advertencias de OpenAI sobre la automatización de la producción de contenido falso para publicar en las redes sociales están más justificadas, porque la escala y el volumen juegan un papel más importante en las redes sociales que en los medios tradicionales. Se supone que una IA como GPT-2 podrá inundar las redes sociales con millones de publicaciones únicas sobre un tema específico, influyendo en los algoritmos de tendencias y las discusiones públicas.

Pero aún así, las advertencias no llegan a la realidad. En los últimos años, las compañías de redes sociales han estado desarrollando continuamente capacidades para detectar y bloquear el comportamiento automatizado. Por lo tanto, un actor malicioso armado con una IA generadora de texto tendría que superar una serie de desafíos más allá de crear contenido único.

Por ejemplo, necesitarían miles de cuentas falsas de redes sociales en las que publicar su contenido generado por IA. Aún más difícil, para asegurarse de que no haya forma de conectar las cuentas falsas, necesitarían un dispositivo y una dirección IP únicos para cada cuenta.

Se pone peor: las cuentas tendrían que crearse en diferentes momentos, posiblemente durante un año o más, para reducir las similitudes. El año pasado, una investigación del New York Times mostró que las fechas de creación de cuentas por sí solas podrían ayudar a descubrir cuentas de bot. Luego, para ocultar aún más su naturaleza automatizada de otros usuarios y algoritmos de vigilancia, las cuentas tendrían que involucrarse en un comportamiento humano, como interactuar con otros usuarios y establecer un tono único en sus publicaciones.

Ninguno de estos desafíos es imposible de superar, pero muestran que el contenido es solo una parte del esfuerzo necesario para llevar a cabo una campaña de noticias falsas en las redes sociales. Y nuevamente, la confianza juega un papel importante. Algunas personas influyentes de las redes sociales confiables que publican algunas publicaciones de noticias falsas tendrán un mayor impacto que un montón de cuentas desconocidas que generan grandes volúmenes de contenido.

En defensa de las advertencias de OpenAI

Las advertencias exageradas de OpenAI desencadenaron un ciclo de exageración y pánico en los medios que, irónicamente, rayaba en las noticias falsas en sí, lo que provocó críticas de reconocidos expertos en inteligencia artificial.

Invitaron a los medios de comunicación a obtener acceso temprano a los resultados, con un embargo de prensa para que todo se hiciera público el mismo día. Ningún investigador que conozco pudo ver el modelo grande, pero los periodistas sí. Sí, lo hicieron explotar intencionalmente.

- Matt Gardner (@nlpmattg) 19 de febrero de 2019

Cada nuevo ser humano puede ser potencialmente utilizado para generar noticias falsas, difundir teorías de conspiración e influir en las personas.

¿Deberíamos dejar de hacer bebés entonces?

- Yann LeCun (@ylecun) 19 de febrero de 2019

Solo quería informarles a todos, nuestro laboratorio encontró un avance sorprendente en la comprensión del idioma. pero también nos preocupa que pueda caer en las manos equivocadas. así que decidimos desecharlo y solo publicar las cosas regulares * ACL en su lugar. Gran respeto por el equipo por su gran trabajo.

- (((? () (? () 'Yoav)))) (@yoavgo) 15 de febrero de 2019

Zachary Lipton, investigador de IA y editor de Approximately Correct, señaló la historia de OpenAI de "usar su blog y prestar una atención descomunal para catapultar el trabajo inmaduro a la vista del público y, a menudo, representar los aspectos de seguridad humana del trabajo que aún no tienen inteligencia piernas para pararse ".

Aunque OpenAI merece todas las críticas y el calor que recibió a raíz de sus comentarios engañosos, también es correcto estar realmente preocupado por los posibles usos maliciosos de su tecnología, incluso si la compañía utilizó una forma irresponsable de educar al público al respecto.

• El año del juicio ético de la industria de la IA El año del juicio ético de la industria de la IA
• Ventaja injusta: no esperes que la IA juegue como un humano Ventaja injusta: no esperes que la IA juegue como un humano
• Esta IA predice el Trolling en línea antes de que ocurra Esta IA predice el Trolling en línea antes de que ocurra

En los últimos años, hemos visto cómo las tecnologías de inteligencia artificial que se hacen públicas sin pensar y reflexionar pueden ser armadas con intenciones maliciosas. Un ejemplo fue FakeApp, una aplicación de IA que puede intercambiar caras en videos. Poco después del lanzamiento de FakeApp, se usó para crear videos pornográficos falsos que presentaban celebridades y políticos, lo que causaba preocupación por la amenaza de falsificación impulsada por IA.

La decisión de OpenAI muestra que necesitamos hacer una pausa y pensar en las posibles ramificaciones de la publicación de tecnología. Y necesitamos tener discusiones más activas sobre los riesgos de las tecnologías de IA.

"Una organización que detiene un proyecto en particular realmente no va a cambiar nada a largo plazo. Pero OpenAI recibe mucha atención por cualquier cosa que hagan… y creo que deberían ser aplaudidos por poner el foco en este tema", David Bau, un investigador del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT, dijo a Slate.