Cómo el rompecabezas de google está tratando de desintoxicar internet

Internet puede sentirse como un lugar tóxico. Los trolls descienden en las secciones de comentarios y en los hilos de las redes sociales para lanzar discursos de odio y hostigamiento, convirtiendo las discusiones potencialmente esclarecedoras en ataques ad hominem y acumulaciones grupales. Expresar una opinión en línea a menudo no parece valer el vitriolo resultante.

Las plataformas sociales masivas, incluidas Facebook, Twitter y YouTube, admiten que no pueden controlar adecuadamente estos problemas. Están en una carrera armamentista con bots, trolls y cualquier otro indeseable que se deslice a través de los filtros de contenido. Los humanos no son físicamente capaces de leer cada comentario en la web; quienes lo intentan a menudo se arrepienten.

Los gigantes tecnológicos han experimentado con diversas combinaciones de moderación humana, algoritmos de IA y filtros para atravesar el diluvio de contenido que fluye a través de sus feeds cada día. Jigsaw está tratando de encontrar un punto medio. La subsidiaria e incubadora tecnológica de Alphabet, anteriormente conocida como Google Ideas, está comenzando a demostrar que el aprendizaje automático (ML) convertido en herramientas para moderadores humanos puede cambiar la forma en que abordamos el problema de toxicidad de Internet.

Perspective es una API desarrollada por Jigsaw y el equipo de Google Counter Abuse Technology. Utiliza ML para detectar el abuso y el acoso en línea, y califica los comentarios en función del impacto percibido que podrían tener en una conversación en un intento por facilitar la vida de los moderadores humanos.

Perspectiva en medio de los gritos

La tecnología de código abierto se anunció por primera vez en 2017, aunque el desarrollo comenzó unos años antes. Algunos de los primeros sitios en experimentar con Perspective han sido publicaciones de noticias como The New York Times y sitios como Wikipedia. Pero recientemente, Perspective ha encontrado un hogar en sitios como Reddit y la plataforma de comentarios Disqus (que se usa en PCMag.com).

CJ Adams, gerente de producto de Perspective, dijo que el proyecto quería examinar cómo las voces de las personas se silencian en línea. Jigsaw quería explorar cómo el abuso dirigido o una atmósfera general de acoso pueden crear un efecto escalofriante, desanimando a las personas hasta el punto de sentir que no vale la pena el tiempo o la energía para agregar su voz a una discusión. ¿Con qué frecuencia has visto un tweet, una publicación o un comentario y eliges no responder porque luchar contra los trolls y obtener Mad Online simplemente no vale la pena?

"Es muy fácil arruinar una conversación en línea", dijo Adams. "Es fácil entrar, pero una persona que es realmente mala o tóxica podría expulsar a otras voces. Tal vez 100 personas leen un artículo o comienzan un debate, y a menudo terminas con las voces más fuertes en la sala siendo las únicas que quedan, en un Internet que está optimizado para los gustos y las acciones. Así que silencian todas estas voces. Entonces, lo que define el debate es solo la voz más fuerte en la sala: el grito ".

Jigsaw y Google

Ha sido un año difícil para la empresa hermana de Jigsaw, Google, que se ha enfrentado a problemas de seguridad de datos, rechazo de los empleados por su participación en proyectos para el Pentágono y China, y revelaciones sobre su manejo del acoso sexual. Sin mencionar una polémica audiencia en el Congreso en la que los legisladores interrogaron al CEO Sundar Pichai.

En Jigsaw, la incubadora altruista de Alphabet, las cosas han sido un poco menos dramáticas. El equipo ha dedicado su tiempo a examinar formas más técnicas de censura, como el envenenamiento de DNS con su aplicación Intra y los ataques DDoS con Project Shield. Con Perspectiva, el objetivo es más abstracto. En lugar de utilizar el aprendizaje automático para determinar qué está o no en contra de un conjunto de reglas dado, el desafío de Perspective es intensamente subjetivo: clasificar el impacto emocional del lenguaje.

Para hacer eso, necesita procesamiento de lenguaje natural (PNL), que descompone una oración para detectar patrones. El equipo de Perspective se enfrenta a problemas como el sesgo de confirmación, el pensamiento grupal y el comportamiento de acoso en un entorno donde la tecnología ha ampliado su alcance y los ha hecho más difíciles de resolver.



La IA es "incorrecta y tonta a veces"

Mejorar las conversaciones en línea con el aprendizaje automático no es una tarea sencilla. Sigue siendo un campo emergente de investigación. Los algoritmos pueden estar sesgados, los sistemas de aprendizaje automático requieren un refinamiento sin fin, y los problemas más difíciles e importantes aún están en gran parte inexplorados.

El grupo de investigación Conversation AI, que creó Perspective, comenzó reuniéndose con periódicos, editores y otros sitios que albergan conversaciones. Algunos de los primeros sitios en experimentar con la tecnología fueron The New York Times , Wikipedia, The Guardian y The Economist .

En 2017, el equipo abrió la demostración inicial de Perspective a través de un sitio web público como parte de una prueba alfa, permitiendo a las personas escribir millones de comentarios viles y abusivos en el sitio. Fue algo así como el infame experimento de chatbot Tay de Microsoft, excepto que en lugar de engañar al bot para que respondiera con tweets racistas, Jigsaw utilizó la virulencia de crowdsourcing como datos de entrenamiento para alimentar sus modelos, ayudando a identificar y categorizar diferentes tipos de abuso en línea.

La ejecución de la prueba pública inicial no se realizó sin problemas. Los "Trolls Across America" ​​de Wired, que rompieron la toxicidad al comentar en todo el país sobre la base de la puntuación Perspectiva, mostraron cómo el algoritmo discriminó inadvertidamente a los grupos por raza, identidad de género u orientación sexual.

Adams fue sincero sobre el hecho de que las pruebas iniciales de Perspective revelaron puntos ciegos importantes y sesgos algorítmicos. Al igual que la herramienta de reclutamiento desechada de Amazon, que se entrenó en décadas de datos de trabajo defectuosos y desarrolló un sesgo inherente contra las postulantes, los primeros modelos de Perspectiva tenían defectos evidentes debido a los datos en los que se capacitó.

"En el ejemplo de los grupos con objetivos frecuentes, si observaba la distribución entre los comentarios en el conjunto de datos de capacitación, había una cantidad muy pequeña de comentarios que incluían la palabra 'gay' o 'feminista' y la usaban de manera positiva camino ", explicó Adams. "Los comentarios abusivos usan las palabras como insultos. Entonces el ML, mirando los patrones, diría:" Oye, la presencia de esta palabra es un buen predictor de si este sentimiento es tóxico o no ".

Por ejemplo, el algoritmo alfa podría haber etiquetado erróneamente declaraciones como "Soy un hombre gay orgulloso" o "Soy feminista y transgénero" con altos puntajes de toxicidad. Pero el proceso de capacitación públicamente transparente, aunque doloroso, fue una lección invaluable para Jigsaw en las consecuencias del sesgo no intencionado, dijo Adams.

Al entrenar modelos de aprendizaje automático en algo tan angustiante y personal como el abuso y el acoso en línea, la existencia de sesgos algorítmicos también subraya por qué la IA por sí sola no es la solución. Las compañías sociales como Facebook y YouTube han promocionado las funciones de moderación de contenido de inteligencia artificial de sus plataformas solo para retroceder en medio del escándalo y corregir el curso mediante la contratación de miles de moderadores humanos.

La táctica de Jigsaw es un híbrido de los dos. La perspectiva no son los algoritmos de IA que toman decisiones en el vacío; La API está integrada en las interfaces de gestión comunitaria y moderación de contenido para servir como una herramienta de asistencia para moderadores humanos. Los ingenieros de perspectiva describen la moderación del discurso de odio con y sin ML utilizando una analogía de pajar: la inteligencia artificial ayuda a automatizar el proceso de clasificación, reduciendo los pajar vastos mientras sigue dando a los humanos la última palabra sobre si un comentario se considera abusivo o acoso.

"Es esta nueva capacidad de ML", dijo Adams. "La gente habla de cuán inteligente es la inteligencia artificial, pero a menudo no hablan de todas las formas en que es incorrecto y tonto a veces. Desde el principio, sabíamos que esto iba a cometer muchos errores, y entonces dijimos: 'Esto La herramienta es útil para la moderación humana asistida por máquina, pero no está lista para tomar decisiones automáticas. Pero puede tomar el problema de 'aguja en un pajar' encontrar este discurso tóxico y reducirlo a un puñado de heno ”.



¿Qué es un puntaje de toxicidad?

El aspecto más divisivo del modelado de Perspective es poner números a una variable tan subjetiva como la "toxicidad". Lo primero que Adams señaló es que los puntajes de Perspective son una indicación de probabilidad, no de gravedad. Los números más altos representan una mayor probabilidad de que los patrones en el texto se parezcan a los patrones en los comentarios que las personas han etiquetado como tóxicos.

En cuanto a lo que realmente significa "tóxico", el equipo de Perspectiva lo define en términos generales como "un comentario grosero, irrespetuoso o irracional que probablemente lo haga dejar una discusión". Pero cómo se manifiesta eso puede ser sutil. En 2018, Jigsaw se asoció con el Laboratorio de Inteligencia Artificial de Rhodes (RAIL) para desarrollar modelos de ML que pueden detectar formas más ambiguas de discurso amenazante u odioso, como un comentario despectivo, condescendiente o sarcástico que no es abiertamente hostil.

Hasta este momento, la mayoría de los modelos de Perspective han sido entrenados pidiéndoles a las personas que califiquen los comentarios de Internet en una escala de "muy tóxico" a "muy saludable". Los desarrolladores pueden calibrar el modelo para marcar comentarios por encima de un cierto umbral, de 0.0 a 1.0. Un puntaje superior a 0.9 indica una alta probabilidad de toxicidad, y un puntaje de 0.5 o inferior significa un grado mucho más bajo de certeza algorítmica. Perspective también utiliza lo que se llama normalización de puntaje, que brinda a los desarrolladores una línea de base consistente desde la cual interpretar los puntajes. Adams explicó que, según el foro o el sitio web, los desarrolladores pueden mezclar y combinar modelos. Entonces, cuando a una comunidad no le importa la blasfemia, ese atributo puede ser pesado.

Adams me mostró una interfaz de moderación de demostración integrada con la API Perspective. En el panel de administración, junto a las opciones para ordenar los comentarios por parte superior, más reciente, etc., hay un pequeño icono de bandera para ordenar por toxicidad. También hay un mecanismo de retroalimentación incorporado para que el moderador humano le diga a Perspective que obtuvo un comentario incorrecto y mejora el modelo con el tiempo.

Hizo clic a través de una interfaz de demostración para moderar los comentarios de la página de Wikipedia Talk calificados por diferentes modelos de Perspectiva, y un gráfico de histograma que desglosa qué comentarios pueden ser un ataque a un autor de la página o un ataque a otro comentarista.

"Queremos construir herramientas de moderación asistidas por máquina para marcar las cosas para que un ser humano las revise, pero no queremos que alguna definición central o que alguien diga lo que es bueno o malo", dijo Adams. "Entonces, si clasifico por toxicidad, verá comentarios malos que llegan a la cima. Pero si le importa más, digamos, ataques de identidad o amenazas que métricas como jurar, tal vez no usaría un modelo de toxicidad general. Estos son los ingredientes que puedes mezclar. Ofrecemos estos, y los desarrolladores los sopesan ".

El experimento RAIL está tomando un enfoque más granular. Los estudiantes de posgrado de Oxford están creando un conjunto de datos de decenas de miles de comentarios de la sección de comentarios del periódico canadiense Globe and Mail y las páginas de Wikipedia Talk. Están pidiendo a los "anotadores" humanos que respondan preguntas sobre cada comentario relacionado con cinco sub-atributos del "contenido poco saludable": generalizaciones hostiles o insultantes (trolls), despectivas, condescendientes o condescendientes, sarcásticas e injustas.

Centrarse en estos atributos más sutiles ha revelado nuevos problemas complejos con sesgos involuntarios hacia grupos específicos y falsos positivos con comentarios sarcásticos. Es parte de los dolores de crecimiento de la IA, alimentando modelos cada vez más datos para ayudarlo a comprender los significados indirectos implícitos detrás del habla humana. El equipo aún está revisando y anotando miles de comentarios, y planea lanzar el conjunto de datos final a principios de este año.

"En lo que queremos trabajar es algo en lo que la comunidad pueda calificar un conjunto de comentarios, y luego podamos hacer una combinación personalizada de modelos de Perspectiva para que coincidan", dijo Adams.



El curioso banco de pruebas de Reddit

Reddit es un microcosmos de todo lo bueno y terrible de internet. Hay una comunidad subreddit para cada tema y nicho, extraño interés en el que pueda pensar. Jigsaw no funciona con Reddit a nivel corporativo, pero uno de los lugares más interesantes en los que se está probando la moderación de AI de Perspective es en un subreddit llamado r / changemyview.

Sorprendentemente, hay rincones de Internet donde aún se producen debates y debates genuinos. Cambiar mi vista, o CMV, no es como la mayoría de los demás subreddits. La idea es publicar una opinión que acepte puede ser defectuosa o está abierta a cambios, luego escuchar y comprender otros puntos de vista para ver si pueden cambiar de opinión sobre un tema. Los temas abarcan desde temas mundanos como el orden de visualización adecuado de las películas de Star Wars hasta serias discusiones sobre temas como el racismo, la política, el control de armas y la religión.

Change My View es un banco de pruebas interesante para Perspective porque el subreddit tiene su propio conjunto detallado de reglas para iniciar y moderar conversaciones que incitan a la discusión y al acalorado debate por diseño. Kal Turnbull, que pasa por U / Snorrrlax en Reddit, es el fundador y uno de los moderadores de r / changemyview. Turnbull le dijo a PCMag que la API Perspective se alinea particularmente bien con la Regla 2 del sub, que básicamente prohíbe el discurso grosero u hostil.

"Parece una regla simple, pero tiene muchos matices", dijo Turnbull, quien vive en Escocia. “Es difícil automatizar esta regla sin ser inteligente con el lenguaje. Reddit le ofrece esta cosa llamada AutoModerator, donde puede configurar filtros y palabras clave para marcar. Pero hay tantos falsos positivos, y puede ser bastante difícil de entender, porque alguien puede decir una mala palabra sin insultar a alguien, y también puede insultar a alguien sin usar malas palabras ".

Jigsaw contactó a Turnbull en marzo de 2018. La colaboración comenzó con la Regla 2, pero pronto el equipo también estaba construyendo modelos de Perspectiva para otras reglas. No es una integración completa de la API de Perspectiva de código abierto, sino más bien un bot de Reddit que permite a los moderadores marcar comentarios por encima de un umbral de toxicidad dado.

Durante los últimos seis años, Turnbull y los otros mods han estado haciendo todo esto manualmente desde la cola de informes de AutoModerator (palabras clave marcadas) e informes de usuarios. Jigsaw utilizó años de notas de infracción de las reglas de los moderadores, que rastrearon a través de una extensión del navegador, y construyó modelos Perspective basados ​​en esos datos combinados con algunos de los modelos de toxicidad existentes de Perspective. A lo largo de 2018, los mods de CMV dieron retroalimentación sobre temas como el exceso de falsos positivos, y Jigsaw ajustó los umbrales de puntuación mientras continuaba modelando más reglas de CMV.



Juicios complejos en el debate en línea

(El bot Perspective integrado en la interfaz del moderador Reddit).

La perspectiva no está activa para toda la moderación de reglas del subreddit. Algunas de las reglas más complicadas o abstractas aún están fuera del alcance de lo que este tipo de ML puede entender.

La Regla 4, por ejemplo, gobierna el sistema de puntos Delta del sub, mientras que la Regla B impide que los usuarios jueguen al abogado del diablo o usen una publicación para "jabonar". Una moderación matizada como esa requiere datos contextuales y una comprensión humana simple, para discernir si alguien está discutiendo un punto por razones genuinas o simplemente trolleando.

En el futuro previsible, todavía necesitaremos modificaciones humanas. Estos escenarios de juicio más complejos son donde los moderadores de CMV están comenzando a ver grietas en el modelado de IA, y una automatización más inteligente podría determinar si todo esto es escalable.

"Creo que la razón por la cual esto es tan complicado es porque es una combinación de nuestro juicio sobre su publicación original y sus interacciones a lo largo de toda la conversación. Por lo tanto, no es solo un comentario lo que desencadena un modelo", dijo Turnbull. "Si un argumento va y viene, y al final hay un comentario que dice 'gracias' o un reconocimiento, lo dejamos ir incluso si una regla se rompió anteriormente en el hilo. O una broma alegre en contexto puede parecer grosero, es algo agradable y humano, y eso es algo que el bot aún no entiende ".

Change My View es el único subreddit que usa activamente modelos de Perspective ML para moderación en este momento, aunque Adams dijo que el equipo ha recibido solicitudes de acceso de varios otros. El conjunto de reglas específicas de CMV lo convirtió en un caso de prueba ideal, pero los modelos de Perspectiva son maleables; subreddits individuales pueden personalizar el algoritmo de puntuación para que coincida con las pautas de su comunidad.

El siguiente paso para Turnbull es sacar el CMV de Reddit porque la comunidad lo está superando, dijo. Durante los últimos seis meses, la nueva startup formada por los moderadores ha estado trabajando con Jigsaw en un sitio dedicado con una funcionalidad más profunda que la interfaz mod de Reddit y los bots pueden proporcionar.

El proyecto todavía está en pruebas alfa, pero Turnbull habló sobre características tales como alertas proactivas cuando un usuario está escribiendo un comentario que puede romper una regla, informes integrados para dar a los moderadores más contexto y datos históricos para tomar decisiones. Turnbull enfatizó que no hay planes para cerrar o migrar el subreddit, pero está entusiasmado con el nuevo experimento.

• Todos los comentarios se ajustan para imprimir

  Dependiendo del día de la semana, el sitio web del New York Times recibe entre 12, 000 y más de 18, 000 comentarios. Hasta mediados de 2017, las secciones de comentarios del documento fueron moderadas por un personal de gestión comunitaria a tiempo completo que leyó cada comentario y decidió si aprobarlo o rechazarlo.

  Bassey Etim, quien hasta este mes era el editor de la comunidad para el Times , pasó una década en el escritorio de la comunidad y fue su editor desde 2014. En el apogeo de un día laborable, el equipo podría tener algunas personas moderando comentarios sobre historias de opinión, mientras que otros abordaron noticias. Una hoja de cálculo se dividió y rastreó diferentes responsabilidades, pero el equipo de aproximadamente una docena de personas fue reasignado o movido constantemente dependiendo de las principales noticias del momento. También enviaron noticias de los comentarios a los reporteros sobre el potencial forraje de la historia.

  Finalmente, quedó claro que esto era más de 12 humanos que podían manejar. Las secciones de comentarios sobre historias tendrían que cerrarse después de alcanzar un número máximo de comentarios que el equipo podría moderar.

  El grupo de desarrollo de audiencia del periódico ya había estado experimentando con el aprendizaje automático para obtener aprobaciones de comentarios básicas y obvias, pero Etim dijo que no era particularmente inteligente o personalizable. The Times anunció por primera vez su asociación con Jigsaw en septiembre de 2016. Desde entonces, sus secciones de comentarios se han expandido de aparecer en menos del 10 por ciento de todas las historias a alrededor del 30 por ciento en la actualidad y escalar.

  Desde la perspectiva de Jigsaw, la incubadora vio la oportunidad de alimentar los datos anónimos de Perspective de millones de comentarios por día, moderados por profesionales que podrían ayudar a refinar el proceso. A cambio de los datos anónimos de entrenamiento de ML, Jigsaw y Times trabajaron juntos para construir una plataforma llamada Moderator, que se lanzó en junio de 2017.



Moderador interno, la interfaz de comentarios de NYT

(Imagen cortesía de The New York Times )

Moderator combina los modelos de Perspective con más de 16 millones de comentarios anónimos y moderados de Times desde 2007.

Lo que el equipo de la comunidad realmente ve en la interfaz del moderador es un tablero con un gráfico de histograma interactivo que visualiza el desglose de comentarios por encima de un cierto umbral. Pueden arrastrar el control deslizante hacia adelante y hacia atrás, por ejemplo, para aprobar automáticamente todos los comentarios con solo un puntaje de resumen del 0 al 20 por ciento, que se basa en una combinación del potencial de un comentario de obscenidad, toxicidad y probabilidad de ser rechazado. A continuación hay botones de moderación rápida para aprobar o rechazar un comentario, diferirlo o etiquetarlo para continuar mejorando el modelado de Perspective.

"Para cada sección del sitio web, analizamos los comentarios entrantes y la forma en que Perspective los etiquetaría. Utilizamos los modelos Perspective públicos y nuestros propios modelos exclusivos de The New York Times ", dijo Etim. "Analizaría los comentarios de cada sección y trataría de encontrar el punto de corte en el que nos sintiéramos cómodos diciendo: 'OK, todo lo que esté por encima de esta probabilidad usando estas etiquetas de toxicidad específicas, como la obscenidad, por ejemplo, lo vamos a aprobar".

El aprendizaje automático está aprobando un porcentaje comparativamente pequeño de comentarios (alrededor del 25 por ciento más o menos, según Etim) a medida que el Times trabaja para implementar comentarios sobre más historias y, en última instancia, incluso para personalizar cómo los modelos filtran y aprueban comentarios para diferentes secciones del sitio. Los modelos solo aprueban comentarios; el rechazo todavía es manejado completamente por moderadores humanos.

Esos cortes de comentarios manuales se han ido. Los comentarios generalmente se cierran en una historia, ya sea 24 horas después de que se publica en línea o el día después de que se publica en forma impresa, dijo Etim.

'No te estamos reemplazando con máquinas'

La siguiente fase es construir más funciones en el sistema para ayudar a los moderadores a priorizar qué comentarios mirar primero. Cada vez más, la automatización de lo que siempre ha sido un proceso manual ha permitido que los moderadores pasen tiempo trabajando proactivamente con los reporteros para responder a los comentarios. Se creó un ciclo de retroalimentación donde los comentarios conducen a informes de seguimiento e historias adicionales: pueden ahorrar y reasignar recursos para crear más periodismo.

"El moderador y la perspectiva han hecho que el Times sea mucho más receptivo a las inquietudes de los lectores, porque tenemos los recursos para hacerlo, ya sea escribiendo historias nosotros mismos o trabajando con reporteros para resolver las historias", dijo Etim. "Lo bueno de este proyecto es que no despedimos a nadie. No lo estamos reemplazando por máquinas. Simplemente estamos usando a los humanos que tenemos de manera más eficiente y para tomar decisiones realmente difíciles".

El documento está abierto a trabajar con otras publicaciones para ayudar al resto de la industria a implementar este tipo de tecnología. Puede ayudar a los medios de comunicación locales con recursos limitados a mantener secciones de comentarios sin un gran personal dedicado y utilizar los comentarios como lo hace el Times , para encontrar posibles clientes potenciales y alimentar el periodismo de base.

Etim comparó la moderación asistida por IA con darle a un agricultor un arado mecánico frente a una pala. Puedes hacer el trabajo mucho mejor con un arado.

"Si Perspective puede evolucionar de la manera correcta, con suerte, puede crear al menos un conjunto de pautas que sean repetibles para pequeños puntos de venta", dijo. "Es un juego largo, pero ya hemos establecido una gran parte de la base para ser parte de esa experiencia del lector. Entonces, tal vez estos periódicos locales puedan tener comentarios nuevamente y establecer una pequeña cabeza de playa contra los principales actores sociales".



Gritando al abismo

En este punto, la mayoría de nosotros hemos visto personas atacadas o acosadas en las redes sociales por expresar una opinión. Nadie quiere que les suceda, excepto los trolls que prosperan en ese tipo de cosas. Y hemos aprendido que gritarle a un extraño que nunca escuchará un argumento racional no es un uso valioso de nuestro tiempo.

La perspectiva está tratando de cambiar esa dinámica, pero CJ Adams dijo que el objetivo más amplio es publicar datos, investigaciones y nuevos modelos UX de código abierto para crear nuevas estructuras de conversación, una tarea desalentadora. Hacer de Internet un lugar saludable que valga el tiempo de las personas significa escalar estos sistemas más allá de las secciones de comentarios de noticias y subreddits. En última instancia, las herramientas de inteligencia artificial deben ser capaces de manejar las gigantescas aplicaciones y redes sociales que dominan nuestras interacciones digitales cotidianas.

Dejando de lado lo que Facebook, Twitter y otros gigantes sociales están haciendo internamente, la forma más directa de lograr esto es llevar la tecnología de los moderadores a los propios usuarios. Adams señaló al Proyecto Coral para tener una idea de cómo podría ser eso.

El Proyecto Coral se fundó inicialmente como una colaboración entre la Fundación Mozilla, The New York Times y el Washington Post. Coral está construyendo herramientas de código abierto, como su plataforma Talk, para alentar la discusión en línea y ofrecer a los sitios de noticias una alternativa para cerrar las secciones de comentarios. Talk actualmente impulsa plataformas para casi 50 editores en línea, incluidos The Post , New York Magazine, The Wall Street Journal y The Intercept.

A principios de este mes, Vox Media adquirió el Proyecto Coral de la Fundación Mozilla; planea "integrarlo profundamente" en Chorus, su plataforma de gestión de contenidos y narración de historias.

Perspective tiene un complemento para el Proyecto Coral que utiliza la misma tecnología subyacente (puntajes y umbrales de toxicidad basados ​​en ML) para brindar a los usuarios sugerencias proactivas mientras escriben, dijo Adams. Entonces, cuando un usuario escribe un comentario que contiene frases marcadas como abuso o acoso, puede aparecer una notificación para el usuario que diga: "Antes de publicar esto, asegúrese de recordar nuestras pautas comunitarias" o "El idioma en este comentario puede violar nuestro directrices de la comunidad. Nuestro equipo de moderación lo revisará en breve ".

"Ese pequeño empujón puede ayudar a las personas a tomarse ese segundo para pensar, pero tampoco bloquea a nadie", dijo Adams. "No está deteniendo la discusión".

Es un mecanismo que las plataformas de transmisión y chat de videojuegos han integrado para detener el abuso y el acoso. Los usuarios de Twitter también podrían beneficiarse claramente de dicho sistema.

Habla de una idea que el científico investigador del MIT Andrew Lippmann mencionó en el número futuro de PCMag: habló sobre los mecanismos integrados que permitirían a las personas detenerse y pensar antes de compartir algo en línea, para ayudar a detener la propagación de la desinformación. El concepto también se aplica a la discusión en línea. Hemos creado sistemas de comunicación sin fricción capaces de amplificar el alcance de una declaración exponencialmente en un instante, pero a veces un poco de fricción puede ser algo bueno, dijo Lippmann.

La perspectiva no se trata de usar la IA como una solución general. Es una forma de moldear modelos de ML en herramientas para humanos para ayudarlos a curar sus propias experiencias. Pero un contrapunto es que si hace que sea aún más fácil para las personas desconectar el ruido en línea que no les gusta, Internet se convertirá aún más en una cámara de eco de lo que ya es.

Cuando se le preguntó si herramientas como Perspective podrían exacerbar esto, Adams dijo que cree que las cámaras de eco en línea existen porque no hay mecanismos para organizar una discusión donde las personas puedan estar en desacuerdo de manera significativa.

"El camino de menor resistencia es 'Estas personas están peleando. Dejémosles que estén de acuerdo consigo mismos en sus propios rincones. Dejen que las personas se silben' ', dijo. "Dejas que la gente grite a todos fuera de la sala, o cierras la discusión. Queremos que Perspective cree una tercera opción".

Adams presentó un escenario de muestra. Si le preguntas a una habitación de 1, 000 personas, "¿Cuántos de ustedes leyeron hoy algo que realmente les importó?" La mayoría de los usuarios de Internet señalarán un artículo, un tweet, una publicación o algo que lean en línea. Pero si luego les preguntas: "¿Cuántos de ustedes pensaron que valía la pena comentarlo o tener una discusión?" Todas las manos en la habitación se caerán.

"Para muchos de nosotros, simplemente no vale la pena el esfuerzo. La estructura de discusión que tenemos en este momento solo significa que es una responsabilidad. Si tiene un pensamiento razonable actual o algo que desea compartir, para la mayoría de las personas, no lo hacen". No quiero participar ", dijo Adams. "Eso significa que de esas 1, 000 personas que podrían estar en la sala, solo tienes un puñado representado en la discusión; digamos, 10 personas. Tengo una profunda fe en que podemos construir una estructura que permita que los otros 990 vuelvan a la discusión y lo hace de una manera que les parece que vale la pena ".