Una nueva investigación sugiere que grupos de legos relativamente pequeños y políticamente equilibrados podrían hacer un trabajo confiable de verificación de noticias por una fracción del costo actual.
Créditos de la imagen Gerd Altmann.
Un estudio de investigadores del MIT informa que la verificación de hechos de colaboración colectiva puede no ser una mala idea. Los grupos de lectores normales y cotidianos pueden ser prácticamente tan efectivos como los verificadores de hechos profesionales, explica, para evaluar la veracidad de las noticias a partir del titular y las oraciones principales de un artículo. Este enfoque, explica el equipo, podría ayudar a abordar nuestro problema actual de desinformación al aumentar la cantidad de verificadores de hechos disponibles para seleccionar contenido a precios más bajos de lo que es posible actualmente.
Poder para el pueblo
Un problema con la verificación de hechos es que hay demasiado contenido para que los verificadores de hechos profesionales puedan cubrir, especialmente dentro de un marco de tiempo razonable, dice Jennifer Allen, Ph.D. estudiante de MIT Sloan School of Management y coautor de un artículo recientemente publicado que detalla el estudio.
Seamos realistas, todos estaban en las redes sociales, y todos hemos visto alguna desinformación flagrante por ahí. Que la gente lanzaba me gusta o retweets, solo para colmo de males. Se han planteado una y otra vez llamados a tener plataformas que moderen mejor el contenido. Evitando la cuestión de dónde termina exactamente la moderación y comienza la manipulación o la censura, un problema práctico que bloquea tales esfuerzos es el volumen de trabajo. Hay mucho contenido en el mundo en línea, y cada día se publica más. Por el contrario, los verificadores de datos profesionales son pocos y distantes entre sí, y no disfrutan de grandes elogios ni salarios altos, por lo que no muchas personas planean convertirse en uno.
Con eso en mente, los autores querían determinar si los verificadores de hechos no profesionales podrían ayudar a bloquear el flujo de malas noticias. Resulta que pueden si juntan suficientes de ellos. Según los hallazgos, la precisión de los juicios de crowdsourcing de grupos de lectores normales relativamente pequeños y políticamente equilibrados puede ser prácticamente tan precisa como la de los verificadores de hechos profesionales.
El estudio examinó más de 200 piezas de noticias que los algoritmos de Facebook marcaron como que requerían un mayor escrutinio. Se marcaron por su contenido, por la velocidad y la escala a la que se compartían o por cubrir temas como la salud. Los participantes, 1128 residentes de EE. UU., fueron reclutados a través de la plataforma Mechanical Turk de Amazon.
Nos pareció alentador, dice Allen. La calificación promedio de una multitud de 10 a 15 personas también se correlacionó con los juicios de los verificadores de hechos, ya que los verificadores de hechos se correlacionaron entre sí. Esto ayuda con el problema de la escalabilidad porque estos evaluadores eran personas normales sin capacitación en verificación de hechos, y solo leen los titulares y las oraciones principales sin dedicar tiempo a investigar.
A los participantes se les mostró el titular y la oración principal de 20 noticias y se les pidió que las calificaran en siete dimensiones: cuán precisos, verdaderos, confiables, dignos de confianza, objetivos e imparciales eran, y cuánto describían un evento que en realidad sucedió. Estos se agruparon para generar una puntuación general para cada categoría.
Luego, estos puntajes se compararon con los veredictos de tres verificadores de hechos profesionales, quienes evaluaron las 207 historias involucradas en el estudio después de investigar cada una. Aunque las calificaciones que produjeron estos tres estaban altamente correlacionadas entre sí, no estaban de acuerdo en todo lo que, según el equipo, es parte del curso cuando se estudia la verificación de hechos. Más concretamente, estos verificadores de hechos acordaron el veredicto sobre historias individuales en el 49% de las historias. Dos de los tres estuvieron de acuerdo en un veredicto con el tercero en desacuerdo en el 42 %, y los tres estuvieron en desacuerdo en un veredicto en el 9 % de las historias.
Cuando los participantes lectores habituales se clasificaron en grupos con números iguales de demócratas y republicanos, las calificaciones promedio estuvieron altamente correlacionadas con las de los verificadores de hechos profesionales. Cuando estos grupos equilibrados se ampliaron para incluir entre 12 y 20 participantes, sus calificaciones estaban tan fuertemente correlacionadas con las de los verificadores de datos como lo estaban los verificadores entre sí. En esencia, estos grupos igualaron el desempeño de los verificadores de hechos, explican los autores. Se pidió a los participantes que realizaran una prueba de conocimiento político y una prueba de su tendencia a pensar analíticamente.
En general, las calificaciones de las personas que estaban mejor informadas sobre temas cívicos y comprometidas con un pensamiento más analítico estaban más alineadas con las de los verificadores de hechos.
A juzgar por estos hallazgos, explican los autores, el crowdsourcing podría permitir que la verificación de datos se implemente a gran escala a bajo costo. Estiman que el costo de tener noticias verificadas de esta manera se redondea a aproximadamente $0.90 por historia. Esto no significa que el sistema esté listo para implementarse o que pueda solucionar el problema por sí solo. Deben establecerse mecanismos para garantizar que los partisanos, por ejemplo, no puedan alterar dicho sistema.
Todavía no hemos probado esto en un entorno en el que cualquiera pueda participar, señala Allen. Las plataformas no necesariamente deben esperar que otras estrategias de crowdsourcing produzcan resultados igualmente positivos.
A la mayoría de las personas no les importa la política y les importa lo suficiente como para tratar de influir en las cosas, dice David Rand, profesor de MIT Sloan y coautor principal del estudio. Pero la preocupación es que si permite que las personas califiquen cualquier contenido que quieran, las únicas personas que lo harán serán las que quieran jugar con el sistema. Aún así, para mí, una preocupación mayor que ser abrumado por fanáticos es el problema de que nadie lo haría. Es un problema clásico de bienes públicos: la sociedad en general se beneficia de que las personas identifiquen información errónea, pero ¿por qué los usuarios deberían molestarse en invertir el tiempo y el esfuerzo para dar calificaciones?
El artículo Scaling up fact-checking usando la sabiduría de las multitudes se ha publicado en la revista Science Advances .
"