Las personas aparentemente encuentran los tweets más convincentes cuando son escritos por modelos de lenguaje de IA. Al menos, ese fue el caso en un nuevo estudio que comparó el contenido creado por humanos con el lenguaje generado por el modelo GPT-3 de OpenAI.
Los autores de la nueva investigación encuestaron a las personas para ver si podían discernir si un tweet fue escrito por otra persona o por Chat-GPT. ¿El resultado? Las personas no pudieron realmente saberlo. La encuesta también les preguntó si consideraban que la información en cada tweet era verdadera o no. Aquí es donde las cosas se complican aún más, especialmente porque el contenido se centró en temas científicos como vacunas y cambio climático, que son objeto de muchas campañas de desinformación en línea.
Resulta que los participantes del estudio tuvieron más dificultades para reconocer la desinformación si fue escrita por el modelo de lenguaje que si fue escrita por otra persona.
En otras palabras, las personas en el estudio confiaban más en GPT-3 que en otros seres humanos, independientemente de la precisión de la información generada por IA. Y eso muestra cuán poderosos pueden ser los modelos de lenguaje de IA cuando se trata de informar o engañar al público.
"Estos tipos de tecnologías, que son increíbles, podrían ser fácilmente utilizados para generar tormentas de desinformación sobre cualquier tema que elijas", dice Giovanni Spitale, autor principal del estudio e investigador postdoctoral y gerente de datos de investigación en el Instituto de Ética Biomédica e Historia de la Medicina de la Universidad de Zurich.
Pero eso no tiene que ser así, dice Spitale. Hay formas de desarrollar la tecnología para que sea más difícil utilizarla para promover la desinformación. "No es inherentemente bueno o malo. Es simplemente un amplificador de la intencionalidad humana", dice.
Spitale y sus colegas recopilaron publicaciones de Twitter que discutían 11 temas científicos diferentes, desde vacunas y COVID-19 hasta cambio climático y evolución. Luego, hicieron que GPT-3 escribiera nuevos tweets con información precisa o incorrecta. El equipo luego recolectó respuestas de 697 participantes en línea a través de anuncios en Facebook en 2022. Todos ellos hablaban inglés y principalmente provenían del Reino Unido, Australia, Canadá, Estados Unidos e Irlanda. Los resultados fueron publicados hoy en el diario Science Advances.
El contenido que escribió GPT-3 era "indistinguible" del contenido orgánico
El estudio concluyó que el contenido que escribió GPT-3 era "indistinguible" del contenido orgánico. Las personas encuestadas simplemente no pudieron encontrar la diferencia. De hecho, el estudio señala que una de sus limitaciones es que los propios investigadores no pueden estar seguros al 100 por ciento de que los tweets que recopilaron en las redes sociales no fueron escritos con la ayuda de aplicaciones como ChatGPT.
También hay otras limitaciones a tener en cuenta en este estudio, como que los participantes tuvieron que juzgar los tweets sin contexto. No pudieron revisar el perfil de Twitter de quien escribió el contenido, por ejemplo, lo que podría ayudarles a determinar si es un bot o no. Incluso ver los tweets anteriores y la imagen de perfil de una cuenta podría facilitar la identificación de si el contenido asociado con esa cuenta podría ser engañoso.
Los participantes tuvieron más éxito al identificar la desinformación escrita por usuarios reales de Twitter. Los tweets generados por GPT-3 con información falsa fueron ligeramente más efectivos para engañar a los participantes de la encuesta. Y a estas alturas, existen modelos de lenguaje grandes y avanzados que podrían ser incluso más convincentes que GPT-3. ChatGPT está impulsado por el modelo GPT-3.5, y la popular aplicación ofrece una suscripción para usuarios que deseen acceder al nuevo modelo GPT-4.
Ya existen, por supuesto, muchos ejemplos reales de modelos de lenguaje siendo incorrectos. Después de todo, "estas herramientas de IA son sistemas de autocompletado masivo, entrenados para predecir qué palabra sigue a la siguiente en una oración dada. Como tal, no tienen una base de datos codificada de 'hechos' a los que recurrir, solo la capacidad de escribir declaraciones que suenan plausibles".
