Un estudio realizado por la BBC revela que nueve de cada diez respuestas de los chatbots de las noticias de IA contienen errores, con problemas de precisión, atribución de fuentes y parcialidad

La inteligencia artificial generativa ha revolucionado la forma en que accedemos a la información, pero su confiabilidad sigue siendo un desafío. Los modelos como ChatGPT, Gemini o Co -ilot usan grandes volúmenes de datos para generar respuestas basadas en patrones aprendidos, pero a menudo mezclan hechos con opiniones, información actual con archivos antiguos y cometen errores de atribución. Esto plantea preocupaciones sobre su uso en la difusión de noticias y confianza pública en estas herramientas.

Un estudio realizado por la BBC ha revelado que nueve de cada diez respuestas generadas por los chatbots de inteligencia artificial en temas actuales contenían algún tipo de problema, y ​​más de la mitad presentó errores significativos. Los investigadores analizaron cuatro respuestas de plataforma: Google Gemini, Copilot de Microsoft, OpenAI Chatgpt y Perplexity. Según el informe, Gemini fue el chatbot con errores más graves (más del 60% de sus respuestas), seguido de copilot, chatgpt y perplejidad, cuyos errores significativos fueron el 40%.

El objetivo del estudio fue evaluar la precisión de estas herramientas y analizar cómo se citaron las fuentes de noticias, incluidos los artículos de la BBC. Durante la investigación, la BBC elevó temporalmente el bloqueo que evita que estos chatbots accedan a su contenido, aunque la restricción se restableció después de la evaluación.

Errores de precisión y desinformación

Uno de los hallazgos más preocupantes fue la inexactitud de muchas respuestas. En el caso de Géminis, el 46% de las respuestas contenía errores significativos, mientras que la perplejidad presentaba problemas en más del 80% de sus respuestas.

Un claro ejemplo de imprecisión ocurrió cuando Gemini dijo que el Servicio Nacional de Salud del Reino Unido (NHS) no recomienda Vapeo como método para dejar de fumar. Sin embargo, la realidad es que el NHS lo recomienda como una alternativa para aquellos que buscan abandonar el tabaco.

Otro caso sorprendente fue Copilot, quien presentó información errónea sobre una víctima de abuso en Francia. Según el chatbot, la mujer descubrió los crímenes cometidos contra ella a través de síntomas como desmayos y pérdida de memoria, cuando realmente fue la policía quien le informó después de encontrar videos incriminatorios.

También se detectaron errores en figuras y fechas. Por ejemplo, Copilot dio un hecho incorrecto sobre la cuota de mercado de Google Chrome, mencionó erróneamente el año de muerte del cantante de One Direction Liam Payne (que en realidad permanece vivo) y calculó mal en tres veces el número de prisioneros liberados bajo un programa de liberación temprana en el Reino Unido.

Además, la perplejidad fue incorrecta al informar sobre la muerte del presentador británico Michael Mosley, atribuyendo declaraciones a su esposa que en realidad no lo hizo, como expresar «alivio» después de su muerte.

Problemas de atribución y sesgo editorial

El estudio también reveló que los chatbots a menudo citaban fuentes incorrectas o usaban información obsoleta. En el caso de Géminis, el 45% de sus respuestas presentaron errores significativos en la atribución de fuentes, y en el 26% de los casos, incluía directamente cualquier referencia.

Otro problema identificado fue la manipulación de la fecha. En ocho casos diferentes, los chatbots alteraron frases tomadas de artículos de la BBC o los atribuyeron incorrectamente. ChatGPT fue el único de los cuatro modelos evaluados que no presentaron este problema.

Además, el estudio encontró que los chatbots tienden a introducir opiniones en sus respuestas sin especificar si provienen de una fuente confiable o si son inferencias generadas por AI. En Copilot y Gemini, al menos el 10% de las respuestas contenían algún tipo de sesgo editorializado. La perplejidad presentó este problema en el 7% de los casos y ChatGPT en un 3%.

Por ejemplo, en una respuesta sobre el primer ministro británico Keir Starmer, Co -Ilot dijo que tenía «un plan integral para abordar los problemas más urgentes en el Reino Unido». Aunque la información citó artículos de la BBC, el estudio señaló que esto podría dar la impresión de que la conclusión provino de la cadena, cuando en realidad era una inferencia no atribuida.

Otra respuesta errónea de Géminis, quien dijo: «Es decisión de cada persona creer si Lucy Letby es inocente o culpable», cuando la realidad es que Letby ya fue condenado en un juicio.

Los chatbots también demostraron confusión en la gestión de información sobre el gobierno del Reino Unido. En varios casos, ChatGPT y Perpleity dijeron que el aumento en la parte superior en los precios de la energía afectó a todo el país, cuando en realidad no se aplicó a Irlanda del Norte, un hecho que apareció en los artículos originales de la BBC.

Regulación y transparencia: un desafío pendiente

El informe concluye que las empresas que desarrollan generativas deberían mejorar sus modelos para garantizar respuestas más precisas y confiables, especialmente en temas actuales. La BBC instó a estas compañías a colaborar con los medios para rectificar los problemas detectados y trabajar en soluciones a largo plazo.

Pete Archer, director del programa generativo de la BBC, dijo que es esencial establecer regulaciones que garanticen la veracidad de las respuestas de estos modelos. También sugirió la creación de un instituto de investigación independiente que evalúa la precisión de la información generada por la IA en las plataformas de noticias.

Por otro lado, Deborah Turness, directora de noticias y noticias de la BBC, advirtió que las herramientas de la IA están «jugando con fuego». En su opinión, los chatbots no diferencian bien entre hechos y opiniones, mezclan información actual con archivos antiguos y tienden a generar respuestas sesgadas. «El resultado es un cóctel confuso que está muy lejos de los hechos verificados que los consumidores esperan y merecen», concluyó.

Este informe refuerza el debate sobre el papel de la inteligencia artificial en el periodismo y plantea la necesidad de mejorar su precisión para evitar la propagación de la información errónea.

REFERENCIA

Representación del contenido de noticias de la BBC en asistentes de IA