How chatbots are being used to fact-check content about Israel and Iran : NPR

Une image générée par l’AI-AI d’un avion de chasse abattu en Iran qui a été publiée sur un compte parodie sur X. Les utilisateurs ont demandé à plusieurs reprises le chatbot AI de la plate-forme, Grok, si l’image était réelle.

@ hehe_samir / annotation par npr

cachette

légende de basculement

@ hehe_samir / annotation par npr

Dans les premiers jours qui ont suivi les frappes aériennes surprise d’Israël sur l’Iran, une vidéo a commencé à circuler sur X. Un journal télévisé, raconté en Azeri, montre des images de drones d’un aéroport bombardé. La vidéo a reçu près de 7 millions de vues sur X.

Des centaines d’utilisateurs ont marqué le bot AI intégré de X pour demander: est-ce réel?

Ce n’est pas le cas – la vidéo a été créée avec une IA générative. Mais les réponses de Grok variaient sauvagement, parfois de minute à minute. “La vidéo montre probablement des dégâts réels”, a déclaré une réponse; “Probablement pas authentique”, a déclaré un autre.

Dans un nouveau rapport, les chercheurs du laboratoire de recherche judiciaire numérique ont tabué plus de 300 réponses par Grok au Post.

“Ce que nous voyons, c’est que l’IA a médiatisé l’expérience de la guerre”, a déclaré Emerson Brooking, directeur de la stratégie au DFRLAB, qui fait partie du groupe de politique non partisan The Atlantic Council. Il a co-écrit un livre sur la façon dont les médias sociaux façonnent les perceptions de la guerre.

“Il y a une différence entre expérimenter les conflits uniquement sur une plate-forme de médias sociaux et l’expérimenter avec un compagnon de conversation, qui est infiniment patient, que vous pouvez demander à vous parler de quoi que ce soit”, a déclaré Brooking. “Il s’agit d’une autre étape importante dans la façon dont les publics traiteront et comprendront les conflits armés et la guerre. Et nous sommes juste au début.”

Avec des images et des vidéos générées par l’AI-AI, de plus en plus réalistes, les chercheurs qui étudient les conflits et les informations disent qu’il est devenu plus facile pour les acteurs motivés à diffuser de fausses affirmations et plus difficile pour quiconque de donner un sens aux conflits en fonction de ce qu’ils voient en ligne. Brooking a vu cela s’intensifier depuis l’attaque du Hamas contre Israël le 7 octobre 2023.

“Initialement, une grande partie du matériel généré par l’AI était dans certains efforts de diplomatie publique israéliens en matière de diplomatie justifiant l’escalade contre Gaza”, a déclaré Brooking. “Mais au fil du temps, à partir de l’année dernière avec les premiers échanges de tir entre l’Iran et Israël, l’Iran a également commencé à saturer l’espace avec du matériel de conflit généré par l’AI.”

Les bâtiments détruits et les avions abattus sont parmi les images et vidéos générées par l’AI qui se sont propagées, certaines avec évidente indiquent qu’elles ont été créées avec l’IA mais d’autres avec des signes plus subtils.

“C’est potentiellement le pire que j’ai vu l’environnement d’information au cours des deux dernières années”, a déclaré Isabelle Frances-Wright, directrice de la technologie et de la société à l’Institut à but non lucratif pour le dialogue stratégique. “Je ne peux qu’imaginer ce que ça fait [for] L’utilisateur moyen des médias sociaux sera dans ces flux. “

AI Bots a entré le chat

Les sociétés de médias sociaux et les fabricants de chatbots d’IA n’ont pas partagé de données sur la fréquence à laquelle les gens utilisent des chatbots pour rechercher des informations sur les événements actuels, mais un rapport de Reuters Institute publié en juin a montré qu’environ 7% des utilisateurs dans les dizaines de pays interrogés par l’institut ont fait appel à l’IA pour obtenir des nouvelles. Lorsqu’on lui a demandé des commentaires, X, Openai, Google et Anthropic n’ont pas répondu.

À partir de mars, les utilisateurs de X ont pu poser des questions GROK en le marquant en réponses. Le rapport du DFRLAB a analysé plus de 100 000 publications d’utilisateurs qui marquaient Grok et lui ont posé des questions sur la guerre Israël-Iran dans ses trois premiers jours.

Le rapport a révélé que lorsqu’on lui a demandé de vérifier les faits, Grok fait référence à des notes de la communauté, l’effort de vérification des faits de X de X. Cela a rendu les réponses du chatbot plus cohérentes, mais cela s’est toujours contredit.

La fumée s’élève des emplacements ciblés à Téhéran au milieu du troisième jour des vagues d’Israël de grèves contre l’Iran, le 15 juin. Bien que cette image soit réelle, la prolifération des images générées par l’AI a permis aux campagnes d’influence soutenues par l’État de s’épanouir.

Zara / AFP via des images Getty

cachette

légende de basculement

Zara / AFP via des images Getty

NPR a envoyé des requêtes similaires à d’autres chatbots sur l’authenticité des photos et des vidéos représentant censément la guerre Israël-Iran. Le Chatgpt d’Openai et les Gémeaux de Google ont correctement répondu qu’une image NPR nourrie ne provenait pas du conflit actuel, mais l’a ensuite attribué à d’autres opérations militaires. Claude d’Anthropic a déclaré qu’il ne pouvait pas authentifier le contenu d’une manière ou d’une autre.

Même en demandant aux chatbots des questions plus compliquées que “est-ce réel?” Livré avec ses propres pièges, a déclaré Mike Caulfield, chercheur en littératie et en désinformation numérique. “[People] prendra une photo et ils diront: «Analyser cela pour moi comme si vous étiez analyste de la défense».

Ai et le “dividende du menteur”

“Je ne sais pas pourquoi je dois le dire aux gens, mais vous n’obtenez pas d’informations fiables sur les réseaux sociaux ou un bot d’IA”, a déclaré Hany Farid, un professeur spécialisé dans la criminalistique médiatique à l’Université de Californie à Berkeley.

Farid, qui a lancé des techniques pour détecter les médias synthétiques numériques, a mis en garde contre les chatbots avec désinvolture pour vérifier l’authenticité d’une image ou d’une vidéo. “Si vous ne savez pas quand c’est bon et quand ce n’est pas bon et comment contrebalancer cela avec des techniques médico-légales plus classiques, vous demandez simplement à être menti.”

Il a utilisé certains de ces chatbots dans son travail. “C’est en fait bon pour la reconnaissance des objets et la reconnaissance des modèles”, a déclaré Farid, notant que les chatbots peuvent analyser le style des bâtiments et du type de voitures typiques à un endroit.

La montée en puissance des personnes utilisant des chatbots d’IA comme source de nouvelles coïncide avec les vidéos générées par l’AI-plus réaliste. Ensemble, ces technologies présentent une liste croissante de préoccupations pour les chercheurs.

“Il y a un an, surtout ce que nous avons vu était des images. Les gens sont devenus un peu fatigués ou ménagères, je devrais dire, d’images. Mais maintenant des vidéos complètes, avec des effets sonores – c’est un jeu de balle différent entièrement”, a-t-il déclaré, pointant vers le générateur de texte à vidéo récemment publié de Google, Veo 3.

Les nouvelles technologies sont impressionnantes, a déclaré Farid, mais lui et d’autres chercheurs ont longtemps mis en garde contre le potentiel de l’IA pour renforcer ce qui est connu sous le nom de “dividende du menteur”. C’est à ce moment qu’une personne qui tente d’éviter la responsabilité est plus susceptible de croire par d’autres lorsqu’il affirme que l’incrimination ou la compromission de preuves visuelles contre elle est fabriquée.

Une autre préoccupation pour Farid est la capacité de l’IA à des perceptions considérablement boueuses des événements actuels. Il souligne un exemple des récentes manifestations contre les raids d’immigration du président Trump: le gouverneur de Californie Gavin Newsom a partagé une image de membres activés de la Garde nationale dormant sur le sol à Los Angeles. Le post de Newsom a critiqué la direction de Trump, en disant: “Vous avez envoyé vos troupes ici sans carburant, nourriture, eau ou endroit pour dormir.” Farid a déclaré que les internautes ont commencé à remettre en question l’authenticité de la photo, certains disant qu’il a été généré par l’IA. D’autres l’ont soumis à Chatgpt et on leur a dit que l’image était fausse.

“Et soudain, Internet est devenu fou:” Le gouverneur Newsom a surpris en partageant une fausse image “”, a déclaré Farid, dont l’équipe a pu authentifier la photo. “Alors maintenant, non seulement les gens obtiennent des informations peu fiables de Chatgpt, mais ils mettent des images qui ne correspondent pas à leur récit, ne correspondent pas à l’histoire qu’ils veulent raconter, puis Chatgpt dit:” Ah, c’est faux. ” Et maintenant, nous partons pour les courses. “

Comme les avertissent souvent Farid, ces couches d’incertitude supplémentaires semblent être certain de se jouer de manière dangereuse. “Quand la vraie vidéo des violations des droits de l’homme sort, ou un bombardement, ou quelqu’un qui dit quelque chose d’inapproprié, qui va le croire?” Il a dit. “Si je dis:” 1 Plus 1 est 2 “, et vous dites:” Non, ce n’est pas le cas. C’est de la compote de pommes “- parce que c’est le ténor de la conversation ces jours-ci – je ne sais pas où nous sommes.”

Comment l’IA accélère influence les campagnes

Alors que l’IA générative peut évoquer des nouvelles réalités, Brooking de DFRLAB a déclaré que dans le conflit, l’une des utilisations les plus convaincantes de l’IA est de créer facilement une sorte de dessin animé politique ou un message de propagande évident.

Brooking a déclaré que les gens n’ont pas à croire que le contenu visuel est authentique pour profiter de le partager. L’humour, par exemple, attire beaucoup d’engagement des utilisateurs. Il voit un contenu généré par l’AI à la suite d’un modèle similaire à ce que les chercheurs ont vu avec une satire politique, comme lorsque les titres de L’oignonun journal satirique, est devenu viral.

“[Internet users] signalaient une certaine affinité ou un ensemble de vues en le partageant “, a déclaré Brooking.” Cela exprimait une idée qu’ils avaient déjà. “

Les capacités créatives de l’IA génératrice sont mûres pour une utilisation dans la propagande de toutes sortes, selon Darren Linvill, un professeur de l’Université de Clemson qui étudie comment des États comme la Chine, l’Iran et la Russie utilisent des outils numériques pour la propagande.

“Il y a une campagne très célèbre où les Russes ont planté une histoire dans un journal indien dans les années 80”, a déclaré Linvill. Le KGB a cherché à répandre le faux récit selon lequel le Pentagone était responsable de la création du virus du sida, donc “[the KGB] a planté cette histoire dans un journal qu’ils ont fondé, puis ont utilisé cette histoire originale pour ensuite superposer l’histoire à travers une campagne de blanchiment narrative déterminée dans d’autres points de vente au fil du temps. Mais il a fallu des années à cette histoire pour sortir. “

À mesure que la technologie s’est améliorée, des campagnes d’influence se sont accélérées. “Ils s’engagent dans le même processus en jours et même des heures aujourd’hui”, a déclaré Linvill.

Les recherches de Linvill ont révélé qu’un site de propagande russe était en mesure de maintenir sa persuasion tout en doublant sa production après avoir commencé à utiliser Chatgpt pour aider à rédiger des articles.

Linvill a déclaré que l’IA peut aider avec les campagnes d’influence étrangère à bien des égards, mais que la manière la plus efficace pour que ces messages atteignent réellement un public volontaire sont toujours par le biais de personnes éminentes ou d’influenceurs que les acteurs de l’État paient parfois.

“Ils ont répandu beaucoup de pain sur l’eau, et un certain pourcentage de celui-ci reprend et devient une partie importante de la conversation”, a-t-il déclaré.

Qu’il s’agisse de propagande ou de rechercher des informations dans des moments incertains, Linvill et d’autres chercheurs à qui nous avons parlé ont dit que les idées les plus puissantes peuvent aider à répartir sont celles qui confirment ce que les gens veulent déjà croire.