Inside Anthropic’s existential negotiations with the Pentagon

La bataille qui dure depuis des semaines entre Anthropic et le ministère de la Défense s’est déroulée à travers des publications sur les réseaux sociaux, des déclarations publiques d’avertissement et des citations directes de responsables anonymes du Pentagone aux médias. Mais l’avenir de la startup d’IA de 380 milliards de dollars se résume à seulement trois mots : « toute utilisation licite ». Les nouvelles conditions, qu’OpenAI et xAI auraient déjà acceptées, donneraient carte blanche à l’armée américaine pour utiliser des services de surveillance de masse et des armes mortelles autonomes, une IA qui a tout le pouvoir de suivre et de tuer des cibles sans qu’aucun humain ne soit impliqué dans le processus de prise de décision.

Les négociations ont mal tourné, avec le directeur technique du Pentagone, Emil Michael, ancien cadre supérieur de la société de covoiturage Uber, à l’origine des menaces du gouvernement de désigner Anthropic comme un « risque pour la chaîne d’approvisionnement », selon deux personnes proches des négociations. Cette classification est généralement réservée aux menaces à la sécurité nationale, notamment aux influences étrangères malveillantes ou à la cyberguerre. Le PDG d’Anthropic, Dario Amodei, aurait rencontré le secrétaire d’État Pete Hegseth mardi au Pentagone, et un responsable anonyme de la Défense a décrit cette rencontre comme une « réunion de merde ou de s’en sortir ».

Le Pentagone proférant cette menace contre une entreprise américaine est sans précédent. Mais le Pentagone publiquement émettre cette menace est encore plus bizarre.

Pour des raisons de sécurité, le Pentagone ne divulgue pas publiquement quelles entreprises figurent sur ces listes, sans parler de menacer publiquement ces entreprises si leurs points de vue ne concordent pas. En fait, Geoffrey Gertz, chercheur principal au Center for a New American Security (CNAS), a déclaré : Le bord qu’en vertu de la réglementation fédérale actuelle, le Pentagone aurait pu classer l’anthropique comme un risque sans en informer le public ni expliquer pourquoi. “C’est l’étape supplémentaire consistant à essayer de les qualifier spécifiquement de risque pour la sécurité nationale et d’empêcher d’autres entreprises de faire affaire avec Anthropic, qui va bien au-delà ici.”

Si la classification devait être rendue officielle, cela mettrait fin au contrat de 200 millions de dollars d’Anthropic avec le Pentagone, mais cela aurait un effet d’entraînement encore plus dévastateur sur les résultats financiers globaux d’Anthropic. Les principaux sous-traitants de la défense et entreprises technologiques, comme AWS, Palantir et Anduril, utilisent Claude d’Anthropic dans leur travail pour le Pentagone, car il s’agit du premier modèle d’IA autorisé à utiliser des informations classifiées. En termes plus directs : si Anthropic est qualifié de « risque de chaîne d’approvisionnement », toute entreprise qui travaille actuellement avec l’armée ou espère un jour obtenir un contrat militaire devrait abandonner les systèmes d’IA d’Anthropic, qui sont considérés comme parmi les meilleurs de l’industrie. (La veille de la réunion prévue d’Amodei avec Hegseth, le Pentagone a confirmé avoir signé un accord pour utiliser Grok, le modèle d’IA controversé créé par xAI d’Elon Musk, dans des systèmes classifiés. Le Pentagone n’a pas eu de réponse immédiate après une demande de commentaire.)

Cela pourrait être mis en œuvre dans un sens très étroit – ou extrêmement large. “Je soupçonne que l’explication la plus logique serait une définition plus étroite, selon laquelle Anthropic ne peut pas être utilisé dans le cadre d’une déclaration de travail spécifique pour le Pentagone”, a déclaré Gertz. “Mais sur la base de certains rapports et des efforts visant à faire passer cela comme une mesure punitive contre Anthropic, cela vaut la peine de réfléchir à ces deux scénarios.”

Bien que le Pentagone et ses alliés médiatiques aient lancé une campagne pour qualifier Anthropic de « réveillé », ils n’ont pas encore porté de véritables accusations concernant des failles de sécurité ou un potentiel d’espionnage. Au lieu de cela, le conflit porte sur l’application par Anthropic de sa « politique d’utilisation acceptable », selon des personnes proches des discussions internes.

Une source proche du dossier, qui a requis l’anonymat en raison du caractère sensible des négociations, a déclaré Le bord qu’Anthropic a été très clair auprès du gouvernement sur ses lignes rouges, et qu’il y a deux choses étroites que l’entreprise n’acceptera pas : les opérations cinétiques autonomes et la surveillance nationale de masse. Cette dernière, selon la source, est due au fait que « les lois ne sont pas à la hauteur de ce que l’IA peut faire » et qu’elle pourrait porter atteinte aux libertés civiles américaines. Pour les premières – les armes mortelles autonomes – la source a déclaré que la technologie « n’est pas encore là pour des armes entièrement autonomes sans humains en boucle ».

Hamza Chaudhry, responsable de l’IA et de la sécurité nationale au Future of Life Institute, un groupe de recherche non partisan axé sur la gouvernance de l’IA, a noté que les lignes rouges d’Anthropic reflétaient déjà les directives gouvernementales actuelles qui n’ont pas été abrogées.

“La directive 3000.09 du DoD exige que tous les systèmes d’armes autonomes soient conçus de manière à ce que les commandants et les opérateurs soient capables d’exercer des niveaux appropriés de jugement humain sur l’usage de la force et la Déclaration politique sur l’utilisation militaire de l’IA lancée par le gouvernement américain et approuvée par 50 États consacre ce principe”, a-t-il déclaré. Le bord par SMS. « Et la directive 5240.01 du DoD, renforcée par les dispositions de la NDAA pour l’année fiscale 2017 et du processus de mise en œuvre de l’IA responsable de l’ère Trump, interdit aux composants de renseignement de collecter des informations sur des personnes américaines, sauf en vertu d’autorités juridiques spécifiques telles que la FISA ou le titre 50.

“La politique d’utilisation acceptable d’Anthropic reflète ces mêmes lignes, et jusqu’à ce que le Pentagone renonce formellement, clarifie ou mette à jour ces positions politiques, la grande question est de savoir si l’entreprise peut être contrainte de se retirer d’une politique à laquelle le gouvernement lui-même s’est engagé en principe.”

Michael, nommé par Trump et sous-secrétaire à la Défense chargé de la recherche et de l’ingénierie, négocie au nom du Pentagone, un poste souvent décrit comme celui de directeur de la technologie du Pentagone. Le [first source] a décrit Michael, qui s’est bâti une réputation agressive en tant que directeur commercial d’Uber et s’est un jour vanté de mener des recherches d’opposition sur les journalistes, comme un « négociateur coriace ». (Michael a été expulsé d’Uber en 2017, après que le conseil d’administration de l’entreprise a mené une enquête sur la culture de harcèlement sexuel de l’entreprise, déclenchée par lui et plusieurs dirigeants visitant un bar d’escorte sud-coréen.)

“C’est vraiment une question de principe pour Emil”, a déclaré une deuxième personne proche du dossier, affirmant que Michael était mécontent qu’une entreprise privée tente de restreindre l’utilisation de sa technologie par le gouvernement. On ne sait pas si la Maison Blanche ou David Sacks, l’investisseur en capital-risque et puissant tsar de l’IA et de la cryptographie, avaient approuvé à l’avance les tactiques dures de Michael.

À l’heure actuelle, la « politique d’utilisation acceptable » d’Anthropic est intégrée dans un contrat de 200 millions de dollars signé avec le ministère de la Défense en juillet dernier. Dans son annonce, l’entreprise a mentionné à cinq reprises « l’IA responsable ». « Au cœur de ce travail se trouve notre conviction que les technologies les plus puissantes portent la plus grande responsabilité », ont-ils écrit, affirmant que dans le contexte du gouvernement, « où les décisions affectent des millions de personnes et où les enjeux ne pourraient pas être plus élevés », la responsabilité était « essentielle » pour garantir que « le développement de l’IA renforce les valeurs démocratiques à l’échelle mondiale en maintenant le leadership technologique pour se protéger contre les abus autoritaires ».

Mais en janvier, Hegseth a publié une note annonçant que le département deviendrait « une force de combat « IA d’abord » dans toutes les composantes » et que la mention « toute utilisation légale » devrait être intégrée dans tout contrat d’achat de services d’IA dans un délai de 180 jours, y compris les directives existantes.

Dans la note de Hegseth, il a souligné à plusieurs reprises que le ministère donnerait la priorité à la vitesse à tout prix, écrivant que le pays doit « éliminer les obstacles au partage de données… [and] Abordons les compromis en matière de risques, les « actions » et d’autres questions subjectives comme si nous étions en guerre. Il a également déclaré qu’en ce qui concerne le développement et l’expérimentation d’agents d’IA, le département les intégrerait « depuis la planification de la campagne jusqu’à l’exécution de la chaîne de destruction », et transformerait « les informations en armes en quelques heures ».

Hegseth a à plusieurs reprises donné la priorité à la vitesse plutôt qu’à la sécurité et aux erreurs potentielles : « Nous devons accepter que les risques de ne pas avancer assez vite l’emportent sur les risques d’un alignement imparfait. » Il a doublé plus tard dans la note, écrivant qu’une « IA responsable » entraînerait de grands changements au sein du département, à la fois sur le champ de bataille et dans les rangs militaires. « La diversité, l’équité, l’inclusion et l’idéologie sociale n’ont pas leur place dans le DoW », a-t-il écrit, ajoutant que le ministère « doit également utiliser des modèles exempts de contraintes politiques d’utilisation susceptibles de limiter les applications militaires légales ». Semblable au décret anti-« IA réveillée » de Trump, Hegseth a annoncé que les références en matière d’objectivité des modèles seraient un nouveau critère principal d’achat de services d’IA.

OpenAI, xAI et Google ont immédiatement renégocié leurs propres contrats de 200 millions de dollars avec le Pentagone pour s’aligner sur le mémo de Hegseth. Mais aucun des modèles de ces sociétés ne détient une classification de sécurité d’impact de niveau 6, ce qui signifie que ChatGPT, Grok et Gemini ne pourraient pas remplacer immédiatement Claude si Anthropic était mis sur liste noire – une vulnérabilité d’un seul fournisseur qui se retournerait contre le Pentagone.

“Claude est le seul modèle d’IA frontalier fonctionnant sur des réseaux entièrement classifiés du Pentagone, déployé via la plateforme d’IA de Palantir et le cloud Top Secret d’Amazon, ce qui signifie qu’il se situe au centre des flux de travail auxquels la plupart des autres modèles ne peuvent pas encore accéder”, a noté Chaudhry. « La désignation exigerait que chaque entrepreneur de la défense cherchant un travail gouvernemental certifie qu’il a supprimé toute la technologie anthropique de ses systèmes. »

Cela a donné à Anthropic un levier dans ses affrontements avec le Pentagone, qui se sont intensifiés après que l’entreprise aurait appris que ses modèles avaient été utilisés pour capturer le président vénézuélien Nicolás Maduro, violant ainsi leur accord actuel.

Techniquement, Anthropic ne peut pas tenter de se coordonner ou de se regrouper avec les autres laboratoires d’IA qui se voient proposer les nouvelles conditions, même s’ils seraient prêts à accepter, car cela irait à l’encontre des règles fédérales en matière de marchés publics. Mais comme le combat se déroule aux yeux du public, les travailleurs de la technologie, les employés de l’IA et d’autres personnes travaillant ou ayant travaillé dans l’industrie technologique ont exprimé leur frustration face au fait que d’autres entreprises ne se battent pas pour les mêmes conditions qu’Anthropic. D’autres semblaient penser que ce ne serait qu’une question de temps avant qu’Anthropic ne cède.

« Ce serait vraiment le bon moment pour [other labs] “Attendez, qu’est-ce que vous faites avec notre technologie ?”, a déclaré William Fitzgerald, un ancien employé de Google qui dirige maintenant une société de défense appelée The Worker Agency. “Ces gens de laboratoires d’IA ont tellement de pouvoir. Ce sont des équipes plus petites, et elles sont encore en train de façonner qui elles vont être… Je pense qu’elles peuvent justifier leurs évaluations sans le travail militaire. Il existe d’autres moyens de gérer une entreprise sans tuer de personnes dans votre modèle économique.