AI can now be used to design brand-new viruses. Can we stop it from making the next devastating bioweapon?
Les scientifiques ont utilisé l’intelligence artificielle (IA) Pour construire de nouveaux virus, ouvrant la porte à des formes de vie conçues par l’IA.
Le virus sont suffisamment différents, des souches existantes pour potentiellement être considérées comme de nouvelles espèces. Ce sont des bactériophages, ce qui signifie qu’ils attaquent les bactéries, pas les humains, et les auteurs de l’étude ont pris des mesures pour s’assurer que leurs modèles ne pouvaient pas concevoir des virus capables d’infecter les personnes, les animaux ou les plantes.
Dans l’étude, publiée jeudi 2 octobre dans la revue Scienceles chercheurs de Microsoft ont révélé que l’IA peut contourner les mesures de sécurité qui empêcheraient autrement les mauvais acteurs de commander des molécules toxiques des sociétés d’approvisionnement, par exemple.
Après avoir découvert cette vulnérabilité, l’équipe de recherche s’est précipitée pour créer des correctifs logiciels qui réduisent considérablement le risque. Ce logiciel nécessite actuellement une expertise spécialisée et un accès à des outils particuliers que la plupart des gens du public ne peuvent pas utiliser.
Combinés, les nouvelles études mettent en évidence le risque que l’IA puisse concevoir une nouvelle forme de vie ou une arme de biow qui constitue une menace pour les humains – potentiellement libérer une pandémie, dans le pire des cas. Jusqu’à présent, l’IA n’a pas cette capacité. Mais les experts disent qu’un avenir où il fait n’est pas si loin.
Pour empêcher l’IA de poser un danger, disent les experts, nous devons construire des systèmes de sécurité multicouches, avec de meilleurs outils de dépistage et des réglementations évolutives régissant la synthèse biologique basée sur l’IA.
Le problème à double usage
Au cœur du problème avec les virus conçus par l’IA, les protéines et autres produits biologiques est ce que l’on appelle le «problème à double usage». Cela fait référence à toute technologie ou recherche qui pourrait avoir des avantages, mais pourrait également être utilisée pour nuire intentionnellement.
Un scientifique étudiant les maladies infectieuses pourrait vouloir génétiquement Modifiez un virus pour apprendre ce qui le rend plus transmissible. Mais quelqu’un visant à déclencher la pandémie suivante pourrait utiliser cette même recherche pour concevoir un pathogène parfait. La recherche sur la livraison de médicaments sur aérosol peut aider les personnes souffrant d’asthme en conduisant à des inhalateurs plus efficaces, mais les conceptions pourraient également être utilisées pour livrer des armes chimiques.
Doctorant de Stanford Sam King et son superviseur Brian Hieprofesseur adjoint de génie chimique, était au courant de cette épée à double tranchant. Ils voulaient construire de nouveaux bactériophages – ou des «phages», pour faire court – qui pourraient traquer et tuer des bactéries chez les patients infectés. Leurs efforts ont été décrits dans une préimprimée téléchargée sur le biorxiv Base de données en septembre, et ils n’ont pas encore été examinés par des pairs.
Phages proie des bactéries et des bactériophages que les scientifiques ont échantillonné de l’environnement et cultivé en laboratoire sont déjà testés en tant que modules complémentaires potentiels ou alternatives aux antibiotiques. Cela pourrait aider à résoudre le problème de résistance aux antibiotiques et sauver des vies. Mais les phages sont des virus, et certains virus sont dangereux pour l’homme, ce qui augmente la possibilité théorique que l’équipe puisse créer par inadvertance un virus qui pourrait nuire aux gens.
Les chercheurs ont anticipé ce risque et ont essayé de le réduire en veillant à ce que leurs modèles d’IA n’étaient pas formés sur des virus qui infectent les humains ou tout autre eucaryotes – le domaine de la vie qui comprend les plantes, les animaux et tout ce qui n’est pas une bactérie ou une archéa. Ils ont testé les modèles pour s’assurer qu’ils ne pouvaient pas trouver indépendamment des virus similaires à ceux connus pour infecter les plantes ou les animaux.
Avec des garanties en place, ils ont demandé à l’IA de modéliser ses conceptions sur un phage déjà largement utilisé dans les études de laboratoire. Quiconque cherche à construire un virus mortel aurait probablement plus de facilité à utiliser des méthodes plus anciennes qui existent depuis plus longtemps, a déclaré King.
“L’état de cette méthode en ce moment est qu’il est assez difficile et nécessite beaucoup d’expertise et de temps”, a déclaré King à Live Science. “Nous pensons que cela n’abaisse pas actuellement la barrière à des applications plus dangereuses.”
Centrage de la sécurité
Mais dans un domaine en évolution rapide, de telles mesures de précaution sont inventées en déplacement, et il n’est pas encore clair quelles normes de sécurité seront finalement suffisantes. Les chercheurs disent que la réglementation devra équilibrer les risques de la biologie compatible AI avec les avantages. De plus, les chercheurs devront anticiper comment les modèles d’IA pourraient se fouler autour des obstacles placés devant eux.
“Ces modèles sont intelligents”, a déclaré Tina Hernandez-Boussardprofesseur de médecine à la Stanford University School of Medicine, qui a consulté la sécurité des modèles d’IA sur les repères de séquence virale utilisés dans la nouvelle étude préimprémit. “Vous devez vous rappeler que ces modèles sont conçus pour avoir les performances les plus élevées, donc une fois qu’ils ont donné des données de formation, ils peuvent remplacer les garanties.”
Réfléchir attentivement à ce qu’il faut inclure et exclure des données de formation de l’IA est une considération fondamentale qui peut aborder de nombreux problèmes de sécurité sur la route, a-t-elle déclaré. Dans l’étude des phages, les chercheurs ont retenu les données sur les virus qui infectent les eucaryotes du modèle. Ils ont également effectué des tests pour s’assurer que les modèles ne pouvaient pas trouver indépendamment des séquences génétiques qui rendraient leurs bactériophages dangereux pour l’homme – et les modèles ne l’ont pas fait.
Un autre fil dans le filet de sécurité de l’IA implique la traduction de la conception de l’IA – une chaîne d’instructions génétiques – en une protéine, un virus ou un autre produit biologique fonctionnel. De nombreuses sociétés d’approvisionnement en biotechnologie de premier plan utilisent un logiciel pour s’assurer que leurs clients ne commandent pas de molécules toxiques, bien que l’utilisation de ce dépistage soit volontaire.
Mais dans leur nouvelle étude, les chercheurs Microsoft Eric Horvitzle chef des sciences de l’entreprise, et Bruce Wittmanun scientifique appliqué senior, a constaté que le logiciel de dépistage existant pouvait être dupe par les conceptions de l’IA. Ces programmes comparent les séquences génétiques dans un ordre aux séquences génétiques connues pour produire des protéines toxiques. Mais l’IA peut générer des séquences génétiques très différentes qui sont susceptibles de coder pour la même fonction toxique. En tant que tels, ces séquences générées par l’IA ne soulèvent pas nécessairement un drapeau rouge au logiciel.
Il y avait une tension évidente dans l’air chez les pairs examinateurs.
Eric Horvitz, Microsoft
Les chercheurs ont emprunté un processus à la cybersécurité aux experts de confiance et aux organisations professionnelles d’alerte à ce problème et ont lancé une collaboration pour corriger le logiciel. “Des mois plus tard, les patchs ont été déployés à l’échelle mondiale pour renforcer le dépistage de la biosécurité”, a déclaré Horvitz lors d’une conférence de presse du 30 septembre.
Ces correctifs ont réduit le risque, bien que sur quatre outils de dépistage couramment utilisés, une moyenne de 3% des séquences de gènes potentiellement dangereuses ont toujours glissé, a rapporté Horvitz et ses collègues. Les chercheurs ont dû considérer la sécurité même dans la publication de leurs recherches. Les articles scientifiques sont censés être reproduits, ce qui signifie que d’autres chercheurs ont suffisamment d’informations pour vérifier les résultats. Mais la publication de toutes les données sur les séquences et les logiciels pourrait inciter les mauvais acteurs à contourner les correctifs de sécurité.
“Il y avait une tension évidente dans les airs parmi les pairs examinateurs:” Comment faisons-nous cela? “”, A déclaré Horvitz.
L’équipe a finalement atterri sur un système d’accès à plusieurs niveaux dans lequel les chercheurs souhaitant voir les données sensibles s’appliqueront à l’initiative internationale de biosécurité et de biosécurité pour la science (IBBIS), qui servira de tiers neutre pour évaluer la demande. Microsoft a créé une dotation pour payer ce service et pour héberger les données.
C’est la première fois qu’un journal scientifique de haut niveau approuve une telle méthode de partage des données, a déclaré Tessa Alexanienle lead technique au mécanisme commun, un outil de dépistage de séquences génétiques fournie par IBBIS. “Ce programme d’accès géré est une expérience et nous sommes très impatients d’évoluer notre approche”, a-t-elle déclaré.
Que peut-on faire d’autre?
Il n’y a pas encore beaucoup de réglementation concernant les outils d’IA. Les projections comme celles étudiées dans le nouveau document scientifique sont volontaires. Et il existe des appareils qui peuvent construire des protéines directement dans le laboratoire, aucun tiers requis – un mauvais acteur pourrait donc utiliser l’IA pour concevoir des molécules dangereuses et les créer sans gardiens.
Il y a cependant des conseils croissants sur la biosécurité des consortiums et des gouvernements professionnels. Par exemple, un 2023 décret présidentiel Aux États-Unis, les États-Unis devraient se concentrer sur la sécurité, notamment “des évaluations robustes, fiables, reproductibles et standardisées des systèmes d’IA” et des politiques et des institutions pour atténuer les risques. L’administration Trump travaille sur un cadre qui limitera les fonds fédéraux de recherche et de développement pour les entreprises qui ne font pas de dépistage de sécurité, a déclaré Diggans.
“Nous avons vu plus de décideurs politiques intéressés à adopter des incitations pour le dépistage”, a déclaré Alexanian.
Au Royaume-Uni, une organisation soutenue par l’État a appelé le Institut de sécurité de l’IA vise à favoriser les politiques et les normes pour atténuer le risque de l’IA. L’organisation finance des projets de recherche axés sur la sécurité et l’atténuation des risques, notamment la défense des systèmes d’IA contre les abus, la défense contre les attaques tierces (telles que l’injection de données corrompues dans les systèmes de formation d’IA) et la recherche de moyens d’empêcher les modèles publics à usage ouvert d’être utilisés à des fins préjudiciables.
La bonne nouvelle est que, à mesure que les séquences génétiques conçues par l’IA deviennent plus complexes, ce qui donne en fait à des outils de dépistage plus d’informations avec lesquelles travailler. Cela signifie que les conceptions du génome entier, comme les bactériophages de King et Hie, seraient assez faciles à dépister pour des dangers potentiels.
“En général, le dépistage de la synthèse fonctionne mieux sur plus d’informations que moins”, a déclaré Diggans. “Donc, à l’échelle du génome, c’est incroyablement informatif.”
Microsoft collabore avec les agences gouvernementales sur les moyens d’utiliser l’IA pour détecter les malversations d’IA. Par exemple, a déclaré Horvitz, la société cherche des moyens de passer au crible de grandes quantités de données sur les eaux usées et la qualité de l’air pour trouver des preuves de la fabrication de toxines, de protéines ou de virus dangereux. “Je pense que nous verrons le dépistage se déplacer en dehors de ce seul site d’acide nucléique [DNA] Synthèse et dans l’ensemble de l’écosystème “, a déclaré Alexanien.
Et bien que l’IA puisse théoriquement concevoir un tout nouveau génome pour une nouvelle espèce de bactéries, d’archée ou d’organisme plus complexe, il n’y a actuellement aucun moyen facile pour l’IA de traduire ces instructions de l’IA en un organisme vivant en laboratoire, a déclaré King. Les menaces de la vie conçue par l’IA ne sont pas immédiates, mais elles ne sont pas incroyablement éloignées. Étant donné que l’IA New Horizons est susceptible de révéler dans un avenir proche, il est nécessaire de faire preuve de créativité à travers le champ, a déclaré Hernandez-Boussard.
“Il y a un rôle pour les bailleurs de fonds, pour les éditeurs, pour l’industrie, pour les universitaires”, a-t-elle déclaré, “car, vraiment, cette communauté multidisciplinaire a besoin de ces évaluations de sécurité.”
