Répondre aux inquiétudes des RSSI en matière d’IA grâce à la résilience

Tout au long de ma carrière, j’ai eu la « chance » de travailler sur certains des plus grands défis de sécurité nationale, de la prolifération des armes de destruction massive au terrorisme en passant par la cyber-insécurité. L’IA est le défi le plus récent, mais aura un impact à grande échelle sur la société.

Le déploiement de ChatGPT/Bard suscite de l’anxiété chez les RSSI, à l’heure où nous voyons émerger la prise de décision via une logique « non humaine » qui va accélérer le rythme et l’omniprésence des attaques – y compris d’attaques qui pourraient lentement biaiser les ensembles de données.¹

Cette anxiété n’est pas le lot des seuls RSSI, comme l’a montré la lettre ouverte de Future of Life parue dans le Financial Times, signée par des titans de la technologie comme Elon Musk et de grands penseurs de l’IA comme Max Tegmark du MIT. D’autre part, des sommités de la sécurité telles que Dan Geer d’In-Q-Tel mettent en évidence les défis de l’IA dans le contexte de l’informatique locale et de l’edge computing, et de la fusion entre logiciel et données.

Comme l’énoncent les Principes de l’IA d’Asilomar, une IA avancée pourrait représenter un changement profond dans l’histoire de la vie sur Terre et devrait être planifiée et gérée avec le soin et les ressources que cela exige. 

Les RSSI vont sans aucun doute subir la pression des directeurs informatiques et techniques impatients d’adopter l’IA pour gagner en efficacité. Confrontés aux attaques basées sur l’IA, à l’exploitation automatisée des vulnérabilités, à l’empoisonnement des données et aux deep fakes – à côté desquels les tactiques de phishing actuelles paraissent pittoresques, leur tâche va devenir de plus en plus complexe.

Le concept d’attaques automatisées pilotées par ordinateur n’est pas spécialement récent ou fictif.

The Peacemaker, ouvrage fascinant de William Inboden sur Ronald Reagan et la Guerre froide, raconte un échange entre le président Reagan et Mikhaïl Gorbatchev lors du sommet de Genève en 1985 sur l’abolition de l’Initiative de défense stratégique (IDS). Gorbatchev réagit avec colère lorsque Reagan déclare qu’il ne compte pas annuler l’IDS et profère une menace inquiétante : le Kremlin va adopter « une automatisation qui confiera les décisions importantes à des ordinateurs, et les dirigeants politiques [seront] dans des bunkers avec ces ordinateurs (emphase de l’auteur). Cela pourrait déclencher un processus incontrôlable ». Gorbatchev révèle que les Soviétiques travaillent déjà sur un système appelé « Main morte ». La « Main morte » lancerait automatiquement tous les missiles balistiques intercontinentaux de l’URSS en cas de détection d’une attaque américaine, plaçant le sort du monde entre les mains des machines plutôt que des hommes. »²

Heureusement, Ronald Reagan et Mikhaïl Gorbatchev ont négocié un accord pour réduire considérablement les armes nucléaires stratégiques (START) et éloigner le monde du désastre.

Les défis auxquels l’IA confronte la société sont plus vastes que l’impact existentiel des armes nucléaires. Dans leur livre, L’ère de l’IA et notre avenir humain, Kissinger, Schmidt et Huttenlucher expliquent que nos perceptions de la réalité peuvent être altérées par les éclairages de l’IA.

En raison de la capacité de l’IA à perturber les opérations, ce sont les RSSI qui garderont la porte d’entrée.

Quelle stratégie de cybersécurité peuvent-ils adopter aujourd’hui ?

Les RSSI ont besoin d’un cadre de collaboration lucide et fondé pour survivre à l’adoption accélérée de l’IA.

Il est plutôt facile de faire des prévisions apocalyptiques, mais nous pouvons commencer par nous remémorer la citation de Ronald Reagan : « Faites confiance mais vérifiez » l’IA, en particulier compte tenu des récents rapports sur les « hallucinations » de ChatGPT.³

Les principes d’Asilomar de 2017 offrent une base pour évaluer les problématiques de recherche, l’éthique, les valeurs et les problèmes à plus long terme. Par exemple, « la recherche sur l’IA devrait consister à créer non pas une intelligence autonome, mais une intelligence bénéfique ». Ou « Éviter la course : les équipes qui développent des systèmes d’IA doivent coopérer activement pour éviter de réduire les normes de sécurité. L’éthique et les valeurs englobent les questions de sécurité, de transparence vis-à-vis des défaillances et de transparence légale. Ils abordent également des problématiques à long terme : les systèmes d’IA conçus pour s’améliorer de façon autonome ou se reproduire de manière récursive, par exemple, avec pour effet une augmentation rapide de la qualité ou de la quantité, doivent être soumis à des mesures de sécurité et de contrôle strictes. Enfin, la « superintelligence » ne devrait être développée qu’au service d’idéaux éthiques largement partagés et pour le bénéfice de l’humanité entière plutôt que d’un État ou d’une organisation.

J’observe une similitude étrange entre la pause proposée dans la lettre ouverte de la Future of Life Foundation et les problèmes éthiques et humanitaires rencontrés par des scientifiques comme Robert Oppenheimer sur le plateau de Los Alamos lorsqu’ils développaient la bombe atomique à toute hâte. Comme on peut le lire dans American Prometheus de Kai Bird et Martin Sherman, la plupart des scientifiques pensaient que la cible était le Troisième Reich, et ce n’est qu’après qu’ils ont appris que le véritable objectif en 1945 était de tenir l’Union soviétique en échec par le biais du Japon. Et quand l’Union soviétique a réalisé un essai atomique en 1949, ce fut ensuite la course à la bombe H ou à l’arme à fusion.

On peut comparer ce moment à celui où Jules César a franchi le Rubicon, signant la fin de la République romaine, ou dire, tout simplement, que le chat s’est échappé du sac.

Mais là encore, c’est ambigu. Comme le chat de Schrödinger, notre félin est-il vivant ou mort ? L’IA générative peut produire un contenu indiscernable d’une production humaine. Est-ce de l’IA ou non ? Comment savoir ?

L’ambiguïté de l’IA est source de diverses préoccupations, allant des biais aux problèmes de sécurité.

D’excellents travaux sont en cours sur « les audits d’IA et la détection des biais ». Plusieurs organisations abordent l’éthique de l’IA, notamment le Forum économique mondial, le Partenariat sur l’IA et Equal AI. La Data and Trust Alliance, créée en 2020, compte de nombreuses sociétés non technologiques parmi ses membres.⁴ Il reste toutefois une zone d’ombre concernant la mise en œuvre. Sera-t-elle obligatoire ou laissée à la bonne volonté des acteurs ?

L’examen technologique du MIT documente plusieurs applications de robots conversationnels basés sur IA « désastreuses pour la sécurité » : jailbreak, aide à l’escroquerie et au phishing, et empoisonnement des données.⁵

• Dans le jailbreaking, l’utilisateur incite le modèle de langage à ignorer ses instructions et ses garde-fous de sécurité à l’aide d’une « injection de prompt ».
• L’aide à l’escroquerie et au phishing représente une menace considérable dans la mesure où il est possible d’intégrer ChatGPT dans des produits qui naviguent sur Internet et interagissent avec. Des attaquants peuvent ainsi orienter ChatGPT vers des données usurpées, pouvant être utilisées pour faciliter le phishing et les escroqueries.
• On parle d’empoisonnement des données quand des données fausses ou malveillantes sont insérées dans un grand modèle de langage avant le déploiement. Après un certain nombre d’étapes, il s’avère impossible d’inverser la façon dont il a atteint son état actuel. Et, pour reprendre la métaphore de Schrödinger, avec un système de calcul concurrent, vous ne pouvez connaître son état qu’en le détruisant.

Et maintenant ?

Selon Goldman Sachs, les dernières avancées de l’IA générative pourraient automatiser un quart du travail effectué aux États-Unis et dans la zone Euro. L’IA pourrait déclencher un boom de la productivité qui finirait par augmenter le PIB annuel brut de 7 % sur dix ans. Dans le même temps, cela entraînerait une « perturbation significative » du marché du travail.⁶ Aux États-Unis, 63 % de la main-d’œuvre pourrait être touchée, et 30 % des personnes exerçant des emplois physiques ou extérieurs seraient épargnées. Environ 7 % des travailleurs aux États-Unis occupent des emplois dont la moitié des tâches au moins pourrait être effectuée par l’IA générative et risquent d’être remplacés.

Un article publié par OpenAI, le créateur de Chat GPT-4, a révélé que « 80 % de la main-d’œuvre américaine pourrait voir au moins 10 % de ses tâches effectuées par l’IA générative, selon des analyses effectuées par des chercheurs humains et le grand modèle linguistique de l’entreprise ». Les professions les mieux rémunérées sont également les plus exposées, contrairement à des évaluations similaires de l’exposition globale au machine learning.⁷

Je trouve des raisons d’être optimiste, mais nous devons avancer prudemment. De nombreuses entreprises envisagent aujourd’hui de tirer parti de l’IA – ou le feront demain.

Le 31 mars, le Wall Street Journal publiait un entretien captivant avec Bill Braun, DSI de Chevron. Il déclarait : « Il est essentiel d’avoir une pratique responsable de l’IA. » Lorsqu’on lui a demandé dans quels nouveaux domaines il aimerait voir l’IA intégrée, il a répondu : « Partout. Elle devrait faire partie de chaque flux de travail, de chaque flux de produits. Mais en se focalisant sur tous les aspects les plus routiniers, ceux qui apportent le moins de valeur ajoutée... l’objectif devrait être de les éliminer de l’interaction de tous les travailleurs avec la technologie. »⁸

Mais par où commencer ? All In on AI offre de précieux conseils, en s’appuyant notamment sur des scénarios d’utilisation chez Toyota, Morgan Stanley, Airbus, Shell, Anthem, Kroger et Progressive.

L’adoption de l’IA est associée à trois archétypes :

1. Créer quelque chose de nouveau, qu’il s’agisse d’entreprises ou de marchés, de nouveaux modèles commerciaux ou d’écosystèmes, de produits ou de services. Selon une analyse du MIT Sloan Management Review, les entreprises qui utilisent l’IA principalement pour découvrir et créer de nouvelles formes de valeur commerciale sont 2,7 fois plus susceptibles d’améliorer leur capacité à concurrencer l’IA que celles qui l’utilisent principalement pour améliorer les processus existants.
   
   Loblaw, une chaîne d’épiceries au Canada, utilise l’IA pour se développer dans les soins de santé.
   
   Airbus a lancé Skywise il y a quelques années pour améliorer ses performances opérationnelles. Les avions commerciaux actuels peuvent produire plus de trente gigaoctets de données par jour, mesurant 40 000 paramètres opérationnels autour de l’avion. Skywise compte plus de 140 compagnies aériennes et 9 500 avions connectés.
   
   Anthem. Le PDG d’Anthem s’est appuyé sur l’IA pour développer son portefeuille et l’enrichir d’actifs pharmaceutiques, comportementaux, cliniques et de soins complexes, et il exploite des algorithmes pour fournir des solutions de santé intégrées et holistiques.
2. Transformer les opérations, devenir considérablement plus efficace dans la poursuite de la stratégie existante de l’entreprise. Utiliser l’IA pour influencer un comportement critique des clients, comme la façon dont ils socialisent, entretiennent leur santé, vivent leur vie financière, conduisent leurs véhicules, etc.⁹
   
   Kroger, par exemple, en partenariat avec le britannique Ocado, utilise une variété de programmes d’IA, notamment pour :

    

   • prévoir à quel moment les aliments doivent arriver au centre de distribution pour une fraîcheur optimale,
   • repérer les aliments proches des dates de péremption pour appliquer des remises et faire des dons,
   • créer une expérience de commande numérique hyper-personnalisée,
   • imaginer un système de contrôle du trafic aérien piloté par l’IA pour les robots d’entrepôt,
   • alimenter des systèmes de vision et de planification par ordinateur pour des robots de mise en sac.
3. Influencer le comportement des clients. Des entreprises comme John Hancock utilisent le machine learning pour superviser et modifier les comportements de santé.

Je voudrais revenir à l’adage « Faites confiance mais vérifiez » pour souligner trois points essentiels :

Premièrement, l’étape la plus critique consiste pour le PDG à désigner un responsable de l’adoption de l’IA. Ce cadre devrait diriger un processus d’étude de toutes les applications potentielles de l’IA.

Deuxièmement, adoptez un framework de base pour faciliter le processus. Par exemple, le « Trustworthy AI Framework » de Deloitte définit six critères pour aider les clients dans le développement de leur politique :

1. Juste et impartial. Évaluez si les systèmes d’IA incluent des vérifications internes et externes pour permettre une application équitable entre tous les participants.
2. Transparent et explicable. Aidez les participants à comprendre comment leurs données peuvent être utilisées et comment les systèmes d’IA prennent des décisions. Les algorithmes, les attributs et les corrélations doivent pouvoir être inspectés.
3. Responsable et imputable. Mettez en place une structure organisationnelle et des politiques permettant de déterminer qui est responsable des résultats des systèmes d’IA.
4. Sûr et sécurisé. Protégez les systèmes d’IA contre les risques potentiels (cyber-risques inclus) susceptibles de causer des dommages physiques ou numériques.
5. Respectueux de la vie privée. Respectez la confidentialité des données et évitez d’utiliser l’IA pour exploiter les données des clients au-delà de leur utilisation prévue et énoncée. Donnez à vos clients la possibilité d’accepter ou de refuser le partage de leurs données.
6. Robuste et fiable. Vérifiez que l’IA peut apprendre des humains et d’autres systèmes pour produire des résultats cohérents et fiables.

Troisièmement, misez pleinement sur une stratégie de résilience. Le cabinet McKinsey a publié « A technology survival guide for resilience » (Un guide de survie technologique pour la résilience). La bonne nouvelle est que de nombreuses entreprises cherchent déjà à renforcer la résilience de leur infrastructure. McKinsey souligne l’importance de comprendre la « criticité » : très simplement, quels sont les composants les plus critiques pour les opérations commerciales ? Comme le dit McKinsey, « il faut une infrastructure résiliente avec une visibilité et une transparence accrues sur l’ensemble de la pile technologique pour maintenir le fonctionnement d’une organisation en cas de cyberattaque, de corruption de données, de défaillance catastrophique du système ou d’autres types d’incidents ».

McKinsey a également élaboré un modèle de maturité pour la résilience.

• Le premier niveau comprend des capacités de base ; la résilience est laissée aux utilisateurs individuels et aux propriétaires de système, et la supervision repose sur les utilisateurs et les clients qui signalent les interruptions du système.
• Le niveau deux se compose de capacités passives : la résilience prend la forme de sauvegardes manuelles, de systèmes redondants et de la réplication quotidienne des données. Les interruptions sont supervisées au niveau de la plateforme et du centre de données.
• Le niveau trois est celui de la résilience active par basculement. La résilience repose sur une synchronisation active des applications, des systèmes et des bases de données, et sur une supervision active, à l’échelle des applications, de chaque indicateur de problèmes de performance et de stabilité.
• Le niveau quatre correspond à la résilience inhérente par conception. La résilience est intégrée à la pile technologique dès le départ grâce à une redondance inhérente et à une supervision active au niveau des données, englobant la détection et l’atténuation des anomalies.

Chez Splunk, nous allons un peu plus dans le détail.

La résilience numérique couvre cinq domaines : la visibilité, la détection, l’investigation, la réponse et la collaboration. Dans le cadre de l’IA :

Visibilité

Dans quelle mesure les équipes peuvent observer leur environnement technologique, et connaître la qualité et la fidélité des données ainsi que l’exhaustivité de la couverture.

Application à l’IA : comme les applications de l’IA sont destinées à s’étendre à la sécurité, au DevOps et à l’observabilité, la visibilité doit englober chaque domaine. Il faudra donc intégrer des workflows de données à des tableaux de bord.

Détection

Dans quelle mesure les organisations exploitent les données pour identifier les problèmes potentiels, ce qui inclut la couverture de détection et les alertes.

Application à l’IA : les RSSI doivent exploiter et intégrer des outils de détection pour assurer la sécurité des applications d’IA. Les appareils doivent détecter l’empoisonnement des données et des algorithmes. Lorsqu’elles apparaissent, les nouvelles capacités d’IA ne doivent pas être utilisées tant qu’il n’existe pas d’outils permettant de détecter les falsifications.

Investigation

Dans quelle mesure les organisations utilisent les données pour rechercher des problèmes potentiels et accélérer l’analyse. Englobe l’enrichissement, la traque des menaces et l’analyse de logs, de métriques et de traces.

Application à l’IA : la traque des menaces parmi les applications d’IA peut nécessiter des outils spéciaux, comme des « bacs à sable », pour permettre aux opérateurs de comprendre le fonctionnement d’une application d’IA.

Réponse

La rapidité avec laquelle les équipes de sécurité, IT et DevOps réagissent aux problèmes ou incidents quotidiens.

Application à l’IA : comme pour les opérations de sécurité actuelles, la détection et la prise en charge des menaces, des perturbations et des vulnérabilités liées à l’IA sont essentielles.

Collaboration

Dans quelle mesure les équipes et leurs outils facilitent le travail interfonctionnel entre la sécurité, l’IT et le DevOps.

Application à l’IA : la collaboration sera essentielle dans les domaines de la sécurité, de l’informatique et du DevOps, chaque domaine tirant parti de l’automatisation du partage et de la mise en commun des informations avec des pairs, au sein de l’entreprise comme en dehors.

Bien que je sois optimiste, nous devons également être réalistes. Contrairement au début de la Guerre froide, cette fois, les enjeux géopolitiques concernent la Chine, et non l’Union soviétique, dans le contexte de l’ère atomique. Dans Fortune, Tom Siebel, fondateur et PDG de C3.ai, a déclaré :

« Ces tensions entre la Chine et les États-Unis, tant dans le domaine géopolitique que militaire, sont bien réelles. L’IA d’entreprise sera au cœur de la conception de la prochaine kill chain. Qu’il s’agisse de missiles hypersoniques, d’essaims, de véhicules autonomes souterrains ou d’espace, l’IA est au cœur de tout. Je dirais que nous sommes en guerre ouverte avec la Chine sur le terrain de l’IA en ce moment. Et celui qui gagnera cette bataille dominera probablement le monde. »

Je tente difficilement d’anticiper les implications qui se profilent avec le développement inévitable de l’IA.

Nous savons que nous sommes à un tournant. Je ne cherche pas à exagérer le problème, mais à garder les pieds sur terre et à prendre acte du fait que si l’IA offre d’énormes opportunités, il reste une grande part d’inconnu et nous devons faire preuve de prudence. Splunk est déterminé à travailler de concert avec les autres acteurs. Ce forum est une excellente occasion de créer des liens et de réfléchir.

Merci.

^{[1] Voir The Age of AI And Our Human Future, Henry Kissinger, Eric Schmidt, Daniel Huttenlocher, 2021
[2] The Peacemaker, Ronald Reagan, The Cold War and the World on the Brink, William Inboden, p.375, 2022
[3] Lets cast a critical eye over business ideas from ChatGPT, Financial Times, 12 mars 2023
[4] All in on AI, Thomas Davenport et Nitin Mittal, 2023 p. 118
[5] « Three ways AI chatbots are a security disaster, » Melissa Heikkila, MIT Technology Review, 4 avril 2023
[6] Generative AI set to affect 300mn jobs across major economies, The Financial Times, 27 mars 2023
[7] GPTs are GPTs: An Early Look at the Labor Market Impact Potenital of Large Language Models, Tyna Eloundou, Sam Manning, Pamela Mishkin et Daniel Rock, OpenAI, OpenResearch, Université de Pennsylvanie, 27 mars 2023
[8] Download Extra, Chevron’s Bill Braun calls generative AI a ‘wake up call’ for traditional IT vendors, Wall Street Journal, 31 mars 2023
[9] All in on AI, How Smart Companies Win Big with Artificial Intelligence, Thomas Davenport et Nitin Mittal. p. 48
[10] « A technology survival guide for resilience. » McKinsey & Company, 20 mars 2023}