Les risques de ChatGPT préparent une croissance record de la cybercriminalité
ChatGPT a été accusé de bien des choses : créer une nouvelle manière pour les étudiants de tricher, devenir un tueur d’emplois, produire une source bon marché de mauvais contenus, et, mon accusation préférée : représenter un mal dangereux et impie qui menace le tissu moral de la société.
Mais les gens font, ou sont payés pour faire, toutes ces choses-là depuis des décennies. OpenAI et les autres fournisseurs d’intelligence artificielle générative ne font que rendre tout cela moins cher. En somme, cela promet d’éliminer une énorme partie de la corvée dans les métiers de bureau, tout comme les métiers à tisser, les chaînes d’assemblage et les robots l’ont fait pour les ouvriers au cours du siècle précédent.
Comme tout outil ou toute innovation technique, les outils d’IA générative ont la capacité d’être utilisés pour de grands bénéfices comme pour de grands dégâts.
Want more from The CFO Club?
Create a free account to finish this piece and join a community of modern CFOs and finance executives accessing proven frameworks, tools, and insights to navigate AI-driven finance.
Have an account? Log In
À quoi servent les grands modèles de langage ?
L’utilisation de ChatGPT, Microsoft Bard et d’autres outils a largement facilité l’extraction d’informations utiles à partir de prévisions… mais leurs usages dépassent largement la finance.
Les grands modèles de langage sont persuasifs. Ils connaissent, avec une précision mathématique, les arrangements de mots que les gens trouvent les plus convaincants, et ils sont entraînés pour respecter ces limites.
Ils possèdent une connaissance étendue des faits et des détails.
Ils peuvent résumer et reformuler des textes dans n’importe quel style.
Cependant, ils ne sont pas doués pour dire la vérité. Les ordinateurs, connus pour leur stricte logique, possèdent de façon paradoxale dans les grands modèles de langage une incapacité à distinguer le vrai du faux et sont parfaitement capables d’inventer des mensonges pour répondre à des questions, puis de renforcer ces mensonges avec une assurance totale.
Ce que cela signifie pour nous
Je ne souhaite pas trop m’emporter philosophiquement, mais nous vivons, en ce moment de l’histoire, une période de bouleversements.
Les évolutions techniques, politiques et économiques se sont combinées pour brouiller bon nombre des indicateurs qui permettaient d’évaluer la crédibilité et d’attribuer la confiance. De la même manière que les photos truquées sur les réseaux sociaux ont troublé les gens, ChatGPT et d’autres grands modèles de langage s’ajoutent désormais à ce mélange. En tant que société, il nous faudra une fois de plus nous adapter, et apprendre de nouvelles manières de distinguer la vérité de la désinformation.
Rien de nouveau, ce sont toujours les mêmes histoires qui se répètent.
Comment fonctionnent aujourd’hui les cyberattaques et les arnaques de phishing
Philosophie mise à part, l’essor des grands modèles de langage constitue une menace particulière pour les entreprises : il réduit le coût des attaques de phishing de qualité.
« Les gens qui se font avoir » représentent la source principale des pertes concrètes en cybersécurité. Alors que le secteur se concentre sur les menaces et les solutions techniques, l’immense majorité de la cybercriminalité réussie repose sur la capacité à duper quelqu’un à un moment donné du processus.
Aujourd’hui, il existe une industrie florissante de centres d’appel dédiés à la fraude et à la cybercriminalité. Ils ont des fournisseurs et des prestataires, des procédures et des ressources humaines, et probablement des séminaires de temps à autre pour célébrer le travail bien fait. C’est tout un univers.
Certains aspects de la chaîne de fraude sont automatisés : l’e-mail initial cherchant l’amour ou annonçant une grande opportunité d’affaires sont des modèles recyclés – vous trouverez le même mail dans la boîte de réception de votre voisin, peut-être légèrement adapté lors de tests A/B sans fin pour améliorer les taux de conversion.
Dès que vous — ou votre voisin — cliquez ou répondez, quelqu’un du centre d’appel prend le relais, suit des procédures et mobilise des compétences peaufinées au fil des ans pour faire passer le « lead » (vous) dans leur « tunnel de vente » (arnaque) et « conclure la vente » (vous escroquer) aussi efficacement que possible.
Ces employés bénéficient d’évaluations de performance, d’indicateurs clés, de bonus et de congés maladie. Ils représentent le principal coût de fonctionnement d’un centre d’appel spécialisé dans le phishing. Comme dans toute entreprise, les sociétés et individus les plus performants obtiennent de meilleurs taux de conversion et des revenus supérieurs, et donc, peuvent prétendre à des rémunérations plus élevées.
Il existe une certaine segmentation naturelle sur le « marché » de la fraude en fonction du « rendement » attendu (l’argent que l’on peut extorquer) des cibles :
- Les entreprises à faible coût et faible performance s’attaquent généralement à un plus grand nombre de cibles à faible rendement. C’est l’équivalent des publicités Instagram pour des gadgets bon marché : essayez de toucher le maximum de personnes et vous réaliserez peut-être quelques ventes.
- Les équipes de haut niveau ciblent des victimes à rendement élevé et investissent davantage dans chaque attaque. Ce sont les grands comptes B2B du monde de la fraude : elles mènent des recherches approfondies et mobilisent leurs meilleurs commerciaux et conseillers clients.
Il ne serait pas rentable d’assigner des cibles à faible rendement à des équipes très performantes ; il est donc rare que ces cibles (c’est-à-dire moi et la plupart d’entre vous) fassent l’objet de tentatives sophistiquées menées par des escrocs expérimentés.
Comment les grands modèles de langage vont changer la donne
Voyons ce que nous savons déjà :
- Les outils d’IA excellent à paraître convaincants.
- Les modèles d’IA sont capables d’ingérer une multitude d’informations détaillées provenant d’un ensemble de données et d’en ressortir quelque chose d’unique, de précis et de plausible.
- L’IA générative possède une parfaite maîtrise de l’anglais et une connaissance encyclopédique de chaque sujet existant sur internet.
- Les algorithmes de GPT peuvent être ajustés pour écrire dans le style de n’importe quelle catégorie démographique.
De plus, les inconvénients de l’IA sont insignifiants pour l’industrie de la fraude : la vérité n’a aucune importance. Tant que la victime tombe dans le piège, la direction se fiche bien des balivernes employées.
Une approche ne fonctionne pas ? Pas d’inquiétude, l’apprentissage automatique n’a pas d’ego : il changera immédiatement de méthode, sans la moindre hésitation (ni même la moindre réflexion…).
La cerise sur le gâteau ? Les outils d’IA coûtent presque rien comparés à un centre d’appels rempli d’escrocs.
Calendrier de mise en œuvre
Malheureusement, le monde du crime évolue vite. Il n’a pas à se soucier de la réputation, il y a moins de lourdeurs administratives, et il est crucial d’être parmi les premiers sur ce “marché”.
Un produit LLM axé sur la criminalité, WormGPT, est déjà devenu suffisamment populaire pour faire la une des médias avec son chatbot basé sur une IA conviviale pour les logiciels malveillants. D’autres existent sans doute déjà et il ne faudra pas longtemps avant que la concurrence et l’adoption des meilleures pratiques fassent suffisamment baisser les coûts d’exploitation pour que l’hameçonnage appuyé par des LLM devienne la méthode dominante pour parvenir à leurs fins.
Prenons un instant pour penser au futur ex-employé « chargé des opérations d’arnaque ».
Alors que l’industrie du phishing se transforme au fil des prochaines années, le coût d’une opération sophistiquée va s’effondrer, ce qui poussera les désormais « meilleurs vendeurs » autonomes et autres cybercriminels à cibler des opportunités moins lucratives. Beaucoup plus d’entre nous seront exposés à un flot de phishing de haute qualité et beaucoup se feront piéger.
Il est temps de changer de protocoles d’authentification
En raison des arnaques par phishing et du piratage de comptes, beaucoup d’entre nous ont appris à prendre avec précaution les messages reçus par email ou par SMS. Moi-même, et d’autres experts, recommandons souvent d’utiliser le téléphone pour vérifier les informations confidentielles nécessaires lors d’opérations risquées comme les transactions de grande valeur ; des sociétés de titres et des cabinets d’avocats utilisent avec succès cette stratégie depuis des années.
Je pense que cela ne fonctionnera bientôt plus. Des appels téléphoniques crédibles générés par des LLM ne sont déjà plus très loin. Des outils existants peuvent utiliser des échantillons de voix pour générer l’audio de n’importe qui disant n’importe quoi. Au moment où j’écris cet article, cela ne fonctionne pas en temps réel ; il faut du temps pour générer chaque extrait. Heureusement, la plupart d’entre nous ne seront pas dupés par des délais de cinq ou dix secondes dans une conversation, même si l’interlocuteur semble être Johnny Cash.
Mais l’informatique et la technologie ont cette étrange capacité à accélérer. J’ai la certitude que les progrès progressifs des générateurs vocaux IA et la rapidité de traitement feront que les appels générés par LLM seront un service standardisé d’ici une décennie. Nous perdrons bientôt la capacité de reconnaître quelqu’un uniquement à sa voix ; une opportunité que les malfaiteurs ne laisseront pas passer.
Voir ne sera peut-être plus croire
La synthèse vocale n’est pas le seul logiciel d’imitation en préparation ; il est déjà possible de générer une vidéo crédible de quelqu’un à partir d’anciens enregistrements (et les progrès continuent). La vidéo est beaucoup plus complexe que la voix : les séquences crédibles nécessitent habituellement de longues heures, une expertise pointue et un véritable talent.
Mais comme pour la synthèse audio, le développement d’une version automatisée en temps réel ne sera qu’une question d’années. Il faudra peut-être quelques décennies, notamment pour que ce soit suffisamment abordable pour les réseaux criminels, mais cela finira par arriver.
Prochaines étapes pour la sécurité organisationnelle
Êtes-vous prêt pour un monde où chaque échange virtuel pourrait être une fausse communication ? La confidentialité des données est-elle morte ? Assistons-nous à un effondrement de la civilisation et à un retour à l’âge de pierre ?
Pas tout à fait.
Les mathématiques à la rescousse
Aujourd’hui, nous nous fions à la voix, à l’apparence et aux habitudes pour identifier quelqu’un. En termes de cybersécurité, ces facteurs authentifient la personne auprès de nous ; nous nous appuyons sur eux pour déterminer si l’interlocuteur est bien celui qu’il prétend être. Nous misons sur cette stratégie sans même y penser et, depuis plus de 7000 ans, cela fonctionne parfaitement.
Cette nouvelle réalité des LLM et de l’imitation générée par IA promet de supprimer cette capacité. Nous devrons donc la remplacer par une nouvelle méthode d’authentification lors des communications en ligne.
Voici une lueur d’espoir : nous disposons d’autres techniques qui fonctionnent, elles ne sont simplement pas encore largement répandues. La technologie d’authentification basée sur les mathématiques développée au cours des deux dernières décennies ne sera pas affectée par ces changements, et elle est déjà abordable et facile à mettre en œuvre. De nombreux systèmes en dépendent déjà sans que les utilisateurs ne s’en rendent compte. La disparition de la reconnaissance virtuelle pourrait inciter beaucoup de personnes à se tourner vers une authentification cryptographiquement rigoureuse et à s’éloigner des méthodes faibles comme un simple appel téléphonique ou Zoom.
Dis-moi quelque chose de positif
Pour le meilleur ou pour le pire, la société finira par trouver son chemin. Heureusement, vous pouvez jouer un rôle plus actif dans l’avenir de votre entreprise et empêcher cette menace de l’impacter. Ce n’est même pas si difficile .
Commencez par placer toutes les informations sensibles derrière un fournisseur d’identité fédéré et cryptographiquement rigoureux. Ensuite, faites comprendre dans votre entreprise que vous devez vous reposer sur cela plutôt que de vous arrêter à reconnaître les gens par leur style d’écriture ou leur voix.
Et enfin, concentrez-vous sur ce que vous faites de mieux et laissez d’autres, comme moi, s’informer sur le reste. Abonnez-vous à la newsletter du CFO Club si vous souhaitez être le premier informé lorsque je détecterai la prochaine menace pour la société.
