Les risques de ChatGPT préparent une croissance record de la cybercriminalité
ChatGPT a été accusé de bien des maux : créer une nouvelle façon de tricher pour les étudiants, devenir un tueur d’emplois, générer une source bon marché de mauvais textes et, mon préféré : être une menace dangereuse et impie qui met en péril le tissu moral de la société.
Mais toutes ces activités sont pratiquées depuis des décennies, ou payées à être réalisées. OpenAI et d’autres fournisseurs d’intelligence artificielle générative les rendent simplement moins coûteuses. Surtout, ils promettent de supprimer une énorme partie de la corvée dans le travail de bureau, tout comme les métiers à tisser, les chaînes de montage et les robots l’avaient fait auparavant pour le travail manuel.
Comme tout outil ou innovation technologique, les outils d’IA générative peuvent être utilisés au service du bien comme du mal.
Vous voulez plus de The CFO Club ?
Créez un compte gratuit pour terminer la lecture de cet article et rejoindre une communauté de CFO et de cadres financiers modernes qui accèdent à des cadres éprouvés, des outils et des analyses pour naviguer dans la finance guidée par l’IA.
Have an account? Log In
À quoi servent les grands modèles de langage (LLMs) ?
L’utilisation de ChatGPT, Microsoft Bard et d’autres outils a considérablement facilité l’accès à des informations utiles à partir de la prévision… mais les usages vont bien au-delà de la finance.
Les LLMs sont persuasifs. Ils savent, avec une précision mathématique, quelles combinaisons de mots les gens trouvent les plus convaincantes, et ils sont entraînés à toujours respecter ces cadres.
Ils disposent d’une vaste connaissance des faits et des détails.
Ils peuvent résumer et reformuler un texte dans n’importe quel style que vous choisissez.
Cependant, ils ne sont pas doués pour dire la vérité. Les ordinateurs, reconnus pour leur stricte logique, hébergent paradoxalement dans les LLMs une incapacité à distinguer le vrai du faux et sont parfaitement capables d’inventer des mensonges pour répondre à des questions, puis de les soutenir de façon convaincante avec une totale assurance.
Ce que cela signifie pour nous
Je ne veux pas trop intellectualiser la chose, mais à ce moment précis de l’histoire, il se passe des choses.
Des évolutions techniques, politiques et économiques ont combiné leurs effets pour déstabiliser plusieurs des indicateurs utilisés par les gens pour juger de la crédibilité et accorder leur confiance. Tout comme les fausses photos sur les réseaux sociaux ont troublé le public, ChatGPT et d’autres LLMs font désormais partie de l’équation. En tant que société, il nous faudra une fois de plus nous adapter en inventant de nouvelles façons de distinguer le vrai de la désinformation.
Mêmes gens, même histoire.
Comment fonctionnent aujourd’hui les cyberattaques et les escroqueries par hameçonnage
Mise à part la haute philosophie, l’essor des LLMs représente une menace spécifique pour les entreprises : la réduction du coût des attaques de phishing sophistiquées.
« Se faire piéger » est la première cause de pertes réelles en cybersécurité. Alors que l’industrie concentre son attention sur les menaces techniques et leurs solutions, l’immense majorité des cybercrimes réussis repose à un moment ou à un autre sur le fait de duper quelqu’un.
Aujourd’hui, il existe une industrie florissante composée de centres d’appels dédiés à la fraude et à la cybercriminalité. Ils ont des fournisseurs, des prestataires, des procédures, des RH et probablement des retraites de leadership pour fêter le travail bien accompli. C’est tout un univers.
Une partie du processus de fraude est automatisée : les premiers messages envoyés pour trouver l’amour ou vous présenter une formidable opportunité commerciale sont des modèles recyclés – vous retrouverez le même mail dans la boîte de réception de votre voisin, probablement ajusté lors de leurs tests A/B sans fin afin d’améliorer les taux de conversion.
Une fois que vous, ou votre voisin, cliquez ou répondez, quelqu’un du centre d’appels prend la relève. Il suit des procédures et utilise des compétences affûtées pendant des années pour faire avancer la “cible” (vous) dans le “pipeline de vente” (l’arnaque) et “conclure la vente” (vous escroquer) aussi efficacement que possible.
Ces employés passent des évaluations de performance, ont des indicateurs-clés, des systèmes de primes et bénéficient de congés maladie. Ils constituent le principal coût d’un centre d’appels de phishing. Comme dans toute entreprise, les organisations ou individus les plus performants atteignent de meilleurs taux de conversion et donc des revenus plus élevés, ce qui leur permet de négocier de meilleurs salaires.
On assiste à une segmentation naturelle du “marché” de la fraude, selon le “rendement” attendu (les dollars que l’on peut escroquer) des cibles :
- Les entreprises à faible coût et faible performance privilégient un grand nombre de cibles à faible rendement. C’est l’équivalent des pubs Instagram pour des gadgets bon marché : toucher un maximum de gens pour récolter quelques ventes.
- Les équipes hautement performantes visent des cibles à fort rendement et investissent davantage sur chacune. Ce sont les grands comptes B2B de la fraude : elles mènent des recherches poussées et mobilisent leurs meilleurs commerciaux et spécialistes du service client sur ces dossiers.
Il serait peu rentable d’attribuer les cibles à faible rendement à des équipes hautement performantes : c’est pourquoi les personnes ordinaires (soit vous et moi) reçoivent rarement des tentatives aussi sophistiquées émanant de véritables professionnels de l’escroquerie.
Comment les LLM vont changer la donne
Voyons ce que nous savons déjà :
- Les outils d’IA sont très doués pour sembler persuasifs.
- Les modèles d’IA excellent à digérer une multitude d’informations détaillées issues d’un jeu de données et à produire quelque chose d’unique, de spécifique et de crédible.
- L’IA générative dispose d’une maîtrise parfaite de l’anglais et de connaissances encyclopédiques sur tous les sujets d’internet.
- Les algorithmes de GPT peuvent être paramétrés pour écrire dans le style de n’importe quelle tranche démographique.
De plus, les inconvénients de l’IA n’ont aucune importance dans l’industrie de la fraude : la vérité importe peu. Tant que la victime tombe dans le piège, la direction n’a que faire de ce qu’il faut raconter comme absurdité.
Une approche ne fonctionne pas ? Aucun souci : l’apprentissage automatique n’a pas d’ego, il changera de méthode sans hésiter une seconde (ni même une première, d’ailleurs…).
La cerise sur le gâteau ? Les outils d’IA coûtent presque rien par rapport à un centre d’appels rempli d’escrocs.
Délais avant lancement
Malheureusement, le monde du crime va vite. Il n’a pas à se soucier de sa réputation, il y a moins de paperasserie, et il est essentiel d’être le premier sur ce « marché ».
Un produit LLM orienté criminalité, WormGPT, est déjà assez populaire pour avoir fait l’objet d’articles dans la presse généraliste grâce à son chatbot IA compatible avec les logiciels malveillants. D’autres existent probablement déjà, et il ne faudra pas longtemps avant que la pression concurrentielle et la diffusion des meilleures pratiques fassent suffisamment baisser les coûts opérationnels pour que le phishing soutenu par un LLM devienne la méthode dominante.
Prenons un instant pour penser au collaborateur escroquerie bientôt au chômage.
Alors que l’industrie du phishing connaîtra cette transformation dans les prochaines années, le coût de fonctionnement d’une opération sophistiquée va s’effondrer, poussant des « meilleurs vendeurs » désormais autonomes et d’autres cybercriminels à viser des cibles à plus faible rendement. Beaucoup plus d’entre nous seront exposés à un flot d’e-mails de phishing de haute qualité, et nombreux seront ceux qui se feront piéger.
Il est temps de changer les protocoles d’authentification
À cause des fraudes par phishing et des pirates qui parviennent à accéder aux comptes, beaucoup d’entre nous ont appris à prendre les messages reçus par mail ou SMS avec méfiance. Moi-même, comme de nombreux experts, je recommande souvent d’utiliser le téléphone pour vérifier toute information confidentielle lors d’opérations risquées comme des transactions de grande valeur ; les sociétés de titres et cabinets d’avocats appliquent cette méthode avec succès depuis des années.
Je pense que cela cessera de fonctionner. Des appels téléphoniques crédibles générés par des LLM ne sont déjà plus très loin. Des outils existent déjà qui utilisent des échantillons de voix pour créer des fichiers audio de n’importe qui disant n’importe quoi. Au moment d’écrire ces lignes, cela ne fonctionne pas en temps réel : il faut un certain temps pour générer chaque enregistrement. Heureusement, la plupart d’entre nous ne seront pas dupés par cinq ou dix secondes de latence dans une conversation, même si l’interlocuteur sonne comme Johnny Cash.
Mais l’informatique et la technologie ont une fâcheuse tendance à accélérer. Je suis certain que grâce aux progrès incrémentaux des outils d’IA de génération vocale et à l’augmentation de la puissance de calcul, les appels automatisés soutenus par des LLM deviendront une offre courante d’ici dix ans. Nous perdrons bientôt la capacité d’authentifier une personne uniquement par la voix : une occasion à ne pas manquer pour les cybercriminels.
Voir n’est peut-être plus croire
La synthèse vocale n’est pas le seul logiciel d’usurpation en préparation : il existe déjà des outils capables de générer une vidéo crédible d’une personne à partir d’enregistrements passés (et ces outils s’améliorent). La vidéo est bien plus complexe que la voix – les séquences crédibles impliquent souvent de longues heures de travail, des compétences avancées et un vrai savoir-faire.
Mais tout comme pour la synthèse audio, le développement d’une version automatisée en temps réel n’est plus qu’une question d’années. Il faudra peut-être quelques décennies, en particulier pour que ce soit suffisamment accessible financièrement pour les groupes criminels, mais cela finira par arriver.
Prochaines étapes pour la sécurité organisationnelle
Êtes-vous prêt pour un monde où chaque communication virtuelle pourrait être factice ? La confidentialité des données est-elle morte ? Allons-nous vers un effondrement de la civilisation et un retour à l’âge de pierre ?
Pas tout à fait.
Les maths à la rescousse
Aujourd’hui, nous utilisons la voix, l’apparence et les manières pour reconnaître quelqu’un. En cybersécurité, ces facteurs servent à authentifier une personne : ils permettent de vérifier si l’interlocuteur est bien celui qu’il prétend être. Nous dépendons de cette stratégie sans même y réfléchir, et cela fonctionne très bien depuis plus de 7000 ans.
Cette nouvelle réalité des LLM et de l’usurpation par IA promet de faire disparaître cette possibilité. Il faudra la remplacer par une nouvelle méthode d’authentification lors des communications en ligne.
Mais il y a de l'espoir : nous disposons d'autres techniques qui fonctionnent, elles ne sont simplement pas encore populaires. La technologie d'authentification basée sur les mathématiques, développée au cours des deux dernières décennies, ne sera pas affectée par ces changements, et elle est déjà bon marché et facile à utiliser. De nombreux systèmes en dépendent déjà sans que les utilisateurs ne s'en rendent compte. La perte de la reconnaissance virtuelle pourrait inciter beaucoup de personnes à se tourner vers une authentification cryptographiquement rigoureuse et à abandonner les méthodes faibles comme un simple appel téléphonique ou une réunion Zoom.
Dis-moi quelque chose de positif
Pour le meilleur ou pour le pire, la société finira par s'adapter. Heureusement, vous pouvez adopter un rôle plus actif dans l’avenir de votre entreprise et empêcher cette menace d’affecter vos activités. Ce n’est même pas si difficile.
D'abord, placez toutes les informations sensibles derrière un fournisseur d'identité fédéré et cryptographiquement rigoureux. Ensuite, précisez bien à l’ensemble de votre entreprise que l’on doit se fier à ce dispositif plutôt que de se contenter de reconnaître les gens à leur style d’écriture ou au son de leur voix.
Et enfin, concentrez-vous sur ce que vous faites le mieux et laissez d’autres personnes, comme moi, s’informer sur le reste. Abonnez-vous à la newsletter du CFO Club si vous voulez être le premier informé lorsque je repère la prochaine menace pour la société.
