ChatGPT-risikoer legger til rette for rekordvekst i nettkriminalitet

ChatGPT har blitt anklaget for mange ting: å skape en ny måte for studenter å jukse på, å bli en jobbødelegger, å skape en billig kilde til dårlig tekst og, min personlige favoritt: å være en farlig og vanhellig ondskap som truer samfunnets moralske grunnlag.

Men folk har gjort, eller blitt betalt for å gjøre, alle disse tingene i flere tiår. OpenAI og andre leverandører av generativ kunstig intelligens gjør dem billigere. For det meste lover teknologien å eliminere en enorm mengde av det monotone arbeidet i kontorarbeid, akkurat som vevstoler, samlebånd og roboter tidligere gjorde for manuelt arbeid.

Som ethvert verktøy eller enhver teknologisk innovasjon har verktøy for generativ kunstig intelligens potensial til å bli brukt til stor nytte og stor skade.

Hva er store språkmodeller (LLMs) gode på?

Bruken av ChatGPT, Microsoft Bard og andre verktøy har gjort det mye enklere å hente nyttig innsikt fra prognoser … men bruksområdene går lenger enn bare økonomi.

LLMs er overbevisende. De vet, med matematisk presisjon, hvilke ordsammensetninger folk finner mest overbevisende, og de er trent til å holde seg innenfor disse rammene. 

De har omfattende kunnskap om fakta og detaljer. 

De kan oppsummere og omformulere tekst i hvilken som helst stil du velger.

De er imidlertid ikke flinke til å fortelle sannheten. Datamaskiner, som er kjent for en rigid begrensning til logikk, har paradoksalt nok i LLMs en manglende evne til å skille sannhet fra fiksjon, og er fullt i stand til å dikte opp løgner som svar på spørsmål, for deretter sømløst å forsterke disse løgnene med full overbevisning.

Hva dette betyr for oss

Jeg vil ikke bli for filosofisk om alt dette, men på dette tidspunktet i historien skjer det ting. 

Tekniske, politiske og økonomiske utviklingstrekk har sammen bidratt til å forvirre mange av indikatorene folk bruker for å vurdere troverdighet og tildele tillit. Akkurat som falske bilder på sosiale medier forvirret folk, er ChatGPT og andre LLMs nå en del av blandingen. Som samfunn må vi igjen tilpasse oss og lære nye måter å skille sannhet fra feilinformasjon på. 

De samme gamle folkene, den samme gamle historien.

Hvordan cyberangrep og phishing-svindel fungerer i dag

Bortsett fra den store filosofien utgjør fremveksten av LLMs en særlig trussel mot virksomheter: den senker kostnadene ved phishingangrep av høy kvalitet.

«Folk som blir lurt» er den aller største kilden til praktiske cybersikkerhetstap. Mens bransjen fokuserer på tekniske trusler og løsninger, er det overveldende flertallet av vellykket cyberkriminalitet avhengig av å lure noen på et eller annet tidspunkt i prosessen.

I dag finnes det en blomstrende bransje med telefonsentre viet til svindel og cyberkriminalitet. De har leverandører og underleverandører, prosedyrer og HR, og sannsynligvis også sporadiske ledersamlinger for å feire godt utført arbeid. Det er en hel greie.

Deler av svindelprosessen er automatisert: Den første e-posten som leter etter kjærlighet eller forteller deg om en flott forretningsmulighet, er gjenbrukte maler – du finner den samme e-posten i naboens innboks, kanskje litt justert gjennom deres endeløse A/B-testing for å oppnå bedre konverteringsrater.

Når du eller naboen din klikker eller svarer, tar noen i telefonsenteret over. De følger prosedyrer og bruker ferdigheter som er utviklet over flere år, for å føre «leketøyet» (deg) gjennom «salgstrakten» (svindelen) og «avslutte salget» (svindle deg) så effektivt som mulig. 

Disse ansatte har medarbeidersamtaler, nøkkeltall, bonusordninger og sykedager. De er den største kostnaden ved å drive et phishing-telefonsenter. Akkurat som i enhver annen virksomhet gir selskaper og personer med bedre resultater bedre konverteringsrater og inntekter, og kan derfor kreve høyere priser.

Det skjer en viss naturlig segmentering i svindelmarkedet basert på forventet «utbytte» (hvor mange dollar du kan svindle) fra målene: 

• Rimelige selskaper med svake resultater retter seg vanligvis mot et større antall mål med lavt utbytte. Dette er svindelens motstykke til Instagram-annonser for billige småting med tvilsom nytte; prøv å få dem foran så mange mennesker som mulig, så får du kanskje noen få salg.
• Høytytende team går etter mål med høyere utbytte og investerer mer i hvert enkelt mål. Dette er svindelverdenens store B2B-kunder; gjennomfør grundige undersøkelser og sett dine beste salgs- og kundeservicemedarbeidere på saken.

Det er dårlig forretningssans å tildele kundeemner med lavt utbytte til høytytende team, så mål med lavt utbytte (det vil si meg og de fleste av dere) blir sjelden utsatt for sofistikerte forsøk utført av dyktige svindlere.

Hvordan LLMs vil endre spillet

La oss gå gjennom det vi allerede vet:

• AI-verktøy er gode til å høres overbevisende ut. 
• AI-modeller er gode til å fordøye store mengder detaljert informasjon fra et datasett og spytte ut noe unikt, spesifikt og plausibelt. 
• Generativ AI behersker engelsk perfekt og har encyklopedisk bakgrunnskunnskap om alle emner på internett. 
• GPTs algoritmer kan finjusteres til å skrive i stilen til hvilken som helst demografisk gruppe.

Og ikke nok med det: Ulempene ved AI er uten betydning for svindelbransjen: Sannheten spiller ingen rolle. Så lenge offeret går på svindelen, bryr ledelsen seg ikke om hvilket tøv det tar. 

Fungerer ikke én tilnærming? Ikke bekymre deg, maskinlæring har ikke noe ego og endrer fremgangsmåte uten å tenke seg om (eller tenke i det hele tatt, for den saks skyld …).

Prikken over i-en? AI-verktøy koster nesten ingenting sammenlignet med et callsenter fullt av svindlere.

Tidslinje frem mot lansering

Kriminalitetsverdenen beveger seg dessverre raskt. De trenger ikke bekymre seg for omdømmet, det er mindre byråkrati, og det er avgjørende å være tidlig ute i dette «markedet». 

Én kriminalitetsrettet LLM-tjeneste, WormGPT, har allerede blitt populær nok til å havne i riksdekkende nyheter på grunn av sin skadevarevennlige AI-chatbot. Det finnes utvilsomt også andre, og det vil ikke ta lang tid før konkurransepress og deling av beste praksis presser driftskostnadene langt nok ned til å gjøre phishing støttet av LLM til den dominerende metoden for å få ting gjort.

La oss ta et øyeblikk for den snart arbeidsledige medarbeideren innen svindeloperasjoner.

Etter hvert som phishingbransjen gjennomgår denne transformasjonen i løpet av de neste årene, vil kostnadene ved å drive en sofistikert phishingoperasjon stupe, noe som får de nå autonome «toppselgerne» og andre nettkriminelle til å begynne å målrette seg mot muligheter med lavere utbytte. Mange flere av oss vil bli utsatt for en flom av phishing av høy kvalitet, og mange vil gå på den.

På tide å endre autentiseringsprotokollene

På grunn av phishing-svindel og hackere som bryter seg inn på kontoer, har mange av oss lært å ta meldinger vi mottar på e-post og tekstmeldinger med en klype salt. Jeg, og andre eksperter, anbefaler ofte å bruke telefonen til å verifisere konfidensiell informasjon som trengs ved risikable aktiviteter, for eksempel transaksjoner av høy verdi; eiendomsmeglere og advokatfirmaer har brukt denne strategien med hell i årevis.

Jeg tror det vil slutte å fungere. Troverdige, LLM-genererte telefonsamtaler er allerede like rundt hjørnet. Eksisterende produkter kan bruke stemmeprøver til å lage lyd av hvem som helst som sier hva som helst. Da denne artikkelen ble skrevet, fungerte dette ikke i sanntid; det tok litt tid å generere hvert klipp. Heldigvis vil de fleste av oss ikke la oss lure av forsinkelser på fem eller ti sekunder i en samtale, uansett hvor mye innringeren høres ut som Johnny Cash.

Men datamaskiner og teknologi har en merkelig tendens til å bli raskere. Jeg er helt sikker på at gradvise fremskritt innen AI-verktøy for stemmegenerering og prosesseringshastighet vil gjøre LLM-støttede samtaler til en standardtjeneste i løpet av et tiår. Vi vil snart miste evnen til å vite om en person er ekte bare ved å høre stemmen deres; en mulighet skurkene ikke kan la gå fra seg.

Det du ser, er kanskje ikke til å tro

Stemmesyntese er ikke den eneste programvaren for identitetsetterligning som er under utvikling; det er allerede mulig å lage en troverdig video av noen basert på tidligere opptak (og teknologien blir stadig bedre). Video er betydelig vanskeligere enn stemme – troverdige klipp krever vanligvis mange timer, betydelig dyktighet og kunstnerisk sans fra en ekspert.

Men akkurat som med lydsyntese er utviklingen av en automatisert versjon i sanntid bare et spørsmål om år. Det kan ta et par tiår, særlig før den blir billig nok for kriminelle nettverk, men den vil komme.

Neste steg for organisatorisk sikkerhet

Er du forberedt på en verden der all virtuell kommunikasjon kan være falsk? Er personvernet dødt? Er vi på vei mot sivilisasjonens sammenbrudd og en tilbakevending til steinalderen?

Ikke helt.

Matematikk til unnsetning

I dag bruker vi stemme, utseende og kroppsspråk til å identifisere noen. Med cybersikkerhetsterminologi autentiserer disse faktorene dem overfor oss; vi bruker dem til å avgjøre om personen som snakker med oss, faktisk er den de utgir seg for å være. Vi er avhengige av denne strategien uten å tenke over det, og i løpet av de siste 7000+ årene har den fungert utmerket.

Denne nye virkeligheten med LLM-er og AI-generert identitetsetterligning truer med å fjerne denne evnen. Vi må erstatte den med en annen måte å autentisere på når vi kommuniserer på nettet.

Her finnes håp: Vi har andre teknikker som fungerer, de er bare ikke populære ennå. Den matematikkbaserte autentiseringsteknologien som er utviklet de siste to tiårene, vil ikke påvirkes av disse endringene, og den er allerede billig og enkel. Mange systemer er allerede avhengige av dem uten at brukerne er klar over det. Tapet av virtuell gjenkjenning kan få mange til å gå over til kryptografisk rigorøs autentisering og bort fra svake metoder som en vanlig telefonsamtale eller Zoom.

Fortell meg noe godt

På godt og vondt vil samfunnet finne ut av det. Heldigvis kan du ta en mer aktiv rolle i firmaets fremtid og forhindre at denne trusselen påvirker virksomheten din. Det er ikke engang så vanskelig. 

For det første bør du flytte all sensitiv informasjon bak en føderert og kryptografisk rigorøs identitetsleverandør. Deretter bør du gjøre det tydelig i selskapet at dere skal basere dere på dette, i stedet for å nøye dere med å gjenkjenne folk ut fra skrivestil eller stemme. 

Og til slutt kan du fokusere på det du er best på, og la andre, som meg, lese seg opp på resten. Abonner på The CFO Clubs nyhetsbrev hvis du vil være den første til å få vite når jeg oppdager den neste trusselen mot samfunnet.