ChatGPT stwarza ryzyko rekordowego wzrostu cyberprzestępczości

ChatGPT oskarżano o wiele rzeczy: stworzenie nowego sposobu oszukiwania przez uczniów, stanie się zabójcą miejsc pracy, stworzenie taniego źródła kiepskich tekstów, a także — mój osobisty faworyt — bycie niebezpiecznym i bezbożnym złem zagrażającym moralnej tkance społeczeństwa.

Ale ludzie robili te wszystkie rzeczy — lub otrzymywali zapłatę za ich robienie — od dziesięcioleci. OpenAI i inni dostawcy generatywnej sztucznej inteligencji sprawiają, że stają się one tańsze. Przede wszystkim obiecują wyeliminować ogromną część żmudnej pracy umysłowej, podobnie jak wcześniej krosna, linie montażowe i roboty zrobiły to w przypadku pracy fizycznej.

Jak każde narzędzie lub innowacja technologiczna, narzędzia generatywnej AI mogą przynieść zarówno wielkie korzyści, jak i wielkie szkody.

W czym dobrze sprawdzają się duże modele językowe (LLMs)?

Korzystanie z ChatGPT, Microsoft Bard i innych narzędzi znacznie ułatwiło uzyskiwanie przydatnych informacji z zakresu prognozowania… ale zastosowania tych narzędzi wykraczają poza finanse.

LLMs są przekonujące. Z matematyczną precyzją wiedzą, jakie układy słów ludzie uznają za najbardziej przekonujące, i są szkolone tak, by mieścić się w tych ramach. 

Mają ogromną wiedzę na temat faktów i szczegółów. 

Potrafią podsumowywać i przeformułowywać tekst w dowolnym wybranym stylu.

Nie radzą sobie jednak z mówieniem prawdy. Komputery, znane ze sztywnego podporządkowania logice, paradoksalnie wykazują w LLMs niezdolność do odróżniania prawdy od fikcji i są w pełni zdolne do fabrykowania kłamstw w odpowiedzi na pytania, a następnie do płynnego wzmacniania tych kłamstw z całkowitą pewnością siebie.

Co to dla nas oznacza

Nie chcę nadmiernie się nad tym rozwodzić, ale na tym etapie historii coś się dzieje. 

Rozwój technologiczny, polityczny i gospodarczy połączył się, podważając wiele wskaźników, których ludzie używają do oceny wiarygodności i obdarzania zaufaniem. Tak jak fałszywe zdjęcia w mediach społecznościowych wprowadzały ludzi w błąd, tak ChatGPT i inne LLMs są teraz częścią tego obrazu. Jako społeczeństwo po raz kolejny będziemy musieli się dostosować, ucząc się nowych sposobów odróżniania prawdy od dezinformacji. 

Ci sami ludzie, ta sama stara historia.

Jak dziś działają cyberataki i oszustwa phishingowe

Pomijając wzniosłą filozofię, rozwój LLMs stanowi dla firm szczególne zagrożenie: obniża koszt skutecznych ataków phishingowych.

„Oszukiwanie ludzi” jest największym pojedynczym źródłem praktycznych strat w cyberbezpieczeństwie. Podczas gdy branża skupia się na zagrożeniach technicznych i rozwiązaniach, przytłaczająca większość udanych przestępstw cybernetycznych opiera się na oszukaniu kogoś na którymś etapie procesu.

Dziś istnieje prężnie działająca branża centrów telefonicznych zajmujących się oszustwami i cyberprzestępczością. Mają dostawców i podwykonawców, procedury i działy HR, a prawdopodobnie także okazjonalne wyjazdy kadry kierowniczej, podczas których świętują dobrze wykonaną pracę. To cały przemysł.

Niektóre elementy łańcucha oszustwa są zautomatyzowane: początkowe wiadomości e-mail mające znaleźć miłość lub poinformować o świetnej okazji biznesowej to powielane szablony — tę samą wiadomość znajdziesz w skrzynce odbiorczej sąsiada, być może nieco zmodyfikowaną w ramach jego niekończących się testów A/B mających poprawić współczynniki konwersji.

Gdy ty lub twój sąsiad klikniecie lub odpowiecie, ktoś z centrum telefonicznego przejmuje sprawę, postępując zgodnie z procedurami i wykorzystując umiejętności doskonalone przez lata, aby przeprowadzić „potencjalnego klienta” (ciebie) przez „lejek sprzedażowy” (oszustwo) i „sfinalizować sprzedaż” (wyłudzić od ciebie pieniądze) tak sprawnie, jak to możliwe. 

Pracownicy ci mają oceny wyników, kluczowe wskaźniki, systemy premiowe i dni chorobowe. Są największym kosztem prowadzenia centrum telefonicznego zajmującego się phishingiem. Tak jak w każdej firmie, skuteczniejsze przedsiębiorstwa i osoby osiągają lepsze współczynniki konwersji i wyższe przychody, a tym samym mogą żądać wyższych stawek.

W „branży” oszustw zachodzi pewna naturalna segmentacja oparta na przewidywanej „wartości” celów (kwotach, które można wyłudzić): 

• Firmy o niskich kosztach i niskiej skuteczności zazwyczaj obierają za cel większą liczbę osób, od których można wyłudzić niewielkie kwoty. To odpowiednik reklam na Instagramie promujących tanie, gadżeciarskie drobiazgi; wystarczy dotrzeć z nimi do jak największej liczby osób, a być może uda się zrealizować kilka sprzedaży.
• Skuteczne zespoły obierają za cel osoby, od których można wyłudzić większe kwoty, i inwestują więcej w każdą z nich. To duże konta B2B w świecie oszustw; prowadzą szeroko zakrojone badania i przydzielają do sprawy najlepszych sprzedawców oraz pracowników obsługi klienta.

Przydzielanie potencjalnych klientów o niskiej wartości zespołom o wysokiej skuteczności nie ma sensu biznesowego, dlatego cele o niskiej wartości (czyli ja i większość z was) rzadko otrzymują wyrafinowane próby oszustwa przeprowadzane przez doświadczonych oszustów.

Jak LLMs zmienią reguły gry

Przejdźmy przez to, co już wiemy:

• Narzędzia AI potrafią brzmieć przekonująco. 
• Modele AI potrafią przetwarzać mnóstwo szczegółowych informacji ze zbioru danych i tworzyć na ich podstawie coś wyjątkowego, konkretnego i wiarygodnego. 
• Generatywna AI doskonale posługuje się językiem angielskim i ma encyklopedyczną wiedzę na temat każdego zagadnienia dostępnego w internecie. 
• Algorytmy GPT można dostroić tak, aby pisały w stylu dowolnej grupy demograficznej.

Co więcej, wady AI nie mają znaczenia dla branży oszustw: prawda nie ma znaczenia. Dopóki ofiara da się nabrać na oszustwo, kierownictwu nie przeszkadza jakie bzdury usłyszy. 

Jedno podejście się nie sprawdza? Nie martw się, uczenie maszynowe nie ma ego i zmieni je bez chwili namysłu (a właściwie bez żadnego namysłu…).

Wisienka na torcie? Narzędzia AI kosztują niemal nic w porównaniu z całym centrum telefonicznym pełnym oszustów.

Harmonogram uruchomienia

Niestety świat przestępczy działa szybko. Przestępcy nie muszą martwić się o reputację, mają mniej biurokracji, a w tym „rynku” kluczowe jest wejście na niego jako pierwsi. 

Jeden z produktów wykorzystujących duży model językowy, WormGPT, zdobył już taką popularność, że trafił do głównych mediów jako przyjazny złośliwemu oprogramowaniu chatbot AI. Z pewnością dostępne są również inne rozwiązania i nie minie wiele czasu, zanim presja konkurencyjna oraz upowszechnianie najlepszych praktyk obniżą koszty operacyjne na tyle, że phishing wspomagany przez duże modele językowe stanie się dominującą metodą działania.

Poświęćmy chwilę pracownikowi działu operacji oszustw, który wkrótce straci pracę.

W miarę jak w ciągu najbliższych kilku lat branża phishingu będzie przechodzić tę transformację, koszt prowadzenia wyrafinowanej operacji phishingowej spadnie gwałtownie, co skłoni obecnie autonomicznych „najlepszych sprzedawców” i innych cyberprzestępców do atakowania możliwości przynoszących mniejsze zyski. O wiele więcej z nas będzie narażonych na falę wysokiej jakości phishingu i wiele osób da się na niego nabrać.

Czas zmienić protokoły uwierzytelniania

Ze względu na oszustwa phishingowe i włamywanie się hakerów na konta wielu z nas nauczyło się podchodzić z rezerwą do wiadomości otrzymywanych pocztą elektroniczną i SMS-em. Ja oraz inni eksperci często zalecamy korzystanie z telefonu w celu zweryfikowania poufnych informacji potrzebnych przy ryzykownych działaniach, takich jak transakcje o wysokiej wartości; firmy zajmujące się obrotem nieruchomościami i kancelarie prawne od lat z powodzeniem stosują tę strategię.

Uważam, że to przestanie działać. Wiarygodne połączenia telefoniczne generowane przez duże modele językowe już wkrótce staną się rzeczywistością. Istniejące produkty mogą wykorzystywać próbki głosu do tworzenia nagrań, na których dowolna osoba mówi cokolwiek. W chwili pisania tego artykułu nie działa to w czasie rzeczywistym; wygenerowanie każdego nagrania zajmuje trochę czasu. Na szczęście większość z nas nie da się oszukać pięcio- czy dziesięciosekundowymi opóźnieniami w rozmowie, niezależnie od tego, jak bardzo rozmówca brzmi jak Johnny Cash.

Komputery i technologie mają jednak zabawną właściwość: stają się coraz szybsze. Jestem całkowicie przekonany, że stopniowy rozwój narzędzi do generowania głosu AI i wzrost szybkości przetwarzania sprawią, że połączenia wspomagane przez duże modele językowe staną się powszechnie dostępną usługą w ciągu dekady. Wkrótce stracimy możliwość rozpoznania, czy dana osoba jest wiarygodna, wyłącznie po jej głosie; to okazja, której sprawcy nie mogą przepuścić.

To, co widzimy, może nie być prawdą

Synteza głosu nie jest jedynym oprogramowaniem do podszywania się pod inne osoby; generowanie wiarygodnego nagrania wideo kogoś na podstawie wcześniejszych nagrań jest już możliwe (i stale się rozwija). Wideo jest znacznie trudniejsze niż głos – wiarygodne nagrania zazwyczaj wymagają wielu godzin pracy, znacznych umiejętności i kunsztu eksperta.

Jednak podobnie jak w przypadku syntezy dźwięku, opracowanie zautomatyzowanej wersji działającej w czasie rzeczywistym jest tylko kwestią kilku lat. Może to potrwać kilka dekad, zwłaszcza zanim rozwiązanie stanie się wystarczająco tanie dla grup przestępczych, ale w końcu nastąpi.

Kolejne kroki na rzecz bezpieczeństwa organizacji

Czy jesteś gotowy na świat, w którym każda komunikacja wirtualna może być fałszywa? Czy prywatność danych umarła? Czy zmierzamy ku upadkowi cywilizacji i powrotowi do epoki kamienia?

Niezupełnie.

Matematyka na ratunek

Dziś identyfikujemy kogoś na podstawie głosu, wyglądu i manier. W terminologii cyberbezpieczeństwa czynniki te uwierzytelniają tę osobę; wykorzystujemy je do ustalenia, czy osoba, z którą rozmawiamy, jest rzeczywiście tym, za kogo się podaje. Polegamy na tej strategii bez zastanowienia i przez ostatnie ponad 7000 lat sprawdzała się ona doskonale.

Ta nowa rzeczywistość dużych modeli językowych i generowanego przez AI podszywania się pod inne osoby grozi odebraniem nam tej możliwości. Będziemy musieli zastąpić ją innym sposobem uwierzytelniania podczas komunikacji online.

Tutaj jest nadzieja: mamy inne techniki, które działają, po prostu nie są jeszcze popularne. Opracowana w ciągu ostatnich dwóch dekad technologia uwierzytelniania oparta przede wszystkim na matematyce nie ucierpi wskutek tych zmian, a już teraz jest tania i łatwa w użyciu. Wiele systemów już od niej zależy, choć użytkownicy nie zdają sobie z tego sprawy. Utrata wirtualnego rozpoznawania może skłonić wiele osób do stosowania rygorystycznie kryptograficznego uwierzytelniania i odejścia od słabych metod, takich jak zwykła rozmowa telefoniczna lub Zoom.

Powiedz mi coś dobrego

Na dobre czy na złe społeczeństwo jakoś sobie poradzi. Na szczęście możesz aktywniej zadbać o przyszłość swojej firmy i zapobiec temu, by to zagrożenie wpłynęło na Twój biznes. To wcale nie jest aż tak trudne. 

Po pierwsze, przenieś wszystkie poufne informacje do federacyjnego i kryptograficznie rygorystycznego dostawcy tożsamości. Następnie jasno zakomunikuj w swojej firmie, że należy polegać na tym rozwiązaniu, zamiast poprzestawać na rozpoznawaniu ludzi po stylu pisania lub głosie. 

I wreszcie możesz skupić się na tym, co potrafisz najlepiej, a innym, takim jak ja, pozwolić przeczytać o reszcie. Zapisz się do newslettera Klubu CFO, jeśli chcesz jako pierwszy dowiedzieć się, kiedy zauważę kolejne zagrożenie dla społeczeństwa.