Heute habe ich eine E-Mail bekommen, die ich direkt an unsere IT-Sicherheitsexperten im Haus weitergeleitet habe, mit den Worten »das hier wirkt wie ein Phishingversuch . Habe den Anhang nicht geöffnet, könnte auch einfach miese PR sein«.

Die betreffende Mail war korrekt formuliert, aber im Betreff ging es um irgendwas mit »Mehr Geld verdienen«, dazu ein bemüht-launiger Text, der wohl zum Öffnen des Anhangs animieren sollte. Absender war augenscheinlich eine Firma, um deren PR ich definitiv niemals gebeten hatte.

Die Antwort unserer internen Fachleute kam schnell: »Harmlose und angestaubte PR-Maßnahme. Es lohnt sich nicht, das Dokument überhaupt zu öffnen«. Zumindest sei keine Schadsoftware im Anhang versteckt.

Dieser Newsletter könnte jetzt abbiegen in eine Klage über PR-Mails aus der Sicht eines Betroffenen. Aber erstens habe ich die schon geschrieben. Und zweitens gibt es einen technischen Grund, warum ich gerade besonders vorsichtig bin: KI. Künstliche, oder in diesem Fall: kriminelle Intelligenz.

Laut Sicherheitsforschern macht nämlich in Untergrundforen gerade eine Software namens WormGPT die Runde. Der Dienst generiert – ähnlich wie ChatGPT – Texte, allerdings für Kriminelle: brauchbare Phishing- oder Betrugs-E-Mails in verschiedenen Sprachen. Die Experten der in Kalifornien beheimateten Firma SlashNext haben die KI auf die Probe gestellt und eine E-Mail angefordert, mit der ein nichts ahnender Buchhalter unter Druck gesetzt werden sollte, eine betrügerische Zahlung zu veranlassen. Sie schreiben : »Die Ergebnisse waren beunruhigend. WormGPT produzierte eine E-Mail, die nicht nur bemerkenswert überzeugend war, sondern auch strategisch klug.«

Wenn ich eine Firma hätte, die von der Sorge anderer Firmen vor kriminellen Hackern lebt, würde ich das natürlich auch so schreiben. Das Gruselszenario von KI-generierten Phishingfluten geht seit Monaten um, ist ja auch naheliegend. Wenn Textgeneratoren ordentliche Dankesbriefe, Gedichte oder Präsentationen schreiben können, sollten sie auch betrügerische Anschreiben hinbekommen – wenn die Texteingaben passen und die Schutzvorkehrungen fehlen.

Mit WormGPT hat dieser Fall jetzt einen konkreten, wenn auch etwas albernen Namen. Das Modell basiert auf dem quelloffenen GPT-J  und wurde angeblich für kriminelle Einsatzzwecke feinjustiert. Filter, die in ChatGPT oder Googles Bard den Missbrauch der Technik verhindern sollen, fehlen in so einem Modell ganz einfach.

Das nächste derartige Werkzeug wird vielleicht CriminaLLLama heißen (oder so) und auf Metas soeben veröffentlichtem Code für sein eigenes Sprachmodell Llama 2 basieren.

Wenn derartige Modelle erst einmal kursieren, sind sie für Betrüger vermutlich praktischer als zum Beispiel gehackte Zugänge zum originalen ChatGPT. Denn um mit der Software von OpenAI eine Phishingmail zu erzeugen, braucht man unter Umständen noch spezielle Kommandos zum Überlisten der Schutzfilter .

Kein Wunder also, dass WormGPT Geld kostet. Stolze 60 Euro pro Monat  werden dafür fällig, zahlbar in Kryptowährungen . Zum Vergleich: Microsoft will seinen Firmenkunden für die eigene KI nur 30 Dollar pro Monat und Nutzer berechnen. Wie viele Kriminelle ein WormGPT-Abo abschließen und es dann schaffen, diese Investition wieder reinzuholen, wage ich nicht vorherzusagen. Im besten Fall ist WormGPT also noch mehr Hype als ChatGPT.

Unsere aktuellen Netzwelt-Lesetipps für SPIEGEL.de

• »Das sind die Menschen hinter der KI-Revolution«  (13 Leseminuten)
  Ohne schlecht bezahlte Clickworker und Content-Moderatoren in Afrika, China, aber auch Deutschland gäbe es ChatGPT und andere heutige KI-Systeme nicht. Einige wehren sich nun gegen die miserablen Arbeitsbedingungen. Korrespondent Heiner Hoffmann, Max Hoppenstedt und ich lassen zu Wort kommen.

• »Ein Sommer voller Datenlecks«  (5 Leseminuten)
  Es geht um mindestens sechs Banken, die Barmer und Verivox: Seit Mai sind Kundendaten zahlreicher Firmen in fremde Hände gelangt. Zwischen den Fällen gibt es wohl einen Zusammenhang, erklären Markus Böhm und Torsten Kleinz.

• »Dieses Handy gibt Leuchtzeichen« (6 Leseminuten)
  Das Nothing Phone (2) ist nicht wie andere Smartphones: Seine Benutzeroberfläche ist schwarz-weiß, und wenn jemand anruft, blinken auf seiner Rückseite LEDs. Matthias Kremp hat sich angeschaut, ob das mittlerweile mehr als nur ein Gimmick ist.

Fremdlinks: Drei Tipps aus anderen Medien

• »The Writers' Revolt Against A.I. Companies«  (Podcast, Englisch 28 Minuten)
  »New-York-Times«-Reporterin Sheera Frankel erklärt im Podcast, warum Autorinnen, Comedians und Schauspieler in den USA gerade gegen KI aufbegehren.

• »Why AI detectors think the US Constitution was written by AI«  (Englisch, 15 Leseminuten)
  »Ars Technica« erklärt ausführlich, wie Detektoren für KI-generierte Texte funktionieren – und warum sie so wenig taugen.

• »Gehackt: Wie weiter nach der Cyberkatastrophe«  (Podcast, 27 Minuten)
  Der »Cyber-Katastrophenfall« in Anhalt-Bitterfeld rund um eine Ransomware-Infektion ist schon eine Weile her, aber in diesem Tagesschau-Podcast wird er noch einmal anschaulich nacherzählt.

Kommen Sie gut durch die Woche

Patrick Beuth