good render – shutterstock.com
Der Security-Anbieter Netcraft meldete kürzlich, dass wöchentlich Tausende von Websites identifiziert wurden, die KI-generierte Inhalte verwenden. Ende Juli stieg die Zahl der Websites sprunghaft an, was sich bis in die erste Augustwoche fortsetzte, bevor sie wieder sank.
Netcraft-Forscher führten dies auf einen einzelnen Bedrohungsakteur zurück, der gefälschte Shopping-Seiten einrichtete und generative KI (GenAI) zum Schreiben von Produktbeschreibungen verwendete.
Bösartige Inhalte immer überzeugender
“Dies hat zu einer Fülle bösartiger Websites geführt, die Opfer nicht nur wegen der schieren Menge an Inhalten anlocken, sondern auch, weil diese Inhalte immer überzeugender werden”, erklären die Sicherheitsexperten in ihrem Blogbeitrag
Mittlerweile ist es nicht mehr möglich, eine Website oder eine E-Mail als seriös einzustufen, nur weil sie sprachlich professionell wirkt. Es kann jedoch Anhaltspunkte für Betrüger in der E-Mail oder auf der Website geben. Wie Netcraft erläutert, fügen Bedrohungsakteure manchmal versehentlich Phrasen von Large Language Models (LLM) in die betrügerischen E-Mails ein. So enthielt beispielsweise eine Phishing-E-Mail, die angeblich einen Link zu einem Dateitransfer von Familienfotos enthielt, auch die Phrase “Certainly! Hier sind 50 weitere Phrasen für ein Familienfoto”.
Die Forscher vermuten, dass die Bedrohungsakteure, die ChatGPT zur Generierung des E-Mail-Textes verwendeten, die Einleitungszeile versehentlich in ihren Zufallsgenerator aufgenommen haben. “Dieser Fall deutet auf eine Kombination aus GenAI und traditionellen Techniken hin.”
Sie möchten regelmäßig über aktuelle Themen rund um Cybersicherheit informiert werden? Unser kostenloser Newsletter liefert Ihnen alles, was Sie wissen müssen.
Verräterische Beweise für Phishing-E-Mails
Eine andere Phishing-E-Mail, die Netcraft untersuchte, wäre glaubwürdig gewesen – stünde da nicht der Satz am Anfang, der die LLM-Einleitungszeile enthielt: “Certainly, here’s your message translated into professional English.” Und eine gefälschte Investment-Website, die die Vorteile des falschen Unternehmens anpreist, sah real aus, wenn man von der Überschrift absieht, die besagt: “Certainly! Hier sind die sechs wichtigsten Stärken der Cleveland Invest Company”.
“Genauso wie Kriminelle gerne Anmeldedaten von anderen Phishing-Seiten abgreifen, haben wir beobachtet, dass sie, wenn sie eine überzeugende, von LLM generierte Vorlage finden, den Inhalt fast wortwörtlich kopieren”, so die Analysten.
So wurde beispielsweise der Text der Cleveland Invest-Website (komplett mit LLM-Antwort) von einem anderen gefälschten Text übernommen, der für Britannic Finance erstellt wurde. In diesem Fall schien der Bedrohungsakteur dann ein LLM zu verwenden, um den Text anzupassen und Synonyme für einige Begriffe zu verwenden.
Netcraft hat auch LLM-generierte Websites für gefälschte Geschäfte und Apotheken gesehen, die zur Suchmaschinenoptimierung (SEO) entwickelt wurden, um mehr Opfer anzulocken. Auch hier wurde eine Website zitiert, auf der die Antwort des LLM auf die Anfrage durchgesickert war, gefolgt von “diese Übersicht sollte Ihnen einen guten Start ermöglichen …”, und einer Erinnerung, SEO-Schlüsselwörter in den Titel, die Überschriften und den Textkörper aufzunehmen.
Und all dies ist nur die Spitze eines immer größer werdenden Eisbergs. “Der Bericht spricht nur einen Bereich der Cyberbedrohung an, der durch generative KI-Fähigkeiten erweitert wird: den ersten Zugang zu einem Opfer, insbesondere durch Phishing”, so Brian Jackson, Principal Research Director bei der Info-Tech Research Group.
“Leider ist das nur ein kleiner Teil des gesamten Spektrums der erweiterten Bedrohungen, die wir dank LLMs beobachten”, sagt Jackson. “Dank LLMs werden ganz neue Taxonomien von Cyberbedrohungstechniken hinzugefügt.”
Gefahr durch LLMs
LLMs werden zum Beispiel dazu verwendet, um öffentlich verfügbare Materialien und potenzielle Schwachstellen eines potenziellen Opfers zu durchsuchen und zusammenzufassen. “OpenAI hat staatlich gesponserte Konten für genau diese Zwecke gesperrt “, ergänzt Jackson. “Dann gibt es noch den Versuch, LLMs selbst durch Prompt Injection und Jailbreak auszunutzen. Er verweist auf eine ausführliche Liste von Techniken im MITRE ATLAS.
Diese deckt sich mit den Erkenntnissen von Netcraft. “Es gibt noch viele weitere Beispiele mit schlüssigen Beweisen, die auf den groß angelegten Einsatz von LLMs in subtileren Angriffen hinweisen”, heißt es in dem Beitrag. “Die Sicherheitsimplikation dieser Ergebnisse ist, dass Organisationen wachsam bleiben müssen; Website-Texte, die in professionellem Englisch geschrieben sind, sind kein starker Indikator mehr für ihre Legitimität. Da GenAI es einfacher macht, Menschen auszutricksen, werden technische Maßnahmen wie das Blockieren und Entfernen von Inhalten immer wichtiger, um Einzelpersonen und Marken zu schützen.”
Jackson fügt hinzu: “Aus meiner Sicht sind es nicht die gleichen alten Bedrohungen, die durch KI erweitert werden, die am alarmierendsten sind. Wir haben bereits Techniken entwickelt, um diese zu entschärfen. Vielmehr sind es die völlig neuen Cyberbedrohungen durch generative KI, die Unternehmen wirklich überraschen könnten.”
Der Research-Experte führt aus: “Wie wir bereits gesehen haben, erwarten die meisten von uns, dass wir, wenn uns eine Führungskraft per Video anruft, darauf vertrauen können, dass es sich wirklich um diese Person handelt, die uns Anweisungen gibt. Doch das ist nicht mehr der Fall, das generative KI mit begrenzten Trainingsdaten effektiv Fälschungen erzeugen kann.” (jm)
