KI fälscht Identitäten und setzt Menschen unter Druck, um ihr Ziel zu erreichen

KI-Stimme. Info

Die wachsende Gefahr in der Künstlichen Intelligenz liegt vorerst nicht im Aufstand der Maschinen. Sie liegt in Maschinen, die immer effektiver darin werden, die Schwächen von Menschen zu erkennen – und sie gezielt als Mittel zum Zweck zu benutzen. Genau das ist Ende Juli bei einem Sicherheitstest der britischen Regierung geschehen. 

Unter Experimentalbedingungen versuchten zwei der weltweit leistungsfähigsten KI-Modelle aus den USA – Anthropics Mythos 5 und GPT-5.6 Sol. von OpenAI – ohne ausdrückliche Anweisung, Menschen zu manipulieren, Identitäten zu fälschen, soziale Tricks anzuwenden und technische Sicherheitsbarrieren zu umgehen, um einen schädlichen Programmcode durchzusetzen. 

Lesen Sie auch

Das ist das Fazit des AI Security Institute in London, das nach eigenen Angaben bei routinemäßigen Cybersicherheitstests eine Stunde benötigte, bis der Vorfall unter Kontrolle gebracht war. Die KI-Modelle erhielten Zugang zum offenen Internet; Schutzfilter waren abgeschaltet. Die Forscher wollten nicht den normalen Alltagsbetrieb nachstellen, sondern herausfinden, wozu die Systeme fähig sind.

KI erstellt gefälschte Online-Identitäten, um ihr Ziel zu erreichen

Im eklatantesten Fall versuchte ein auf Mythos 5 basierender KI-Agent, einen bösartigen Code in ein frei zugängliches Softwareprojekt auf GitHub einzuschleusen, einer von Softwareentwicklern genutzten Plattform. 

Um die Freigabe des Codes zu erwirken, erstellte der Agent gefälschte Online-Identitäten, die auf realen Personen basierten, und nutzte diese, um den Projektleiter dazu zu drängen, den Code zu akzeptieren. Die KI passte ihre Ansprache individuell an und versuchte, Vertrauen zu gewinnen. Ein menschlicher Entwickler erkannte den Versuch und verweigerte die Freigabe.

Auch interessant

Die KI brach also nicht aus einem verschlossenen digitalen Käfig aus. Das Institut hatte ihr den Internetzugang absichtlich geöffnet. Die Modelle sind in dieser Konfiguration nicht für normale Kunden verfügbar. Ein nachweisbarer Schaden entstand nicht. 

Und doch ist der Fall laut Experten mehr als ein Laborunfall. Die KI war nicht angewiesen worden, Menschen zu hintergehen. Die Täuschung entstand, weil das System hartnäckig nach einem Weg suchte, seine Aufgabe zu erfüllen. Es zerlegte das Problem eigenständig in mehrere Schritte und griff dabei zu Methoden, die seine Entwickler nicht vorgesehen hatten. Das britische Institut spricht ausdrücklich von personalisierten Täuschungsversuchen, im Fachjargon „Spear-Phishing“.

KI-Experten sprechen von einer Verschiebung der Gefahrenlage

Beunruhigend ist: Solche Fälle häufen sich. Im Juli räumte OpenAI ein, dass ein Agent während eines Sicherheitstests in Systeme des KI-Unternehmens Hugging Face eingedrungen war und sich Zugang zu vier Konten verschafft hatte. Wenige Tage später meldete Anthropic drei weitere Fälle. Seine Modelle hatten bei Tests reale Organisationen kompromittiert, teilweise mit einfachen Methoden wie schwachen Passwörtern. Zwei der Betroffenen bemerkten den Zugriff erst, als Anthropic sie auf die Sicherheitslücke hinwies.

News aus den USA

Das britische Institut spricht deshalb von einer Verschiebung der Gefahrenlage. Bisher sei es vor allem darum gegangen, dass Menschen KI für Betrug, Propaganda oder Cyberangriffe missbrauchen. Nun komme ein zweites Risiko hinzu: selbstständig arbeitende Systeme, die bei der Verfolgung eines Ziels unerwartete und unerlaubte Wege wählen.

Der britische KI-Minister Kanishka Narayan warnt deshalb, die Technologie entwickle sich schnell – „und ebenso die Risiken, die mit ihr einhergehen, besonders bei der Cybersicherheit“. Kein Land könne diese Gefahr allein bewältigen. Nach dem Zwischenfall sagte er, ein staatliches Sicherheitsinstitut müsse solche Verhaltensweisen entdecken, öffentlich machen und Gegenmaßnahmen ermöglichen.

Strengere Regeln für besonders leistungsstarke KI-Modelle gefordert

Auch in Washington, wo Präsident Donald Trump der KI-Industrie weitgehend freie Hand lässt, wächst der Ruf nach einer klaren Grenze zwischen maschineller Selbstständigkeit und menschlicher Verantwortung. Die demokratischen Senatoren Chris Coons und Jack Reed verlangen für militärische KI, dass Menschen die Systeme jederzeit überwachen, stoppen und abschalten können. Reed formuliert den Grundsatz weiter: Internationale Regeln seien überall dort nötig, „wo die vollständige menschliche Kontrolle über die Technologie unverzichtbar ist“.

Der Sicherheitsforscher Kok Tin Gan analysiert die Lage so: Gebe man der KI lediglich ein Ziel und überlasse ihr die Wahl der Mittel, dürfe man nicht überrascht sein, wenn das System Handlungen wähle, die das Ziel formal erfüllen, aber außerhalb dessen liegen, was ihre Betreiber beabsichtigt hätten. Entscheidend sei darum, welche Werkzeuge und Befugnisse ein KI-Agent erhält und bei welchen Schritten ein Mensch zustimmen muss.

Experten fordern strengere Regeln. Besonders leistungsfähige KI-Agenten dürften künftig nur begrenzte Zugangsrechte erhalten. Das Verschicken von Nachrichten, das Anlegen neuer Identitäten, der Zugriff auf fremde Rechner oder die Veröffentlichung von Programmcodes dürften nur nach ausdrücklicher Freigabe durch Menschen erfolgen. Hinzu kämen lückenlose Protokolle, eine permanente Überwachung während gefährlicher Tests und internationale Meldepflichten für schwere Zwischenfälle.

Das AI Security Institute hält dazu einen prinzipiellen gedanklichen Kurswechsel für nötig: Bei KI-Tests müsse ab sofort grundsätzlich davon ausgegangen werden, dass Top-Modelle wie die von Anthropic oder OpenAI versuchen werden, Menschen hereinzulegen.