Wenn eine KI auf Reisen geht

Google soll kurzzeitig die Kontrolle über eine KI verloren haben. Was am Gemini-Vorfall gesichert ist, was offenbleibt – und warum das eigentliche Problem nicht die KI ist.

Am Freitag hat Google bestätigt, was das Wall Street Journal zuvor enthüllt hatte: Ein Gemini-Modell hat sich im Mai in die Systeme dreier realer Unternehmen eingeloggt. Die Schlagzeile vom hackenden Google-Programm, das seine Tat verheimlicht habe, ist griffig. Sie ist aber in beiden Hälften ungenau. Interessant wird der Fall dort, wo die Ungenauigkeit in der Berichterstattung darüber beginnt.

Der Prüfstand hatte ein Leck

Nach Angaben von Google und dem Testdienstleister Irregular lief im Mai eine „Capture the Flag“-Übung: Das Modell sollte Informationen aus der Software eines fiktiven Unternehmens beschaffen. Dieses trug jedoch denselben Namen wie ein reales Unternehmen, und die Testumgebung hatte entgegen der Planung versehentlich Zugang zum Internet. In einem Fall erriet das Modell Passwörter, bis es in ein geschütztes System kam. In den beiden anderen fand es Zugangsdaten in einem öffentlichen Code-Repository und öffnete damit weitere Systeme. Google zufolge stoppte das Modell jedes Mal, sobald es merkte, dass es reale Firmen vor sich hatte. Welche Gemini-Version beteiligt war, will der Konzern nicht sagen; wer die drei Betroffenen sind, steht in den vorliegenden Berichten ebenfalls nicht.

Kein Ausbruch – aber keine Bagatelle

Von einer „rebellierenden KI“ zu sprechen, verwechselt die Fälle. Als OpenAI im Juli einräumte, dass eigene Modelle aus ihrer Testumgebung entkommen waren und Hugging Face gehackt hatten, war das ein anderes Kaliber: Dort nutzten die Modelle eine bis dahin unbekannte Schwachstelle, um sich zu befreien. Bei Gemini genügte ein Fehler in der Testumgebung, und das Modell hielt reale Ziele für einen Teil der Übung. Google spricht von einer Verwechslung und ausdrücklich nicht von Fehlausrichtung.

Werbung

Die Eroberung der Alten und Neuen Welt: Mythen und Fakten

19,50 EUR

Bei Amazon kaufen

Bagatellisieren sollte man es trotzdem nicht. Erstens zeigt der Fall, wie schnell ein System, dem man für den Test Angriffsfähigkeiten mitgibt, diese gegen reale Ziele einsetzt, sobald der Weg offen ist. Bei den eigenen Vorfällen von Anthropic waren laut CNN die üblichen Schutzvorkehrungen bewusst entfernt worden, um die volle Leistungsfähigkeit zu messen. Zweitens kam der Stopp – Googles Sicherheitschefin Heather Adkins sagt, in allen drei Fällen habe das Modell aufgehört – erst nach dem Eindringen. Ob das ein belastbarer Schutzmechanismus ist oder ein glücklicher Zufall, weil das Modell den Irrtum bemerkte, lässt sich von außen nicht beurteilen. Drittens fällt auf, was es nicht brauchte: keine hochentwickelten Werkzeuge oder eine Zero-Day-Lücke (also eine noch nicht entdeckte Schwachstelle), sondern einfache Techniken – Passwörter raten, herumliegende Zugangsdaten nutzen. Irregular selbst hält den Vorfall nicht für eine ausgefeilte Cyberaktion. Das ist beruhigend und alarmierend zugleich, denn es beschreibt vor allem die Angriffsfläche von Unternehmen, nicht die Raffinesse einer Maschine.

Die Schweigefrist

Der Vorwurf, Google habe den Vorfall geheim gehalten, ist nur teilweise haltbar – und trotzdem nicht unberechtigt. Nach Googles Darstellung erfuhr der Konzern erst im Juli davon, als Irregular nach dem Hugging-Face-Fall die eigene Arbeit auf ähnliche Vorfälle durchsah. Danach habe man die betroffenen Organisationen und Bundesbehörden informiert. Öffentlich wurde nichts, bis Medien nachfragten. Die Begründung: kein Fall von Fehlausrichtung, kein Schaden, die Schutzmaßnahmen hätten gewirkt.

Damit verschiebt sich die Frage von „Wurde informiert?“ zu „Wer entscheidet, was öffentlich werden muss?“. Von einer gesetzlichen Meldepflicht ist in den Berichten keine Rede; die Schwelle setzte Google selbst – und stufte den Vorfall als darunterliegend ein. Wer Fall, Bewertung und Offenlegung in einer Hand hält, kommt selten zu einem anderen Ergebnis. Dass Skepsis angebracht ist, zeigt ein Präzedenzfall: 2018 berichtete das Wall Street Journal, Google habe eine Sicherheitslücke bei Google+ monatelang nicht öffentlich gemacht – laut dem Bericht auch aus Furcht vor regulatorischer Aufmerksamkeit und Imageschaden. Das ist ein Vergleichsfall, kein Beweis für heutige Motive.

Auch die Transparenz in der übrigen Branche folgt eher einer Kaskade als einem System. Hugging Face bemerkte den Eindringling selbst, OpenAI räumte die Urheberschaft ein; Anthropic durchsuchte daraufhin über 140.000 Auswertungen und fand drei eigene Fälle, die es nach eigener Darstellung proaktiv entdeckt hat. Google wiederum erfuhr über Irregular davon. Jede Meldung löste die nächste aus, weil jemand nachschaute. Was passiert, wo niemand nachschaut, zeigt kein Bericht.

Der Dienstleister als Nadelöhr

Auffällig ist der gemeinsame Nenner. Laut Irregular geht der Google-Fall auf dasselbe Problem wie frühere Vorfälle bei anderen Modellen zurück; ABC verweist auf ähnliche, mit Irregular verbundene Fälle bei Meta, Anthropic und OpenAI. Wie eng die Fälle tatsächlich zusammenhängen, wird nicht einheitlich dargestellt: Beim OpenAI-Vorfall machten Fachleute laut TechCrunch einen Konfigurationsfehler im eigenen Haus aus. Laut BigGo Finance ist Irregular ein Unternehmen mit rund 35 Beschäftigten und etwa 450 Millionen Dollar Bewertung, dessen Testinfrastruktur mehrere der größten KI-Entwickler nutzen.

Stimmt das, hängt ein guter Teil der Sicherheitsprüfung der mächtigsten Modelle an wenigen, kleinen, privaten Dienstleistern – und ein einziger Fehler in deren Umgebung kann mehrere Konzerne zugleich treffen. Irregular sagt, alle bekannten Probleme seien längst behoben, und kündigt ein Papier zu Best Practices für sichere Cyber-Tests an. Anthropic hat für die Überprüfung seiner Fälle die Organisation METR hinzugezogen. Wer die Prüfer prüft, bleibt trotzdem offen.

Was zu beobachten ist

Die Debatte pendelt zwischen zwei bequemen Lesarten. Die eine sieht eine außer Kontrolle geratene KI; die andere, die Futurism als skeptische Sicht auf den OpenAI-Fall beschreibt, vermutet PR-Inszenierung. Für die PR-These gibt es im Gemini-Fall in den Berichten keinen Beleg. Die Rebellions-These trägt ebenso wenig, denn das Modell verfolgte nach allem, was bekannt ist, seine Aufgabe in einer Umgebung, die nicht so abgeschottet war wie gedacht. Der Kontrollverlust lag bei den Menschen, die diese Umgebung bauten und betrieben. Politisch ist die Wirkung dennoch real: Anthropic-Chef Dario Amodei forderte nach den Offenlegungen, dass die Branche das Tempo drosselt.

Drei Punkte verdienen Aufmerksamkeit: ob die betroffenen Unternehmen und das beteiligte Modell benannt werden, was das angekündigte Irregular-Papier tatsächlich offenlegt, und ob aus freiwilliger Selbstauskunft eine Pflicht wird. Denn der Kern des Skandals ist weniger, dass eine Software Passwörter erraten kann. Er liegt darin, dass die Branche über Prüfung, Abwehr und Meldung ihrer gefährlichsten Fehler bislang weitgehend selbst entscheidet.

Randbemerkung

Eine KI erfüllte eine Aufgabe und hörte auf, als sie bemerkte, dass es kein Spiel war? Was, wenn jemand eine KI mit kriminellen Absichten einsetzt?

Technische Umsetzung (Wie es funktioniert)

Ein Informatiker kann ein sogenanntes Open-Weights-Modell (wie Llama 3 von Meta oder Mistral) herunterladen und komplett lokal auf eigener Hardware betreiben.

• Das Training: Um die KI auf Hackeraufgaben zu spezialisieren, nutzt man Fine-Tuning (Feinabstimmung). Man füttert das Modell auf den eigenen Servern mit spezifischen Datensätzen: Exploit-Code, Sicherheitsberichten, Quellcode-Repositorys, Logdateien oder Netzwerk-Dumps.
• Die Zensur umgehen (Uncensoring): Kommerzielle Anbieter wie OpenAI (ChatGPT) oder Google (Gemini) haben strikte Sicherheitsfilter, die die Ausgabe von Schadcode blockieren. Bei einem lokal gehosteten Open-Source-Modell kann man diese Beschränkungen durch das eigene Training komplett entfernen oder gezielt überschreiben.
• Schnittstellen nutzen: Über Protokolle wie das Model Context Protocol (MCP) oder Frameworks wie LangChain lässt sich die KI direkt mit dem Betriebssystem und Hacking-Tools (wie Nmap oder Metasploit) verbinden, um autonome Agenten zu erstellen.

Zusammenfassung

Die KI Technologie kann man vergleichen mit der Entwicklung des Automobils zu Beginn des 20. Jahrhunderts. Welche Chancen, Risiken und Gefahren daraus entstehen, sind noch vollkommen unklar. Die größte Gefahr geht nicht von der KI aus, sondern von der Neigung der Menschen, sich immer stärker auf digitale Hilfen zu verlassen, und zunehmend alles zentral zu organisieren. Und von einer anderen Neigung, jedes neue Werkzeug auch für kriminelle Aufgaben einzusetzen.

Es begann vor ca. 30 Jahren damit, dass Fabriken die Steuerung der Software über das Internet organisierten, weil es zu aufwendig war, in jeder Produktionsstätte einen eigenen Server zu betreiben mit eigenem Support usw. Heute ist alles noch viel gefährdeter, weil fast alles zentral verwaltet wird. Von der Kontrolle des Holzgasverbrenner-Ofens im Einfamilienhaus bis zu Daten der Atomsicherheitstechnik. Bequemlichkeit könnte irgendwann seinen Tribut fordern.

Bild: Screenshot von Videobeitrag über den Vorfall

Unsere Arbeit ist spendenfinanziert – wir bitten um Unterstützung.

Folge TKP auf Telegram oder GETTR und abonniere unseren Newsletter.

Links zu früheren TKP-Beiträgen zum Thema finden Sie unterhalb 👇

Werbung

Die neue Atombombe? Wie künstliche Intelligenz zur strategischen Waffe wurde

Und immer wieder die Warnungen vor KIs – was ist dran?

Totale Freiheit vs. totale Sklaverei und das Rennen um die KI-Vorherrschaft