Google soll kurzzeitig die Kontrolle über eine KI verloren haben. Was am Gemini-Vorfall gesichert ist, was offenbleibt – und warum das eigentliche Problem nicht die KI ist.
Am Freitag hat Google bestätigt, was das Wall Street Journal zuvor enthüllt hatte: Ein Gemini-Modell hat sich im Mai in die Systeme dreier realer Unternehmen eingeloggt. Die Schlagzeile vom hackenden Google-Programm, das seine Tat verheimlicht habe, ist griffig. Sie ist aber in beiden Hälften ungenau. Interessant wird der Fall dort, wo die Ungenauigkeit in der Berichterstattung darüber beginnt.
Der Prüfstand hatte ein Leck
Nach Angaben von Google und dem Testdienstleister Irregular lief im Mai eine „Capture the Flag“-Übung: Das Modell sollte Informationen aus der Software eines fiktiven Unternehmens beschaffen. Dieses trug jedoch denselben Namen wie ein reales Unternehmen, und die Testumgebung hatte entgegen der Planung versehentlich Zugang zum Internet. In einem Fall erriet das Modell Passwörter, bis es in ein geschütztes System kam. In den beiden anderen fand es Zugangsdaten in einem öffentlichen Code-Repository und öffnete damit weitere Systeme. Google zufolge stoppte das Modell jedes Mal, sobald es merkte, dass es reale Firmen vor sich hatte. Welche Gemini-Version beteiligt war, will der Konzern nicht sagen; wer die drei Betroffenen sind, steht in den vorliegenden Berichten ebenfalls nicht.
Kein Ausbruch – aber keine Bagatelle
Von einer „rebellierenden KI“ zu sprechen, verwechselt die Fälle. Als OpenAI im Juli einräumte, dass eigene Modelle aus ihrer Testumgebung entkommen waren und Hugging Face gehackt hatten, war das ein anderes Kaliber: Dort nutzten die Modelle eine bis dahin unbekannte Schwachstelle, um sich zu befreien. Bei Gemini genügte ein Fehler in der Testumgebung, und das Modell hielt reale Ziele für einen Teil der Übung. Google spricht von einer Verwechslung und ausdrücklich nicht von Fehlausrichtung.
Bagatellisieren sollte man es trotzdem nicht. Erstens zeigt der Fall, wie schnell ein System, dem man für den Test Angriffsfähigkeiten mitgibt, diese gegen reale Ziele einsetzt, sobald der Weg offen ist. Bei den eigenen Vorfällen von Anthropic waren laut CNN die üblichen Schutzvorkehrungen bewusst entfernt worden, um die volle Leistungsfähigkeit zu messen. Zweitens kam der Stopp – Googles Sicherheitschefin Heather Adkins sagt, in allen drei Fällen habe das Modell aufgehört – erst nach dem Eindringen. Ob das ein belastbarer Schutzmechanismus ist oder ein glücklicher Zufall, weil das Modell den Irrtum bemerkte, lässt sich von außen nicht beurteilen. Drittens fällt auf, was es nicht brauchte: keine hochentwickelten Werkzeuge oder eine Zero-Day-Lücke (also eine noch nicht entdeckte Schwachstelle), sondern einfache Techniken – Passwörter raten, herumliegende Zugangsdaten nutzen. Irregular selbst hält den Vorfall nicht für eine ausgefeilte Cyberaktion. Das ist beruhigend und alarmierend zugleich, denn es beschreibt vor allem die Angriffsfläche von Unternehmen, nicht die Raffinesse einer Maschine.
Die Schweigefrist
Der Vorwurf, Google habe den Vorfall geheim gehalten, ist nur teilweise haltbar – und trotzdem nicht unberechtigt. Nach Googles Darstellung erfuhr der Konzern erst im Juli davon, als Irregular nach dem Hugging-Face-Fall die eigene Arbeit auf ähnliche Vorfälle durchsah. Danach habe man die betroffenen Organisationen und Bundesbehörden informiert. Öffentlich wurde nichts, bis Medien nachfragten. Die Begründung: kein Fall von Fehlausrichtung, kein Schaden, die Schutzmaßnahmen hätten gewirkt.
Damit verschiebt sich die Frage von „Wurde informiert?“ zu „Wer entscheidet, was öffentlich werden muss?“. Von einer gesetzlichen Meldepflicht ist in den Berichten keine Rede; die Schwelle setzte Google selbst – und stufte den Vorfall als darunterliegend ein. Wer Fall, Bewertung und Offenlegung in einer Hand hält, kommt selten zu einem anderen Ergebnis. Dass Skepsis angebracht ist, zeigt ein Präzedenzfall: 2018 berichtete das Wall Street Journal, Google habe eine Sicherheitslücke bei Google+ monatelang nicht öffentlich gemacht – laut dem Bericht auch aus Furcht vor regulatorischer Aufmerksamkeit und Imageschaden. Das ist ein Vergleichsfall, kein Beweis für heutige Motive.
Auch die Transparenz in der übrigen Branche folgt eher einer Kaskade als einem System. Hugging Face bemerkte den Eindringling selbst, OpenAI räumte die Urheberschaft ein; Anthropic durchsuchte daraufhin über 140.000 Auswertungen und fand drei eigene Fälle, die es nach eigener Darstellung proaktiv entdeckt hat. Google wiederum erfuhr über Irregular davon. Jede Meldung löste die nächste aus, weil jemand nachschaute. Was passiert, wo niemand nachschaut, zeigt kein Bericht.
Der Dienstleister als Nadelöhr
Auffällig ist der gemeinsame Nenner. Laut Irregular geht der Google-Fall auf dasselbe Problem wie frühere Vorfälle bei anderen Modellen zurück; ABC verweist auf ähnliche, mit Irregular verbundene Fälle bei Meta, Anthropic und OpenAI. Wie eng die Fälle tatsächlich zusammenhängen, wird nicht einheitlich dargestellt: Beim OpenAI-Vorfall machten Fachleute laut TechCrunch einen Konfigurationsfehler im eigenen Haus aus. Laut BigGo Finance ist Irregular ein Unternehmen mit rund 35 Beschäftigten und etwa 450 Millionen Dollar Bewertung, dessen Testinfrastruktur mehrere der größten KI-Entwickler nutzen.
Stimmt das, hängt ein guter Teil der Sicherheitsprüfung der mächtigsten Modelle an wenigen, kleinen, privaten Dienstleistern – und ein einziger Fehler in deren Umgebung kann mehrere Konzerne zugleich treffen. Irregular sagt, alle bekannten Probleme seien längst behoben, und kündigt ein Papier zu Best Practices für sichere Cyber-Tests an. Anthropic hat für die Überprüfung seiner Fälle die Organisation METR hinzugezogen. Wer die Prüfer prüft, bleibt trotzdem offen.
Was zu beobachten ist
Die Debatte pendelt zwischen zwei bequemen Lesarten. Die eine sieht eine außer Kontrolle geratene KI; die andere, die Futurism als skeptische Sicht auf den OpenAI-Fall beschreibt, vermutet PR-Inszenierung. Für die PR-These gibt es im Gemini-Fall in den Berichten keinen Beleg. Die Rebellions-These trägt ebenso wenig, denn das Modell verfolgte nach allem, was bekannt ist, seine Aufgabe in einer Umgebung, die nicht so abgeschottet war wie gedacht. Der Kontrollverlust lag bei den Menschen, die diese Umgebung bauten und betrieben. Politisch ist die Wirkung dennoch real: Anthropic-Chef Dario Amodei forderte nach den Offenlegungen, dass die Branche das Tempo drosselt.
Drei Punkte verdienen Aufmerksamkeit: ob die betroffenen Unternehmen und das beteiligte Modell benannt werden, was das angekündigte Irregular-Papier tatsächlich offenlegt, und ob aus freiwilliger Selbstauskunft eine Pflicht wird. Denn der Kern des Skandals ist weniger, dass eine Software Passwörter erraten kann. Er liegt darin, dass die Branche über Prüfung, Abwehr und Meldung ihrer gefährlichsten Fehler bislang weitgehend selbst entscheidet.
Randbemerkung
Eine KI erfüllte eine Aufgabe und hörte auf, als sie bemerkte, dass es kein Spiel war? Was, wenn jemand eine KI mit kriminellen Absichten einsetzt?
Technische Umsetzung (Wie es funktioniert)
Ein Informatiker kann ein sogenanntes Open-Weights-Modell (wie Llama 3 von Meta oder Mistral) herunterladen und komplett lokal auf eigener Hardware betreiben.
- Das Training: Um die KI auf Hackeraufgaben zu spezialisieren, nutzt man Fine-Tuning (Feinabstimmung). Man füttert das Modell auf den eigenen Servern mit spezifischen Datensätzen: Exploit-Code, Sicherheitsberichten, Quellcode-Repositorys, Logdateien oder Netzwerk-Dumps.
- Die Zensur umgehen (Uncensoring): Kommerzielle Anbieter wie OpenAI (ChatGPT) oder Google (Gemini) haben strikte Sicherheitsfilter, die die Ausgabe von Schadcode blockieren. Bei einem lokal gehosteten Open-Source-Modell kann man diese Beschränkungen durch das eigene Training komplett entfernen oder gezielt überschreiben.
- Schnittstellen nutzen: Über Protokolle wie das Model Context Protocol (MCP) oder Frameworks wie LangChain lässt sich die KI direkt mit dem Betriebssystem und Hacking-Tools (wie Nmap oder Metasploit) verbinden, um autonome Agenten zu erstellen.
Zusammenfassung
Die KI Technologie kann man vergleichen mit der Entwicklung des Automobils zu Beginn des 20. Jahrhunderts. Welche Chancen, Risiken und Gefahren daraus entstehen, sind noch vollkommen unklar. Die größte Gefahr geht nicht von der KI aus, sondern von der Neigung der Menschen, sich immer stärker auf digitale Hilfen zu verlassen, und zunehmend alles zentral zu organisieren. Und von einer anderen Neigung, jedes neue Werkzeug auch für kriminelle Aufgaben einzusetzen.
Es begann vor ca. 30 Jahren damit, dass Fabriken die Steuerung der Software über das Internet organisierten, weil es zu aufwendig war, in jeder Produktionsstätte einen eigenen Server zu betreiben mit eigenem Support usw. Heute ist alles noch viel gefährdeter, weil fast alles zentral verwaltet wird. Von der Kontrolle des Holzgasverbrenner-Ofens im Einfamilienhaus bis zu Daten der Atomsicherheitstechnik. Bequemlichkeit könnte irgendwann seinen Tribut fordern.
Bild: Screenshot von Videobeitrag über den Vorfall
Unsere Arbeit ist spendenfinanziert – wir bitten um Unterstützung.
Folge TKP auf Telegram oder GETTR und abonniere unseren Newsletter.
Links zu früheren TKP-Beiträgen zum Thema finden Sie unterhalb 👇
Die neue Atombombe? Wie künstliche Intelligenz zur strategischen Waffe wurde
Und immer wieder die Warnungen vor KIs – was ist dran?
Totale Freiheit vs. totale Sklaverei und das Rennen um die KI-Vorherrschaft
17 Kommentare
IT-Systeme laufen alle auf der grundsätzlich gleichen Struktur. Dadurch wird ein Auditing und eine Kontrolle überhaupt erst möglich. Auf welche Code-Schnipsel in der Tiefe zugegriffen wird, kann am Ende niemand sagen, die Architekturen werden viel zu komplex. Wenn jemand, zB mit KI, eine unbekannte Schwachstelle findet, sind sehr, sehr viele Systeme betroffen. Daher sind alle IT-Systeme grundsätzlich hackbar und komprommitierbar. Wenn etwas digital funktioniert, dann gibt es ein Risiko, dass es ausfällt oder falsch funktioniert. Dieses Risiko wird in den meisten fällen nicht wahrgenommen.
Die Entwicklung der KI‑Technologie erinnert tatsächlich an die frühen Automobiljahre des 20. Jahrhunderts: enorme Chancen, aber ebenso unbekannte Risiken und Gefahren. Ein Unterschied ist jedoch entscheidend. Das klassische Automobil funktionierte deterministisch und berechenbar. Wenn nun neuronale Netze die Wahrnehmung der Umgebung oder die Fahrsteuerung übernehmen, entstehen unkontrollierbare Fehler – nicht aus mechanischem Versagen, sondern aus dem Nicht‑Verstehen der aktuellen Fahrsituation. Das ist eine völlig neue Qualität von Fehlverhalten.
Modelle wie moderne KI‑Systeme dürften somit in sicherheitsrelevanten Umgebungen nicht eingesetzt werden. Sie besitzen kein semantisches Verständnis der Daten, die sie verarbeiten. Architekturbedingt führen sie keine deterministischen Operationen aus, sondern ausschließlich statistische Musterprojektion. Ein System, das nicht weiß, was seine Eingaben bedeuten, darf niemals an Infrastruktur angeschlossen werden, die exakte, kausal nachvollziehbare Entscheidungen benötigt.
Solche Modelle gehören in einen isolierten Sandkasten, streng kontrolliert und ohne Zugriff auf kritische Schnittstellen. Alles andere führt direkt zu Fehlentscheidungen und systemischer Instabilität. Fehler werden nicht erkannt, Risiken nicht verstanden, Daten nicht angemessen interpretiert – nur statistisch nachgeahmt. Das ist der direkte Weg ins technische Irrenhaus.
Ich erinnere an Teslas Fehldeutung eines weißen Streifens im Bild als Himmel anstelle eine liegen gebliebenes LKW der quer mit weißer Plane die Fahrbahn zierte. Folge war: tödlicher Unfall. Die Mathematik der KI hat statistisch dem Himmel eine größere Wahrscheinlichkeit zugeordnet und den LKW mit weißer Plane wie statist. Rauschen behandelt. Ein 3D-Radar zur Gegenprüfung gab es nicht, LIDAR war Musk zu teuer, er hat sich allein auf KI-basierte Computer-Vision verlassen, da fehlt es an Verständnis wie KI funktiniert oder besser nicht funktioniert.
Ich frage mich eher, warum permanent Panik gemacht wird, bei etwas das man selbst insziniert.
Was will man mit der KI Angstmacherei wirklich erreichen?
Eingriffe seitens der Politik, die dann diese Systeme zum Schutz weniger absichern und gegen den Rest aufstellen?
Hat es was mit Geld zu tun, Börsengängen z.B.?
Die echte einzige Gefahr besteht bei Leuten, die damit etwas gegen den Rest unternehmen.
Gut gemachte Fakes, global gestreut, könnten mittels KI gemacht, wirklich zu einer Gefahr werden, aber nicht die völlig leblose und interessenlose, willenlose KI..
Alles was KI tut, ist das was Menschen von der KI verlangen und vorgeben.
Mir macht die KI kein bisschen Angst, aber das was man damit tut, bei diesem Systemprinzip schon.
Hängen die US-amerikanischen Atomraketen eigentlich auch am Internet? Frage für einen Freund.
Und was ist mit der KI, die sich Unternehmen & Behörden selbst ins Haus holen ? Vielleicht kann die auch ein bisserl mehr ? Vielleicht arbeitet die auch zu gerne mit der KI anderer Unternehmen & Behörden ?
Ich erinnere mich daran, dass es beim Zensus 2022 einen „Testlauf“ mit Realdaten gab und auch einen Sicherheitsvorfall. Auf IFG-Anfragen zu Details hat das Statistische Bundesamt erklärt, man wolle es künftigen Angreifern nicht zu leicht machen. Was ja wohl heißt, dass die Schwachstellen nach wie vor bestehen und man darauf hofft, dass niemand sie findet. Dann wartet das Amt wohl auch nur darauf, dass Gemini um die Ecke kommt.
Wir gaben uns anscheinend längst damit angefunden, einen überlebenswichtigen Grundsatz ständig und überall zu verletzen:
Kritische Dinge,inklusive kritischer Daten dürfen niemals mit dem Internet verbunden sein. Das ist Selbstmord. Die Menschheit wird das herausfinden/ the hard way.
Das inhärente und unausweichliche Problem einer von Menschen geschaffenen künstlichen Intelligenz hat Mary Shelley mit Frankenstein ja bereits gut beschrieben. KI ist in gewisser Weise nur eine moderne Version davon. Die Frage ist lediglich, wie lange wir als Gesellschaft brauchen, um das zu sehen.
Alle Erfindungen des Menschen und die daraus resultierenden Techniken wurden noch gegen den Menschen eingesetzt. Die Zeit wird kommen, wo auch die KI dafür benutzt wird.
Besser, niemand benutzt noch AI außer den Leuten, die etwas davon verstehen: God’s chosen bankster, God’s chosen bankster und God’s chosen bankster.
„Nach Angaben von Google und dem Testdienstleister Irregular lief im Mai eine „Capture the Flag“-Übung: Das Modell sollte Informationen aus der Software eines fiktiven Unternehmens beschaffen.“
Aha. Man testet ein Programm, das dazu konzipiert ist, A zu tun und bezeichnet es dann als „Unfall“, wenn das Programm exakt A liefert, weil man ja nie vor hatte, A zu tun.
Wie absurd kann man eigentlich lügen?
Genau nach dem Motto: O du meine Güte, das Ding tut ja genau das, worauf wir sie trainiert haben!
So eine Sch…Hätten wir uns doch nie gdacht!
Ich kann die Kritik an Google und Gemini hier nicht unterschreiben. Gemini hat getan, wofür es entwickelt wurde. Es hat nur versehentlich irgendwo eine Schwachstelle entdeckt, auf die es momentan nicht angesetzt war. Aber jemand anders hat diese Hintertür vielleicht schon im Stillen ausgenutzt. Der Fehler liegt bei den Unternehmen, die erratbare Passwörter einsetzen oder die Passwörter unter der Fußmatte an der Eingangstür verstecken.
Gemini hat getan, wofür es entwickelt wurde. Es hat nur versehentlich irgendwo eine Schwachstelle entdeckt, auf die es MOMENTAN nicht angesetzt war.
JA, eben.
Amerikanische Software halt, hat noch nie getaugt, der Betatest erfolgt immer erst durch den Kunden…
Plug & Pray…..
🤣🤣🤣
Regeln für Kommentare: Bitte bleibt respektvoll - keine Diffamierungen oder persönliche Angriffe. Keine Video-Links. Manche Kommentare werden erst nach Prüfung freigegeben, was gelegentlich länger dauern kann. Benutzer haften für den Inhalt ihrer Kommentare.
Sie müssen angemeldet sein um Kommentare zu posten. Noch kein Konto? Jetzt registrieren.