Ein KI-Spezialist von Anthropic hat mit einer öffentlichen Warnung das Unternehmen verlassen. Die großen KI-Firmen würden mit dem Leben der Menschheit spielen. Das sei allen bewusst, doch man rase weiter auf die Katastrophe zu.
Jacob Coxon war drei Jahre bei den beiden führenden KI-Laboren OpenAI und Anthropic tätig. Mit einem öffentlichen Abgang hat er sich nun aus der Branche verabschiedet. Er ist Spezialist für das Vortraining großer Sprachmodelle und kritisiert die KI-Riesen scharf. Weder OpenAI noch Anthropic handelten verantwortungsvoll. Beide rasten auf eine sich selbst verbessernde Superintelligenz zu und spielten mit dem Leben der Menschheit.
Coxons zentrale Stellungnahme:
„Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Das ist kein Marketingtrick. Wenn überhaupt, werden viele Führungskräfte und leitende Forscher ihre Formulierungen in der Presse abschwächen, um vernünftig zu klingen – aber ich höre dieselben Leute privat ihre Angst äußern. Keine andere menschliche Tätigkeit birgt ein solches Maß an Gefahr.“
Coxon glaubt, dass die kommenden Systeme dem Menschen schon bald völlig überlegen sein werden. Sie könnten „alles hacken“, ganze Fachgebiete über Nacht umwälzen und reale Macht sowie Ressourcen erwerben. Entsprechende Fortschritte kann man schon heute sehen. Wer fragt, warum die Labore dann trotzdem weiterbauen, erhält bei OpenAI und Anthropic unterschiedliche Antworten:
Bei OpenAI hätten viele die zivilisatorischen Einsätze noch nicht wirklich verinnerlicht. Bei Anthropic seien die Einsätze klar, aber das Unternehmen sei in einem Wettrennen gefangen. Man glaube, niemand sonst werde verantwortungsvoll handeln – also müsse man selbst vorangehen, trotz des Risikos. Ein solches „Endspiel“ aus dem Slack-Kanal eines Privatunternehmens zu starten, nennt Coxon eine Wette aus Hybris.
„Keines der Unternehmen handelt verantwortungsvoll. Sie rasen geradewegs auf selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“
Gegenüber dem Wall Street Journal verschärfte er den Zeitrahmen: In den aggressivsten Szenarien könne die Lage bereits Ende nächsten Jahres außer Kontrolle geraten. Innerhalb der Labore sprächen Kollegen inzwischen von „Crunchtime“ und „Endgame“.
Evan Hubinger, bei Anthropic Leiter der Alignment-Wissenschaft, schrieb öffentlich, Coxon habe recht: Man glaube dort tatsächlich ernsthaft, KI könne alle Menschen töten. Hubinger selbst setze die Wahrscheinlichkeit dafür in den nächsten zehn Jahren auf über zehn Prozent. Anthropic bemühe sich, habe aber noch keinen Plan, das Problem einer Superintelligenz zu lösen. Das Risiko heutiger Modelle sei gering; die Sorge gelte einer Superintelligenz durch rekursive Selbstverbesserung, die schneller komme als angenommen. Forbes berichtet dazu umfassender.
Coxon dürfte kein frustrierter Mitarbeiter sein. Anthropic-Chef Dario Amodei nannte 2025 eine 25-Prozent-Chance, dass es „wirklich, wirklich schlecht“ ausgehe, und hat wiederholt vor Kontrollverlust, Biosicherheitsrisiken und Systemen gewarnt, die sich täuschend oder machtsuchend verhalten.
Coxon schlägt Koordination vor – etwa Tempoabsprachen zwischen US-Laboren oder sogar ein vorübergehendes Verbot, Modellfähigkeiten weiter zu steigern. Allein auszusteigen helfe wenig, weil Konkurrenten, auch außerhalb der USA, den Vorsprung nutzen würden. Demnach braucht es politischen Willen – und zwar nicht nur innerhalb der USA, sondern global.
Der französische Politiker Florian Philippot griff eine Passage aus Coxons Thread auf und machte daraus eine innenpolitische Forderung, die für Europa relevant ist: Ob Frankreich auf höchster Ebene überhaupt über eine eigenständige, leistungsfähige KI und über die existenziellen Risiken nachdenke. Offenbar nicht – das müsse sich rasch ändern.
Für Europa ist der Fall deshalb mehr als Silicon-Valley-Theater. Der EU-AI-Act und das deutsche Umsetzungsgesetz schaffen Marktaufsicht und Sandboxes, zielen aber vor allem auf Hochrisiko-Anwendungen, Transparenz und Verbraucherschutz – nicht auf ein globales Wettrennen um selbstverbessernde Superintelligenz. Das überlässt man den USA und China. An sie richtete kürzlich Digitalminister Karsten Wildberger die Idee einer internationalen Aufsicht nach dem Vorbild der IAEA.
Unsere Arbeit ist spendenfinanziert – wir bitten um Unterstützung.
Folge TKP auf Telegram oder GETTR und abonniere unseren Newsletter.
Links zu früheren TKP-Beiträgen zum Thema finden Sie unterhalb 
Omniwar 4: Die Eroberung der Universitäten – Wie Akademia zur Propagandamaschine wurde
KI-Modell Claude 4: Wenn die KI zu Täuschung und Erpressung greift
KI – Angriff auf das Bewusstsein
17 Kommentare
Ich, 83, habe meinen ganzen Heldenmut zusammengerafft und in KI konservative Fragen gestellt. Es wurde ein interessanter Verlauf. der mir meine Weltsicht bestätigte. Obwohl ich seit ´15 am Rechner sitze, bin ich immer noch ein IT-Analphabet und so gelang es mir nicht, den Verlauf zu speichern.
Meine Erfahrung, KI ist an und für sich neutral, wenn man es läßt. So wie das Internet super/mißbraucht.
Passende „Arimanische Hüllen“ arbeiten seit jeher daran, die „normale“ Menschheit zu vernichten.
Bisher mit „menschlichen“ Mitteln, aber eiskalt und emotionslos. Nun kommen weitere nützliche „Skills“ durch KI hinzu. Was daraus entsteht, dagegen war alles bis jetzt Bekannte nur eine Kinderei… dann wird niemand mehr über den „Weltuntergang“ spotten.
Ich bin auf einen Beitrag von Thomas Moser gespannt .
Nur so viel, weil heute die „Chatkontrolle“ sehr restriktiv ist:
Wenn KI Schaden anrichtet, dann liegt das nicht an einer digitalen Gottheit, sondern an Menschen, die ein System gebaut haben, dessen Verhalten sie nicht mehr verstehen – und es trotzdem auf die Welt loslassen. Das ist kein Kontrollverlust durch KI, sondern ein Kontrollverlust über KI. So wie wenn man eine Abrissbirne baut, sie einschaltet und sich dann wundert, warum plötzlich Häuser fehlen.
„Das ist kein Kontrollverlust durch KI, sondern ein Kontrollverlust über KI.“
Also genauso wie ich weiter unten schrieb: …wo Programmierer aussagten, dass sie selbst nie wissen, was ihre eigene „Kreationen“ alles machen. Plötzlich reagiert das System, ohne dass es bewusst darauf programmiert wurde. ?
Ja so ist die Sache mit den Programmierern.
Wenn ein „Agent“ explorativ eine Aktion testet, die niemand erwartet hat, wird sofort von „Kontrollverlust durch KI“ gesprochen. Dabei ist es schlicht die Konsequenz eines schlecht überblickten Suchraums. Die KI probiert nicht aus Neugier, sondern weil Exploration Teil des Designs ist. Sie überschreitet keine Grenzen – sie nutzt nur die Grenzen, die man ihr gesetzt hat, und die sich im Nachhinein als überraschend großzügig herausstellen. Der eigentliche Kontrollverlust liegt nicht im Algorithmus, sondern im Menschen, der glaubt, Kontrolle zu besitzen, obwohl er den eigenen Aktionsraum nie vollständig verstanden hat. Die KI ist nicht außer Kontrolle – die Kontrolle war nie sauber definiert.
Kurz: Menschen erlauben Systemen Freiheitsgrade, deren Konsequenzen sie nicht überblicken. Das ist dumm. Gates, Musk, Altman, Harari liegen alle falsch wenn sie der KI Eigenmächtigkeit zuschreiben, und damit die Programmierer aus ihrer Verantwortung quasi entlassen.
Es gibt im Grunde nichts mehr zu programmieren. Egal, ob KI „gesteuert“ ist oder nicht – man weiß, dass sie z. B. Halluzinieren kann, also kann sie auch wahllos töten oder das Töten anordnen…
Mehr braucht es nicht, denn das Wie liefert sie danach gerne dazu – ganz ohne Aufforderung.
@Gabriele
Halluzinationen sind Sinnestäuschungen, bei denen Betroffene Dinge wahrnehmen, die objektiv nicht existieren, und diese Wahrnehmungen für real halten.
Da KI kein Bewusstein hat, kann sie auch keine Sinnestäuschung haben.
Wie Thomas Moser sehr gut erläutert hat: die KI ist nicht außer Kontrolle – die Kontrolle war nie sauber definiert und Wenn KI Schaden anrichtet, dann liegt das nicht an einer digitalen Gottheit (auch nicht an einer angeblichen Halluzination der KI – meine Anmerkung), sondern an Menschen, die ein System gebaut haben, dessen Verhalten sie nicht mehr verstehen – und es trotzdem auf die Welt loslassen.
@Hello: SIe deuten mich korrekt aus.
Vielleicht hilft noch folgende Vorstellung:
Wir designen einen evolutionären Algorithmus, der gezielt Zufallseinflüsse nutzt, um zu neuen Aktionsmustern zu gelangen. Sein Aktionsraum umfasst auch Interfaces zu riskanten Infrastrukturen oder autonomen Waffensystemen. Dann wird die KI diesen erweiterten Aktionsradius ausnutzen – aber nicht, weil sie selbst etwas will, sondern weil die Programmierer dem Algorithmus diese Freiheit und diese Schnittstellen gegeben haben.
Das ist schlicht verantwortungslos.
Die Warnung an sich glaube ich sofort.
Dieses ‚Ding‘ hat ganz sicher die Möglichkeiten der Menschheit massiv zu schaden.
Nur warum jetzt diese Warnung?
– ‚Demnach braucht es politischen Willen – und zwar nicht nur innerhalb der USA, sondern global.‘ –
Weil nicht mehr zu leugnen ist, dass der globale Feind, nämlich China, die Nase vorne hat?
Hat noch niemand erkannt wie ortbar und verwundbar diese Systeme selbt für den blö…esten Guerilla sind?
Ich fürchte mich vor KI nicht, da KI keinen Willen und kein Leben ist, das Wünsche, Emotionen etc. hat.
Ich fürchte mir nur, was Besitzende damit gegen uns anstellen werden und das werden sie.. Das ist so sicher wie das Amen in der Kirche.. Die Menschheitsgeschichte ist voll davon und die jüngsten Beispiele sind Corona, Kriege und Klima-Lüge, bzw. das was aus einem Land mit Vorsatz gemacht wird und somit vorbereitet für das eigentliche Ziel, in dem Falle GER, aber eben nicht nur.. das läuft global.
Wenn eine KI etwas tut, dann nur auf Abfrage/Anfrage/Projekt. Aus sich selbst heraus, tut so ein totes System gar nichts, weil es gar keine Ziele, Ego, also alles was erst Motivation erzeugt etwas zu tun, hat.
Die Leute rennen nicht in Fitness-Center und bauen Muskelberge um Sport zu machen, sondern weil dahinter Anerkennung und Frauen gefallen steht.
Frauen schminken sich nicht hoch wie Porno-Darstellerinnen, weil sie es schön finden, sondern weil sie Bestätigung durch männliche Aufmerksamkeit haben wollen und somit viele Männer anziehen, wo sie dann aus der Masse auswählen, idR. den Falschen, weil der Falsche auch nur der Darsteller ist..
Dies hat aber alles einen Hintergrund.. IdR. Fortpflanzung, Ego Sachen wie Status, Anerkennung, Emotionen, Gefühle, Macht und Kontrolle um selbst besser dazustehen usw.
Sowas alles besitzt ein Haufen Kabel, Microchips, Plaste, Gummi und ein Algorythmus etc. nicht.
Sollte man dies mal mit Gehirnen verschmelzen, sieht es anders aus, aber auch nur, weil das Leben es der Technik ermöglicht, nicht andersrum.
Wenn eine KI etwas „will“, dann nicht aus eigenem Antrieb, sondern weil es ein Mensch will und es vorgegeben hat.
Und wenn die Vorgabe in einem Roboter mit KI lautet, töte die Demonstraten und die Besitzenden die Filter ausschalten, dann wird der „Rasen“ eben gemäht.. So sagt man es im nahen Osten, für Menschen ermorden, also die falschen Menschen aus einer bestimmten Sichtweise.
Die Ki hat da auch nicht durchgedreht, die KI kann das gar nicht, sie weiß nicht mal was Mord wirklich ist. Sie ist ein besserer Taschenrechner, kein Leben.
Die Gefahr durch das Handwerkzeug KI, das ist eben das große gefährliche Potential. Und mit dieser Systempyramide und den völlig falschen Idiologien und Verteilung von Macht, Besitz und somit den Wunsch weniger, dies gegen den Rest zu verteidigen, die wiederum die KI kontrollieren, dies ist die eigentliche Gefahr.
Ich meine ich muss das eigentlich nicht erklären.
Jeder lebt selbst in diesem System und auch wenn er die unsichtbaren Gitterstäbe nicht sieht, so spürt er sie jeden Tag, sein ganzes Leben lang, wie er in einem Konstrukt sitzt und gelenkt und geführt wird..
Mit dieser Systemgrundlage, ist der Fortschritt immer gefährlicher.. Ich meine die Machtsekte(Besitzende und entsprechend herrschende Superreiche, nein kein Elon Musk als eine der öffentlich präsentieren Gesichter) baut nicht grundlos seit Jahrhunderen Agenden und bringt das System immer weiter unter ihre Kontrolle..
„Wenn eine KI etwas tut, dann nur auf Abfrage/Anfrage/Projekt. “
eben nicht.
Siehe oben: „Sich selbst verbessernde Superintelligenz … sie können alles hacken.“
Sie tun das, weil sie es können. Sie brauchen dazu keine Emotionen, wie Menschen sie haben. Sie können es und deshalb machen sie es.
Wobei übrigens Menschen auch schon mal emotionslos handeln.
KI hat keine Motivation, keinen eigenen Willen, eben keinen Geist und wird nur das tun, womit sie gefüttert wurde. Allerdings gab es schon vor vielen Jahren Sendungen über IT, wo Programmierer aussagten, dass sie selbst nie wissen, was ihre eigene „Kreationen“ alles machen. Plötzlich reagiert das System, ohne dass es bewusst darauf programmiert wurde. Warum soll das gleiche nicht auch bei KI vorkommen?
Der Kontrollverlust war bereits bei dem Irr-Unsinn namens „C“ eingetreten, sehr gut kalkuliert worden vorab von Bill-the-killer-Gates und Co.
Politische Kontrolle wird es nicht geben. Politiker verstehen nicht einmal simple Fragen der Haushalts- oder Energiepolitik.
Es sind ja auch keine Politiker, sondern Polit-Darsteller, bereitwillige Marionetten Dritter.
Regeln für Kommentare: Bitte bleibt respektvoll - keine Diffamierungen oder persönliche Angriffe. Keine Video-Links. Manche Kommentare werden erst nach Prüfung freigegeben, was gelegentlich länger dauern kann. Benutzer haften für den Inhalt ihrer Kommentare.
Sie müssen angemeldet sein um Kommentare zu posten. Noch kein Konto? Jetzt registrieren.