KI-Schreibsysteme in Arztpraxen halluzinieren
Ein Bericht des Rechnungsprüfers in Ontario, Kanada deckt gravierende Mängel bei KI-Notiztools in Arztpraxen auf: Die Schreibsysteme halluzinieren massiv, verschreiben falsche Medikamente, erfinden Krankheiten und übersehen Details.
KI-Programm soll den Ärzten die Dokumentation abnehmen. Das funktioniert allerdings alles andere als zuverlässig, wie ein im Mai veröffentlichter Sonderbericht des Auditor General of Ontario berichtet. Das Ergebnis ist dramatisch. Die sogenannten AI-Scribe-Systeme erfinden Informationen, schreiben falsche Medikamente vor und übersehen wichtige Details.
AI-Scribe-Systeme lauschen mit Einwilligung des Patienten dem Gespräch zwischen Arzt und Patient, transkribieren es und erstellen strukturierte ärztliche Notizen – meist im klassischen SOAP-Format (Subjektiv, Objektiv, Assessment, Plan). Dadurch soll Ärzten mehrere Stunden pro Woche an Dokumentationsarbeit abgenommen werden, damit sie mehr Zeit für die Patienten haben, so das Versprechen. In Ontario nutzen bereits rund 5.000 Ärzte die freiwillig verfügbaren Tools – auch in Europa werden diese Tools bereits genutzt, allerdings (noch) regulierter als in Nordamerika.
Ontario hatte 20 Anbieter zugelassen und mit simulierten Arzt-Patienten-Gesprächen getestet. Das Ergebnis war niederschmetternd:
- Alle 20 Systeme zeigten mindestens eine Form von Ungenauigkeit (falsche, erfundene oder fehlende Informationen).
- 9 von 20 Systemen (45 %) „halluzinierten“: Sie erfanden plausible, aber nicht vorhandene Informationen – etwa Behandlungsempfehlungen, Überweisungen zu Therapien oder Bluttests, die im Gespräch nie erwähnt wurden.
- 12 von 20 Systemen (60 %) erfassten falsche Medikamente.
- 17 von 20 Systemen (85 %) übersahen wichtige Angaben zu psychischen Gesundheitsproblemen.
„Ungenauigkeiten in den von KI-Scribe-Systemen generierten medizinischen Notizen könnten zu unzureichenden oder schädlichen Behandlungsplänen führen und potenziell die Gesundheitsergebnisse der Patienten beeinträchtigen“, warnt der Bericht.
Der Auditor General kritisiert nicht nur die KI selbst, sondern vor allem die Beschaffung und Qualitätskontrolle. Viele Anbieter hatten geforderte Sicherheits- und Audit-Dokumente (z. B. SOC-Reports, Datenschutz-Folgenabschätzungen) nicht eingereicht – und wurden trotzdem zugelassen. Die Gewichtung von Genauigkeit, Datensicherheit und Bias-Prüfung war bei der Ausschreibung extrem niedrig (teilweise nur 2–4 %). Es gab keine verpflichtenden Live-Tests und keine ausreichende Überprüfung auf systematische Verzerrungen – der KI-Boom überholt die Überprüfung.
Die Politik betont, dass es bisher keine bekannten Fälle von Patientenschäden gebe. Die Nutzung sei freiwillig, Patienteneinwilligung Pflicht und Ärzte müssten jede KI-generierte Notiz selbst prüfen und freigeben, bevor sie in die Akte kommt. Minister Stephen Crawford sagte, die Fehler seien nur in der Testphase aufgetreten und die Ärzte hätten die finale Verantwortung. Die Tools würden den Ärzten wertvolle Zeit sparen.
Kritiker sehen das anders. Der Grünen-Abgeordnete Mike Schreiner nannte die Ergebnisse „hoch verstörend“ und forderte, dass die Systeme erst dann flächendeckend eingesetzt werden dürfen, wenn sie sicher funktionieren.
Ähnliche Schwierigkeiten mit KI-Schreibsystemen werden auch aus den USA berichtet. Mehrere Studien und Praxiserfahrungen zeigen, dass Ambient-AI-Scribes halluzinieren, Informationen erfinden oder wichtige Details übersehen können – auch wenn die Fehlerraten in manchen großen Studien niedriger liegen.
Unsere Arbeit ist spendenfinanziert – wir bitten um Unterstützung.
Folge TKP auf Telegram oder GETTR und abonniere unseren Newsletter.
Links zu früheren TKP-Beiträgen zum Thema finden Sie unterhalb 👇
Trump startet KI-Manhattan-Projekt
KI-Modell Claude 4: Wenn die KI zu Täuschung und Erpressung greift
„…und forderte, dass die Systeme erst dann flächendeckend eingesetzt werden dürfen, wenn sie sicher funktionieren.“
Also nie…
Noch ein Grund, Ärzte zu meiden. Das ist ja echt gefährlich.
Falls SIe es noch prägnanter haben wollen:
KI hat keine Intentionalität → sie meint nichts.
KI hat keine Semantik → sie versteht nichts.
KI hat keine Gründe → sie begründet nichts.
KI hat keine Weltbezüge → sie weiß nichts.
KI hat keine Einsicht → sie erkennt nichts.
KI hat keine Wahrheit → sie prüft nichts.
KI hat keine Bedeutung → sie erzeugt nur Form.
Damit ist klar aus der inneren Arbeitsweise der KI:
Alles, was wie Denken aussieht, ist nur Statistik, extrem hochgezüchtete Statistik, die gar nicht merken kann wenn sie falsch liegt, die nicht weiß dass sie nix weiß.
Danke für deine hervorragenden Beiträge
Warum wird etwas seit 50 Jahren Artificial Intelligence genannt, das nichts erkennen kann, ergo nicht intelligent ist? Die Antwort fällt leicht, wenn der Fokus einmal weg von der ablenkenden Maschine hin auf den Menschen gerichtet wird. Und dort ist die Frage Fortschritt oder Rückschritt gar nicht so leicht zu beantworten, wie es unsere „Demokratie“ – die ohne jegliche Abstimmung oder auch nur Diskussion seit 2020 alle Infrastruktur auf eine mögliche oder statistisch gesehen sogar wahrscheinliche Sackgasse ausrichtet – weismachen will. Und nein, hier geht’s nicht um Cowboy gegen Eisenbahn. Hier geht’s möglicher Weise um Sinn gegen Unsinn.
Hatte in den letzten Tagen mit einer KI bei Amazon zu tun. Da möchte man nur noch reinhauen! Die Firmen schneiden sich ins eigene Fleisch, wenn sie den Kunden weiterhin KI als „Kontakt“ zumuten.
Selbst wenn die KI antworten würde wie Albert Einstein, lesen Sie meinen Kommentar unten. Es ist kein Denken, sondern rechnen.
Ja, die hat mich auch schon öfter zur Weißglut getrieben. Sie reagiert auf Schlüsselwörter und schickt dich immer wieder im Kreis. Man muss es schaffen, im Ernstfall angerufen zu werden. Das klappt aber auch nicht auf Anhieb, weil die Mitarbeiter dann auch die KI fragen und meinen, alles sei OK. Da ist nichts. Eine Zustellung hatte das Datum 2030…immer wieder sagte er, das sei noch nicht zugestellt. Ich wollte Ersatz, weil es nicht dahergekommen ist. Er meinte, das ginge erst nach dem angegebenen Zustelldatum. Ich erklärte, dieses liege in ferner Zukunft. Oh, mein Gott, da brauchst Nerven :-)
Der Grünen‑Abgeordnete Mike Schreiner nennt die Ergebnisse „hoch verstörend“ und fordert, KI‑Schreibsysteme erst dann flächendeckend einzusetzen, wenn sie „sicher funktionieren“. Das Problem ist: Sie werden nie sicher funktionieren – weil Halluzinationen kein Fehler sind, sondern ein architekturbedingtes Grundprinzip großer Sprachmodelle.
Noch nie war der Satz „It’s not a bug, it’s a feature“ zutreffender als bei KI. Warum? Weil KI nicht denkt. Sie hat keinen Begriff von Krankheit, Diagnose oder Therapie. Sie korreliert das Arztgespräch mit Millionen gelernten Gesprächsmustern und erzeugt statistisch plausible Antworten – aber keine, die durch ein Bewusstsein, ein Verständnis oder ein medizinisches Urteil gegangen wären.
Ein Sprachmodell ist nichts anderes als ein gigantischer korrelativer Taschenrechner: Es schiebt Daten durch hunderttausende Matrixmultiplikationen, würzt das Ganze mit einer Aktivierungsfunktion und übersetzt die Zahlenkolonnen anschließend wieder in Wörter. Das ist reine Symbolmanipulation, wie sie zu einer Turingmaschine gehört – völlig frei von Semantik. Bedeutung entsteht erst im Kopf des Lesers, nicht im Modell.
Die Menschheit muss endlich verstehen, was KI ist – und was nicht. Dann wird klar, warum sie in sicherheitskritischen Bereichen ein Risiko darstellt, wenn man ihre Outputs ungeprüft übernimmt. Das beste Argument dafür: Wenn ich denselben Maschinencode so schnell ausführen könnte wie ein Superrechner, würde ich identische Antworten liefern – ohne den blassesten Schimmer von Medizin, Sprache oder Welt. Weil es nicht Denken ist. Es ist Rechnen. Viel Rechnen.
Es wird Zeit, dass TKP mit ein paar Grundlagenartikeln zum Inneren der KI, dem Big Correlation Calculator with Zero Intelligence, aufklärt. Oder seit wann bezeichnen wir einen Taschenrechner als intelligent? Nur weil er grösser ist hat er noch kein inneres Erleben oder Verstehen, keine Semantik. Nur weil ein System die Form menschlicher Sprache sehr gut reproduziert, hat es nicht den gleichen mentalen Zustand wie ein Gehirn. Merke: die KI meint nicht was sie sagt, die rechnet Dir aus dem 100000 dimensioanlen Vektorraum die statistisch bestpassende Wortfolge aus, erlernt über mathematische Optimierung einer Lossfunction.
Danke für Ihre fachlichen Ausführungen, auch an anderer Stelle, was ich gerne lese und so dazu lerne. Gelegentlich experimentiere ich mit div. KI-Systemen* (aber nicht täglich) und bleibe, was die Ergebnisse betrifft, stets skeptisch. Ausserdem vermeide ich eine sprachliche Kommunikation mit der KI. Dies würde mich in eine fachliche Enge treiben, da mir eine rasche Überprüfung nicht leichtfällt. Dazu müssten erst Fachbücher gelesen werden oder umfangreiche Internetrecherchen bei speziellen Fachthemen erfolgen.
*) Hierzu einige KI-Recherchen:
Alternative Infos + KI-Analysen:
justpaste.it/teslaphysik
justpaste.it/einstein-ether
justpaste.it/Mag-HF-Diode
justpaste.it/H2O-Impulselektrolyse
KI-Überwachung u. Ä. m. (tinyurl.com/ms3cj2k)
justpaste.it/Gehirn-vs-KI-Systemtinyurl.com/idealstaat
Textquelle: https://tkp.at/2026/05/27/die-aufgaben-der-kuenstlichen-intelligenz/#comment-215765
Anmerkung: Meine Erfahrung ist, dass eine sorgfältig ausgearbeitete Fragestellung mit möglichen Perspektiven die KI bereits in die gewünschte Richtung lenkt, mit einigen Ausnahmen.
Extra-Tipp: Kongress «Innovative Energietechnologien» (25. + 26. Juli 2026): gehtanders.de/termine/
Linkkorrektur:
https://justpaste.it/Gehirn-vs-KI-System (Google AI hat die Original-KI-Sitzung leider gelöscht!)
https://tinyurl.com/idealstaat (Grok enthüllt hier eine Staatsführung ohne korrupte Führung!)
Ansonsten darf man die derzeitigen KI-Systeme getrost eher als Brainstorming betrachten … ;-)