RKI/WHO-Studie zeigt dramatische Mängel bei Impfstoff-Reviews
Eine RKI/WHO-Studie hat 120 systematische Reviews zu Impfstoffen untersucht. 91,7 Prozent wurden als „kritisch niedrig“ vertrauenswürdig eingestuft, nur 5 Prozent als hoch. Daraus leiten sich dringende Erkenntnisse für die Politik und Impfwesen ab, so ein Ärzteverein.
Schon im Jänner hat die RKO in Zusammenarbeit mit der WHO eine Untersuchung zur Qualität von Übersichtsarbeiten zu Impfstoffen veröffentlicht. Eine lobenswerte Forschung, sagen die Ärztinnen und Ärzte für individuelle Impfentscheidung. Ihnen fehlt es allerdings an einer kritischen Einordnung und einer Ableitung von Handlungsempfehlungen. Denn die Ergebnisse sind dramatisch.
Dazu die aktuelle Pressemitteilung der Ärztinnen und Ärzte für individuelle Impfentscheidung:
Das Robert Koch-Institut hat im Fachjournal Systematic Reviews (BMC) eine wissenschaftliche Arbeit zur Berichtsqualität von Übersichtsarbeiten zu Impfstoffen veröffentlicht. Das Ergebnis: Die übergroße Mehrzahl der systematischen Reviews wird hinsichtlich ihrer Vertrauenswürdigkeit als „kritisch-niedrig“ eingestuft. Die Ärztinnen und Ärzte für individuelle Impfentscheidung (ÄFI) sehen dringenden Handlungsbedarf für die Formulierung von Impfempfehlungen in Deutschland.
Hochwertige systematische Übersichtsarbeiten (systematische Reviews) gelten gemeinhin als der Goldstandard in der evidenzbasierten Medizin (ebM) und für die öffentliche Gesundheit. Aber fließen in solche Reviews tatsächlich alle relevanten Aspekte ein, die auf einem Fachgebiet aktuell verfügbar sind?
Für den Bereich von Impfungen ist dies offenbar nicht der Fall. Das ist das Ergebnis einer neuen Studie des Robert Koch-Instituts (RKI) und der Weltgesundheitsorganisation (WHO), die im Januar 2026 im Fachjournal Systematic Reviews (BMC) erschienen ist. Die Querschnitt-Studie „Methodological quality of systematic intervention reviews on vaccination“ entstand unter Mitarbeit von Ole Wichmann, der auch als Ko-Projektleiter der IMPRESS-Studie des RKI zur Steigerung von Impfquoten fungiert (ÄFI berichtete).Die Autoren werteten eine Stichprobe von 120 systematischen Reviews zu Impfstoff-verwandten Themen aus dem SYSVAC-Register aus – einer Datenbank zu systematischen Reviews über impfbezogene Themen, die in Zusammenarbeit zwischen dem RKI, der WHO und der London School of Hygiene and Tropical Medicine (LSHTM) entstanden ist.
Es wurden Übersichtsarbeiten zwischen 2011 und 2023 einbezogen und verschiedene statistische Verfahren angewandt, um die Abhängigkeit von bestimmten Merkmalen zu untersuchen (beispielsweise Publikationsjahr, Cochrane-Review).Um zu überprüfen, ob die Autoren eines systematischen Reviews tatsächlich über alle relevanten Aspekte in ihrer Forschungsarbeit berichtet haben, wurde AMSTAR-2 (A Measurement Tool to Assess Systematic Reviews 2) herangezogen – ein validiertes Instrument, um die Vertrauenswürdigkeit der Berichterstattung von systematischen Reviews zu bewerten.
Ernüchternde Ergebnisse
Im Ergebnis wurden 91,7 Prozent (n=110) der 120 Studien hinsichtlich ihrer Berichterstattung als „kritisch-niedrig“ vertrauenswürdig ausgewiesen, lediglich 5 Prozent (n=6) als „hoch“ vertrauenswürdig. Bei den 110 als „kritisch-niedrig“ eingestuften Studien fehlte bei 77,3 Prozent (n=85) ein vorab veröffentlichtes Studienprotokoll, bei 93,6 Prozent (n=103) blieb die Nichtberücksichtigung von Studien unbegründet.3 Studien von 120 waren Cochrane-Reviews, die nicht nur generell als hochwertiger gelten, sondern auch deutlich besser in der Studie abschnitten. Besonders hervorzuheben ist, dass es bei 35,8 Prozent (n=43) der untersuchten Studien bei mindestens einem Autor einen Interessenkonflikt gab.
Welcher Handlungsbedarf lässt sich aus den Ergebnissen ableiten?
Zwar ist es lobenswert, dass RKI und WHO Interesse daran haben, die Qualität von systematischen Reviews im Bereich Impfungen zu überprüfen. Aus den gewonnenen Erkenntnissen leitet sich für ÄFI allerdings ein dringender Handlungsbedarf ab:
- Weitere Studien sind vonnöten, die diese Ergebnisse überprüfen. Insbesondere muss die Frage geklärt werden, ob diese Ergebnisse generalisierbar sind. Die Querschnitt-Studie war sehr geprägt von systematischen Reviews zur HPV- und zur Influenza-Impfung. Das ist insofern positiv, als dass systematische Reviews zur COVID-Impfung keine Rolle gespielt haben. Es ist davon auszugehen, dass die durch die COVID-19-Pandemie erheblich zugenommene Anzahl an systematischen Reviews zu einer Veränderung der Qualität dieser Studientypen (insbesondere zur COVID-19-Impfung) geführt hat. Es müssen jedoch weitere Studien durchgeführt werden, welche dieses Ergebnis vermehrt anhand von anderen Impfungen (beispielsweise zu Rotaviren, Meningokokken, Pneumokokken) replizieren, um eine Generalisierbarkeit zu erreichen.
- Die STIKO sollte sich verpflichten, künftig jedes untersuchte systematische Review mit AMSTAR-2 zu überprüfen. Bisher ist in der Standardvorgehensweise (SOP) der STIKO nur ein fakultativer Gebrauch von AMSTAR-2 erkennbar. Da einige Studien inzwischen die Validität des Instruments aufzeigen und es erhebliche Vorteile bei der Erkennung von Verzerrungsrisiken (insbesondere des Publikationsbias) bietet, sollte die SOP der STIKO dahingehend aktualisiert werden. Das RKI, von dessen Mitarbeitern die Studie stammt, sollte die STIKO darauf aufmerksam machen.
- Die STIKO muss bei den eigenen systematischen Reviews methodisch rigoroser werden. Seit der 2011 verabschiedeten SOP führt die STIKO bei jeder neuen Impfempfehlung (mit bisher nur der Ausnahme COVID-19) ein systematisches Review zur Überprüfung der Impfstoffwirksamkeit und -sicherheit durch. Bisher war das für Rotaviren (2013), Gürtelrose (2018), Meningokokken B (2024), RSV (2024) und Meningokokken ACWY (2025) der Fall. Alle diese systematischen Reviews wären jedoch nach AMSTAR-2 in der Vertrauenswürdigkeit als „kritisch-niedrig“ eingestuft worden, da es u. a. kein vorab veröffentlichtes Protokoll und keine Liste mit Begründungen über ausgeschlossene Studien gab. Diese methodischen Mängel müssen dringend korrigiert werden. Zu anderen Impfempfehlungen (von vor 2011) hat die STIKO bisher kein systematisches Review durchgeführt – dies sollte unbedingt nachgeholt werden.
- Die methodischen Standards von systematischen Reviews sollten generell verbessert werden. So sollten Studienprotokolle bei der Einreichung in einem Fachjournal als verpflichtend vorausgesetzt werden. Protokolle haben auch deshalb eine ganz besondere Bedeutung für die Forschung, da sie eine der besten Möglichkeiten darstellen, um den Reporting Bias zu reduzieren. Wenn kein Protokoll vorab veröffentlicht wurde, kann schließlich nicht festgestellt werden, inwiefern die Autoren von ihrem Analyse-Plan abgewichen sind. So können unliebsame Ergebnisse ganz einfach unterdrückt werden.
Die Impf-Empfehlungen der STIKO müssen überprüft werden
Insgesamt bestätigt die RKI/WHO-Studie ein systematisches Qualitätsproblem bei systematischen Übersichtsarbeiten zu Impfstoffen: Über 91,7 % bzw. mehr als 9 von 10 erfüllen nicht die Standards für methodische Vertrauenswürdigkeit. Dies wirft ein kritisches Licht auf die Evidenzbasis, auf die sich STIKO und andere bei der Erstellung von Impfempfehlungen stützen.
Die Ergebnisse bestätigen auch die Erfahrung der ÄFI bei der Erstellung der wissenschaftlichen Hintergrundpapiere zu den Aktualisierungen ihrer Impf-Fachbeiträge: Die meisten systematischen Reviews sind „kritisch-niedrig“ mit häufigen Defiziten, was die Registrierung eines Protokolls (Nr. 2) und das Vorhandensein einer Liste mit Begründungen über den Ausschluss von Studien (Nr. 7) betrifft.
ÄFI sieht einen dringenden Handlungsauftrag: Statt auf eine Masse methodisch schwacher Reviews zu setzen, müssen hochwertige Primärstudien (insbesondere große randomisierte kontrollierte Studien), Cochrane-Reviews und transparente, reproduzierbare Übersichtsarbeiten in den Vordergrund rücken und Limitationen klar kommuniziert werden.
Der Sprecher des ÄFI-Vorstandes, Dr. med. Alexander Konietzky, erklärt:
„Die STIKO beruft sich bei ihren Impfempfehlungen stets auf die wissenschaftliche Evidenz, wenn es um die Wirksamkeit und Sicherheit von Impfstoffen geht. Die von RKI und WHO nun vorgestellte Studie belegt das Gegenteil: Die geringe Vertrauenswürdigkeit der allermeisten Impfstudien widerspricht diesem Anspruch – auf den die Öffentlichkeit allerdings einen Anspruch hat.
Impfempfehlungen müssen der höchsten Evidenz genügen. Schließlich geht es bei Impfungen um die präventive Verabreichung von Substanzen an gesunden Menschen. Überdies gilt die STIKO als wissenschaftlicher Standard: Ihre Empfehlungen haben medizinische und politische Tragweite für die Ärztinnen und Ärzte in Deutschland.
Um die Glaubwürdigkeit ihrer Empfehlungen zurückzugewinnen, sollte die STIKO ihre Standardvorgehensweise grundlegend überprüfen. Dazu gehört auch, unzureichende systematische Reviews künftig nicht mehr zu berücksichtigen. Sämtliche Impfempfehlungen der STIKO, die lediglich auf ihren eigenen Prüfmethoden fußen, wären nach den Maßstäben der aktuellen Studie durchgefallen. Sie alle gehören daher auf den Prüfstand.“
Die gesamte Analyse der Untersuchung durch die ÄFI findet sich hier.
Unsere Arbeit ist spendenfinanziert – wir bitten um Unterstützung.
Folge TKP auf Telegram oder GETTR und abonniere unseren Newsletter.
Links zu früheren TKP-Beiträgen zum Thema finden Sie unterhalb 👇
Pandemie-Industrie rüstet sich für die Fußball-WM
mE ist die ganze Sparte im Bereich der Spätmittelalterliches Schlangeöl-Kokolores zu verorten. Und tschüss ;)
Die SUMMARY-LOOP:
Wir erleben in mehreren Themenfeldern dieselbe Summary‑Loop: Von komplexen Originalstudien geht es zu systematischen Reviews, dann zu politischen Kurzfassungen – und auf jeder Stufe werden Unsicherheiten weiter reduziert, bis am Ende scheinbar absolute Gewissheiten stehen.
Bei Impfstoffen wird aus „wirksam, aber mit offenen ungelösten Fragen“ ein „sicher und wirksam ohne Zweifel“. Beim Klima wird aus „Bandbreiten und Unsicherheiten“ eine „unvermeidliche Katastrophe, wenn nicht sofort hart durchgegriffen wird“.
Nachrichtentechnisch wirkt das wie ein Tiefpassfilter: Er bügelt alle Ecken und Kanten weg, glättet jede Differenzierung und lässt nur die gewünschte Botschaft passieren. Ein Informationsfilter, bei dem die Aussage oft schon feststeht, bevor die Zusammenfassung überhaupt geschrieben ist.
Das Problem ist zum Teil die Wissenschaft, und vor allem die politische Übersetzung: Jede Zusammenfassung glättet, vereinfacht und dramatisiert – und am Ende bleibt von der ursprünglichen Differenziertheit kaum etwas übrig. Ein methodischer Unfug, der durch KI’s Summary Loop so richtig zur Blüte kommt. Der Prompt lautet: Summarize these 10 studies into a meta study such that the final result is: vaccine is safe and effective. Limit der the report to 1 page. Aus Schrott wird so Gold.
„RKI/WHO-Studie zeigt dramatische Mängel bei Impfstoff-Reviews“
Keine Viren! Mehr muss man nicht wissen.