Die Metaanalyse von Matthias Egger auf dem Prüfstand. Interview mit Rainer Lüdtke

Im Jahr 2005 veröffentlichte Prof. Matthias Egger von der Universität Bern eine Metaanalyse, die klinische Studien zur Homöopathie und Schulmedizin gegenüberstellte. Egger und Kollegen kamen damals zu dem Ergebnis, dass Homöopathie allein auf dem Placeboeffekt beruhe. Die Schriftleitung der angesehenen medizinischen Fachzeitschrift „The Lancet“ versah die Metaanalyse mit einem begleitenden Kommentar, in dem „das Ende der Homöopathie“ proklamiert wurde. Schon von Anfang an fragten sich Kritiker erstaunt, wie eine ganze Therapierichtung auf der Grundlage von nur acht Studien abschließend bewertet werden kann. Eine systematische Neuauswertung der Metaanalyse zeigt, dass die Hypothese, Homöopathie sei ein reines Placebophänomen, durch die Metaanalyse von Matthias Egger, Aijing Shang und Kollegen nicht so eindeutig und überzeugend gestützt wird, wie es die Autoren behaupten.

Dipl. Statistiker Rainer Lüdtke, Biometriker der Karl und Veronica Carstens-Stiftung, erläutert nachfolgend seine 2008 im „Journal of Clinical Epidemiology“ publizierte Re-Analyse der gerne falsch interpretierten Metaanalyse von Shang et al. 2005. Das Gespräch zeigt, wie stark Ergebnisse wissenschaftlicher Arbeiten durch die Paradigmen, Plausibilitätsvorstellungen und handwerklichen Fehler von Wissenschaftlern geformt werden können.

Interview mit Dipl.-Stat. Rainer Lüdtke:

Herr Lüdtke, im Rahmen der Qualifikation zur Fußball-EM 2012 spielt Deutschland am 11. Oktober 2011 – d. h. in etwa 10 Monaten – gegen Belgien. Haben Sie das Spielergebnis bereits mathematisch genau berechnet?

Rainer Lüdtke: Nein – als Statistiker kann ich zwar Daten auswerten und interpretieren, nicht jedoch zukünftige Ereignisse vorhersagen.

Zur Berechnung müssen Sie nur die durchschnittliche Fähigkeit aller deutschen und belgischen Fußballmannschaften ermitteln. Daraus lässt sich dann das Spielergebnis präzise ableiten – oder nicht?

Rainer Lüdtke: Ihre Frage ist eine Anspielung auf meinen Kommentar „Das Ende des deutschen Fußballs“ im Journal Forschende Komplementärmedizin (FK), in dem ich logische Ungereimtheiten der Metaanalyse von Frau Shang, Herrn Egger und Kollegen persifliert habe.

Es ist in der Tat so, dass die Ergebnisse von Shang et al. 2005 einen gravierenden interpretatorischen Fehler beinhalten, den ich durch meinen Fußball-Vergleich verständlich machen wollte. Die Autoren der Metaanalyse schlossen von der durchschnittlichen Wirksamkeit einer homöopathischen Behandlung auf den Einzelfall. Oder präziser: Sie schlossen von einem Pool von Studien zu äußerst unterschiedlichen Arzneimitteln und Krankheiten auf die Wirksamkeit jedes einzelnen Mittels bei jeder Erkrankung. Das ist ungefähr so, als ob man – um bei meinem FK-Vergleich zu bleiben – von der durchschnittlichen Fähigkeit aller deutschen und portugiesischen Fußballmannschaften auf das Ergebnis eines Spiels zwischen Bayern München und dem FC Vicela rückschließen würde.

Im Kontext Fußball fällt die Absurdität dieser unzulässigen Schlussfolgerung sofort auf. In der Metaanalyse von Prof. Egger ist dieser Aspekt den Autoren nicht aufgefallen.

Worum ging es genau in der Metaanalyse von Frau Shang und Herrn Egger?

Rainer Lüdtke: Aijing Shang, Matthias Egger und weitere Mitarbeiter haben jeweils 110 placebokontrollierte Therapiestudien zur Wirksamkeit der Homöopathie und der Schulmedizin in einer Metaanalyse zusammengefasst und bewertet. Sie rechneten verschiedene Fehlerquellen heraus, welche die Ergebnisse beeinflussen könnten. Danach blieb bei den Studien zu Homöopathie kein Therapieeffekt übrig, der über einen Placeboeffekt hinausgeht. Bei den schulmedizinischen Studien war dies anders.

Die Autoren interpretierten ihre Daten als Bestätigung der Annahme, dass klinische Effekte der Homöopathie durch Placeboeffekte zu erklären sind.

Das klingt nach einer ganz normalen Metaanalyse, nicht jedoch nach dem „Ende der Homöopathie“. Was erklärt Ihrer Meinung nach den späteren Kommentar in „The Lancet“ und das heftige Medienecho?

Rainer Lüdtke: Die Schweiz evaluierte zwischen 1998 und 2005 verschiedene komplementärmedizinische Therapierichtungen, um zu klären, ob diese dauerhaft in den Leistungskatalog der Grundversicherung aufgenommen werden sollen. Die Metaanalyse von Shang et al. 2005 war hier nur eine von mehreren wissenschaftlichen Arbeiten, die im Rahmen eines Health Technology Assessments (HTA) zur Homöopathie gemeinsam publiziert werden sollten. Der schlussendlich veröffentlichte HTA-Bericht stellte die Homöopathie in ein durchaus positives Licht, wurde jedoch von den Medien weder thematisiert noch überhaupt wahrgenommen.

Medial wahrgenommen wurde hingegen die Egger-Studie. Aus meiner Sicht gibt es deutliche Indizien dafür, dass diese wissenschaftliche Arbeit von dritter Seite – d. h. nicht von den Autoren der Metaanalyse selbst – für politische Zwecke instrumentalisiert und maßlos überinterpretiert wurde. Der wissenschaftliche Diskurs ist dabei in der öffentlichen Wahrnehmung leider viel zu kurz gekommen.

Es ist schade, dass sich viele Journalisten zu wenig für das Kleingedruckte und die Details wissenschaftlicher Kontroversen interessieren. Die mit ihnen verbundenen Diskurse sind kein Ärgernis sondern eine wichtige und sehr wertvolle Bereicherung der Wissenschaft. Aus heutiger Sicht lässt sich sagen, dass die Diskussion der Egger-Analyse in Fachkreisen sehr fruchtbar war. Wir haben heute eine neue Sicht auf diverse forschungsmethodische Fragen, die mit Metaanalysen zur Homöopathie verbunden sind. So wird z. B. das Poolen bzw. Zusammenwerfen heterogener Studien inzwischen viel differenzierter und kritischer gesehen als zuvor.

Was sind die zentralen Aussagen der Egger-Studie?

Rainer Lüdtke: Die Arbeit von Frau Shang, Herrn Egger und den beteiligten Mitarbeitern stellt zwei zentrale Behauptungen auf:

1. Die Qualität der meisten Studien zur Homöopathie in Bezug auf die Wirksamkeit ist methodisch schlecht. Oftmals sind die untersuchten Patientenzahlen zu klein.

2. Rechnet man die Ergebnisse der Studien zur Homöopathie auf den höchsten methodischen Standard und große Fallzahlen um, so findet sich kein Unterschied zwischen der homöopathischen Behandlung und einer Placebobehandlung.

Die Feststellung, dass die methodische Qualität von Wirksamkeitsstudien zur Homöopathie oft zu wünschen übrig lässt, ist nicht neu. In der Regel werden hierfür mehrere Gründe genannt: fehlende methodische Ausbildung innerhalb der Homöopathie, fehlende Forschungsförderung, fehlende Forschungs-Infrastruktur zur Homöopathie und ein fehlendes Interesse zur Forschung bei konventionellen Medizinern mit fundierter methodischer Ausbildung.

Sie haben 2008 gemeinsam mit Herrn Rutten eine Re-Analyse der Egger-Arbeit publiziert, welche den „The Lancet“ herausgebenden wissenschaftlichen Fachverlag Elsevier zur Veröffentlichung der Pressemeldung „New evidence for Homeopathy“ veranlasste. Zu welchen Schlüssen kamen Sie in Ihrer Arbeit? Was werfen Sie den Autoren vor?

Rainer Lüdtke: Zunächst einmal lege ich Wert auf die Feststellung, dass ich Frau Shang und Herrn Egger nichts vorwerfe. Die kontroverse Diskussion von Studien ist in wissenschaftlichen Fachkreisen Alltag und erwünscht. Richtig ist allerdings, dass unsere Kritik an der Studie nicht Randaspekte berührt, sondern einen fundamentalen Charakter hat. Herr Rutten und ich halten die Schlussfolgerungen der Metaanalyse für erheblich übertrieben und für ungerechtfertigt. Die Studie beweist nicht, dass Homöopathie gleich Placebo ist. Und sie kann auch nicht das von der Lancet-Schriftleitung in ihrem begleitenden Kommentar proklamierte Ende der Homöopathie einläuten.

Was kritisieren Sie genau an der Metaanalyse?

Rainer Lüdtke: Herr Rutten und ich habe insgesamt vier zentrale Schwachstellen der Metaanalyse herausgearbeitet.

Die Studie ist zunächst einmal nicht in der Lage, verallgemeinernde Aussagen zu stützen, weil das Hauptergebnis, auf dem alle weiteren Schlussfolgerungen im Wesentlichen beruhen, lediglich auf der Grundlage von nur ACHT randomisierten placebokontrollierten Studien beruht. Frau Shang und Herr Egger haben zwar zunächst 110 randomisierte placebokontrollierte Studien betrachtet, sich anschließend aber auf die 21 Studien zur Homöopathie beschränkt, die die höchste methodische Qualität aufweisen. Aus diesen 21 Studien haben sie zum Schluss noch jene acht Studien ausselektiert, welche die größten Patientenzahlen haben. Damit kann die Metaanalyse kaum als repräsentativ und aussagekräftig für die gesamte homöopathische Medizin genommen werden.

Heißt das mit anderen Worten, dass eine hohe methodische Studien-Qualität für den Preis einer niedrigen statistischen Aussagekraft teuer erkauft wurde?

Rainer Lüdtke: So könnte man es ausdrücken. Ihre Wortwahl „teuer erkauft“ passt insofern, als das Grundanliegen einer Metaanalyse durch die starke Selektion komplett verloren ging. Metaanalysen verfolgen das Ziel, mehrere Studien zu einer identischen Fragestellung zu bündeln, um so eine im Vergleich zu Einzelstudien höhere Aussagekraft zu erhalten. Dieser Effekt geht jedoch verloren, wenn von ursprünglich 110 Studien nach Selektion zum Schluss nur acht Studien zur Homöopathie übrig bleiben und in die Bewertung einfließen.

Ein weiterer Aspekt, welcher die Aussagekraft der Studie einschränkt, ist die fehlende Berücksichtigung unterschiedlicher homöopathischer Schulen.

Will ich die Wirkung von Aspirin gegen Placebo testen, so ist dies methodisch relativ einfach. Die Homöopathie ist im Gegensatz dazu ein hoch komplexes und inhomogenes Therapiesystem mit unterschiedlichen Vorgehensweisen und Schulen. Diese wichtige Eigenschaft der Homöopathie wurde jedoch von Frau Shang und Herrn Egger in ihrer Metaanalyse nicht berücksichtigt.

In der Shang/Egger-Arbeit wurden z. B. neben Studien zur Klassischen Homöopathie, hier erhält jeder Patient auf der Grundlage der Simile-Regel ein individuelles homöopathisches Arzneimittel, auch Studien zur klinischen Homöopathie eingeschlossen. In der klinischen Homöopathie erhalten alle Patienten – ähnlich wie in der konventionellen Medizin – ein und dasselbe homöopathische Arzneimittel. Darüber hinaus bezog die Metaanalyse auch Studien zur Isopatie ein, in denen ein bekannter Krankheitserreger – zum Beispiel ein Allergen – homöopathisch potenziert wird. Und als vierte Kategorie wurden Studien zur Komplexmittelhomöopathie einbezogen, in denen mehrere homöopathische Arzneimittel zu einer Arznei kombiniert werden.

Es wurden somit vier fundamental unterschiedliche Homöopathie-Derivate auf der Grundlage von nur acht randomisierten Studien ausgewertet. Gab es in der Schriftleitung des Lancet und im Peer-Review niemanden, dem das aufgefallen ist?

Rainer Lüdtke: Diese Frage kann ich Ihnen nicht beantworten. Wer auch immer die Arbeit im Vorfeld geprüft hat, dem ist auch die Heterogenität der untersuchten Krankheitsbilder nicht aufgefallen.

Verknüpfe ich in der konventionellen Medizin z. B. jeweils 2 erfolglose Studien für die Indikationen Depression, Hypercholesterinämie und Bluthochdruck mit einer erfolgreichen Studie zu Asthma, so bedeutet dies nicht, dass die gesamte Pharmakologie ein Placebophänomen ist. Zunächst einmal würden so wenig Studien keine allgemeinen Aussagen zur Pharmakologie zulassen. Darüber hinaus würde man von einem erfolglosen Depressions-Mittel nicht auf die Wirksamkeit eines Asthma-Arzneimittels rückschließen. Ähnliches wurde jedoch in der Arbeit von Frau Shang und Herrn Egger gemacht. Sie warfen Studien zur

•   Vorbeugung von Erkältungen
•   Behandlung von Warzen
•   Vorbeugung des Muskelkaters
•   Behandlung einer Migräne
•   Behandlung von Durchfallerkrankungen bei Kindern
•   Behandlung von schweren Hirnverletzungen

alle in einen Topf. In unserer Reanalyse der Daten haben wir zeigen können, dass die negativen Ergebnisse bei Shang vor allem deshalb zustande gekommen sind, weil eine große Studie mit über 400 Patienten negativ war – jene zur Vorbeugung des Muskelkaters. Lässt man nur diese eine Studie aus der Analyse heraus, so sind die Ergebnisse für die Homöopathie deutlich positiver.

Es ist daher gut möglich, dass die Homöopathie bei einigen Erkrankungen wirkt und bei anderen nicht und dass die Shang/Egger-Analyse nur deshalb negativ ausgegangen ist, weil sie diese Heterogenität nicht berücksichtigt hat.

Oder mit anderen Worten: Wenn Sie in Ihrem Obstsalat einen faulen Apfel finden, dann können sie nicht darauf schließen, dass auch die Bananen und Weintrauben schlecht waren, nur weil Ihnen der Salat nicht geschmeckt hat.

Sie sprachen von insgesamt vier zentralen Argumenten, welche die Aussagekraft der Egger-Studie in Frage stellen. Was ist nach zu kleiner Studienanzahl, zu großer Heterogenität der Homöopathie-Verfahren und der Krankheitsbilder Ihr letzter gravierender Kritikpunkt?

Rainer Lüdtke: Hier geht es um ein statistisches Phänomen. Die Ergebnisse der Egger-Studie sind sensitiv gegenüber der Definition, wann eine Studie als groß angesehen wird. Wählt man nicht, wie Shang und Egger dies getan haben, die acht größten Studien zur Homöopathie sondern die 14 größten Studien aus, so bekommt man ein statistisch signifikantes Ergebnis zugunsten der Homöopathie.

Gibt es objektive Kriterien, nach denen Biometriker eine Studie als „groß“ und damit statistisch aussagekräftig einstufen?

Rainer Lüdtke: Es gibt unter Statistikern sicherlich Einigkeit darüber, dass Aussagen einer Studie mit 8 Probanden mit größerer Vorsicht zu bewerten sind als Aussagen einer Studie mit 1.000 Probanden. Es gibt jedoch keinen klar definierten Schwellenwert, der festlegt, was genau „groß“ und was nicht mehr „groß“ ist. Selbst Studien mit z. B. 10.000 Probanden – was in der klinischen Forschung eine relativ hohe Zahl ist – gelten nur unter den vielen Prämissen, unter denen sie erstellt wurden.

Mit Statistiken ist es wie mit Landkarten. Es handelt sich um den Versuch, Realität in stark vereinfachter Form abzubilden. Statistiken zeigen jedoch ebenso wie Landkarten keine Realität an sich. Schauen Sie sich Ihren Wohnort bei Google Maps an und werfen Sie einen Blick aus dem Fenster. Dann sehen Sie den Unterschied. Gleiches gilt auch für Statistiken. Statistiken erlauben zwar – genau wie Landkarten auch – durchaus sinnvolle Schlussfolgerungen. Man muss sich nur ihrer Beschränktheit und ihres vereinfachenden Charakters bewusst sein.

Bedeutet dies, dass die These der Egger-Studie zulasten der Homöopathie ebenso falsch ist wie die Aussage der Elsevier-Pressemeldung zugunsten der Homöopathie?

Rainer Lüdtke: „Falsch“ und „richtig“ sind Begriffe, mit denen Statistiker selten arbeiten. Hier werden in der Regel Grautöne betrachtet, also „mehr“ oder „weniger wahr“. So ist es auch mit der Eggerschen Metaanalye.  Betrachte ich alle vier genannten Kritikpunkte, so erlaubt sie weder eine endgültig negative noch eine positive pauschalisierende Aussage zur Wirksamkeit der Homöopathie.

Herr Lüdtke, vielen Dank für dieses Gespräch.

Das Interview führte Claus Fritzsche.x

Über Dipl.-Stat. Rainer Lüdtke:

• Studium der Statistik und theoretischen Medizin an der Universität Dortmund
• wissenschaftlicher Mitarbeiter am Institut für Medizinische Biometrie der Georg-August-Universität Göttingen
• wissenschaftlicher Mitarbeiter im Biometrischen Zentrum Erfahrungsmedizin am Institut für Medizinische Informationsverarbeitung des Universitätsklinikums Tübingen
• seit 2000 Wissenschaftsreferent bei der Karl und Veronica Carstens-Stiftung in Essen
• ab 2012 Teamleiter und Stiftungsmanager im Stifterverband für die deutsche Wissenschaft (Natur- und Technikwissenschaften)

Themenrelevante Veröffentlichungen von Rainer Lüdtke in den letzten Jahren:

Witt CM, Lüdtke R, Willich SN: Homeopathic treatment of patients with migraine: a prospective observational study with a 2-year follow-up period. J Altern Complement Med 2010;16:347-355.

Teut M, Hirschberg U, Lüdtke R, Schnegg C, Dahler J, Albrecht H, Witt C: Protocol for a phase 1 homeopathic drug proving trial Trials 2010;11:doi:10.1186/1745-6215-1111-1180.

Siegling-Vlitakis C, Martens H, Lüdtke R: In vitro examination of potentized atropine sulfate dilutions on the contractility of the isolated rat ileum. J Altern Complement Med 2009;15:1121-1126.

Nuhn T, Lüdtke R, Geraedts M: Placebo effect sizes in homeopathic compared to conventional drugs – a systematic review of randomised controlled trials. Homeopathy 2010;99:76-82.

Siebenwirth J, Lüdtke R, Remy W, Rakoski J, Borelli S, Ring J: Wirksamkeit einer klassisch-homöopathischen Therapie bei atopischem Ekzem. Eine randomisierte, placebokontrollierte Doppelblindstudie. Forsch Komplementmed 2009;16:315-323.

Lüdtke R, Willich S, Ostermann T: Therapeutic effects and Regression to the mean – A simple extension of Mee and Chua´s algorithm. Statistische Methoden in der empirischen Forschung 2009:467-478.

Brinkhaus B, Wilkens JM, Lüdtke R, Hunger J, Witt CM, Willich SN: Homeopathic arnica therapy in patients receiving knee surgery: Results of three randomised double-blind trials. Complement Ther Med 2006;14:237-246.

Lüdtke R: Zum Stand der Forschung in der Homöopathie. Springer Loseblattsammlung Naturheilkunde 2005.

Witt CM, Lüdtke R, Baur R, Willich SN: Homeopathic medical practice: long-term results of a cohort study with 3981 patients. BMC Public Health 2005;5:115.

Lüdtke R: Therapieforschung in Zeiten der Patientenpräferenz. Ztschr. ärztl. Fortbild. Qual. Gesundheitswes 2005;99:279-284.

Witt C, Lüdtke R, Weißhuhn TER, Willich SN: High homeopathic potencies are different from potentized solvent when investigated with the REDEM technology. Forsch Komplementärmed 2005;12(1):6-13.

Lüdtke R: Statistical comments on a re-analysis of a previous meta-analysis of homeopathic RCTs. J Clin Epidemiol 2002;55 (1):103-104.

Lüdtke R, Weber U, Fischer I, Friese KH, Moeller H: An example on the value of non-randomisation in clinical trials in complementary medicine. Forsch Komplementärmed 2002;9(2):105-109.

Beitragsbild: ©Pixabay