Forscher sehen Qualitätsprobleme
Nach Kritik von Kollegen gehen sie nunmehr davon aus, dass „nur“ zehn Prozent der Resultate falsch bzw. nicht nachvollziehbar sind.
Bunte Bilder
Ein Mensch liegt in einer Magnetröhre und soll an ein besonders schönes Erlebnis denken. Gleichzeitig wird mit funktioneller Magnetresonanztomografie (fMRT) gemessen, in welchen Teilen des Gehirns die Durchblutung steigt. Diese Teile werden bunt eingefärbt, und plötzlich ist das Bild der Beweis, dass positive Gefühle im Gehirn einen eindeutigen Platz haben.
So oder so ähnlich liefen in den vergangenen Jahren tausende Studien ab, und angesichts des attraktiven Themas Gehirn griffen die Medien gerne zu - auch science.ORF.at, wo beispielsweise über die mittels fMRT erzielten Ergebnisse zu Transsexualität, Sprachbegabung und Vergessen berichtet wurde.
Meduni Wien
Typisches fMRT-Bild
3.500 Papers betroffen?
Ein schwedisch-britisches Forscherteam weist aber nun in einer jüngst erschienen Studie darauf hin, dass eben diese Ergebnisse fragwürdig sein könnten. Denn in einem von drei Computerprogrammen, die zur Interpretation der Messdaten hauptsächlich eingesetzt werden, war ein Fehler. Er wurde erst 2015 beseitigt und sorgte für extrem viele falsch-positive Ergebnisse.
Die Studie:
„Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates“, PNAS, 28.6.2016
In bis zu 70 Prozent der Analysen könnten so Korrelationen zwischen einem Reiz und einer Gehirnaktivität hergestellt worden sein, wo sie in Wirklichkeit gar nicht vorhanden waren, heißt es in der Studie von Anders Eklund, Thomas Nichols und Hans Knutsson. Bis zu 40.000 veröffentlichte Papers, bei denen fMRT eingesetzt wurde, könnten mit dieser fehlerhaften Software erstellt worden sein, schreiben die Forscher - mittlerweile hat der Zweitautor Thomas Nichols nach Kritik von Kollegen die Zahl auf 3.500 möglicherweise betroffene Papers reduziert. Der Versuch der Forscher, die Korrektur auch in der PNAS-Studie aufscheinen zu lassen, wurde von der Fachzeitschrift abgelehnt.
Problem Rohdaten
Die Software ist nur ein Teil des Problems, sagt Ewald Moser vom Exzellenzzentrum Hochfeld-Magnetresonanz der Medizin-Universität Wien. Um das Neuroimaging auf wirklich solide Beine zu stellen, müsste man schon viel früher beginnen: bei den Rohdaten.
„Wenn die Maschine meine Daten kreiert hat, schaue ich mir diese Rohdaten im Detail an. Die meisten Leute, die in diesem Bereich arbeiten, tun das nicht“, so Moser. Das sei aber gefährlich, denn wenn man über diese Rohdaten eine Software laufen lässt, die die Messung clustert und etwa zu Aktivitätsmustern verdichtet, können die Ergebnisse nur so gut sein wie das Ausgangsmaterial.
Viele würden davon ausgehen, dass ihre Daten die Anforderungen der Software erfüllen, so Ewald Moser. „So nach dem Motto: Die anderen haben es ja auch so gemacht. Und das ist sehr, sehr problematisch.“ Denn: „So ein Experiment bis hin zur Publikation ist ein komplexes System. Wenn sich Fehler über mehrere Phasen akkumulieren können, und niemand greift korrigierend ein, werden letztlich Fehlschlüsse publiziert.“
Gegenrezept: Offenlegung der Daten
Auch der Peer-Review-Prozess, also die Überprüfung einer Studie vor Publikation durch Fachkollegen, habe da zum Teil versagt, sagt Ewald Moser, wobei seine Beobachtung war: „Viele medizinische Zeitschriften haben einen Statistikexperten im Editorial Board, der solche Einreichungen vorgelegt bekommt. Aber ist ein Journal sehr allgemein ausgerichtet wie etwa ‚Natur‘ und ‚Science‘, wird nur mehr sehr wenig Wert auf die Methode gelegt. Dadurch besteht die Gefahr, dass in solchen Journalen Dinge publiziert werden, die nicht im Detail überprüft wurden.“
Ö1 Sendungshinweis:
Über die Schwachstellen des Neuroimaging hat auch das Mittagsjournal am 16.7.2016 berichtet.
Diese Praxis in Kombination mit dem hohen Druck auf junge Forscherinnen und Forscher, möglichst viel mit hohem Impact-Faktor zu publizieren, habe die Zahl der Fehler beim Neuroimaging in die Höhe getrieben, ist sich der Wiener Magnetresonanzexperte sicher. Als Gegenmaßnahmen empfiehlt er „mehr Transparenz und mehr Offenheit. Die Rohdaten müssen gespeichert und bei Publikation - entsprechend beschrieben - mitveröffentlicht werden“. Da könne man sich ein Stück von der Genomforschung abschneiden, wo die Daten nach einer Publikation verfügbar sind. „Beim Neuroimaging hinken wir nach.“
Das schreiben auch Anders und Kollegen in ihrer aktuellen Studie. Ob die Daten in den mit fMRT erstellten Studien der letzten Jahrzehnte richtig ausgewertet wurden, konnten sie nämlich nicht überprüfen, weil sie schlicht nicht vorliegen. Deshalb wählten sie auch die Formulierung, dass bis zu zahlreiche Studien betroffen sein könnten.
Im Krankenhaus derzeit nicht relevant
Menschen, die sich nun eventuell Sorgen machen, ob sie anhand falsch interpretierter Studien auch falsch behandelt werden, beruhigt Siegfried Kasper, Leiter der Wiener Uniklinik für Psychiatrie und Psychotherapie: „Diese fMRT-Untersuchungen sind nicht Teil der Krankenhausroutine, weil noch das Knowhow fehlt.“
Aber seitens der Psychiatrie sei man dabei, dieses Wissen zu entwickeln, und davon werden laut Siegfried Kasper auch die Patientinnen und Patienten profitieren - wenn etwa jemand von großen Ängsten geplagt wird: „Dann kann man anhand der fMRT-Bilder nachweisen, dass eine Struktur im Gehirn überreagibel ist und daraus ableiten, welche Sorte von Medikament man geben muss, damit diese Struktur etwas geschont wird.“
Die Fehleranfälligkeit sieht der Psychiater nicht als großes Problem: „Im Thorax-Röntgen (Brustkorb, Anm.) beispielsweise gibt es auch zu 30 Prozent falsch-positive Befunde, also so schlecht sind wir nicht.“ Außerdem können die bunten Gehirnbilder für einen Arzt immer nur ein Hinweis von mehreren sein.
Kein Abgesang auf die Neurowissenschaften
Ein Abgesang auf die Neurowissenschaften generell, die in den letzten Jahren enorm viel Aufmerksamkeit und Geld bekommen hat, ist das nicht, betont Magnetresonanzexperte Ewald Moser: „Neuroimaging ist nur ein kleiner Bereich der Neurowissenschaften. Aber natürlich muss man schon sagen, dass der Hype der letzten Jahre möglicherweise Menschen angezogen hat, die ansonsten in anderen Bereichen arbeiten würden.“ Das verbreitere „automatisch auch die Verteilung des Knowhow“, so Ewald Moser diplomatisch.
Und Psychiater Siegfried Kasper fügt hinzu: „Bei manchen Ansagen der letzten Jahre wurde sicherlich zu hoch gegriffen. Wir sind froh, wenn wir ganz basale Mechanismen wie Appetit, Tag-Nacht-Rhythmus oder Antrieb im Gehirn verorten können. Je höher die menschliche Funktion ist, desto weniger können wir sie im Gehirn abbilden - Gott sei Dank, muss man sagen, denn das Menschsein ist viel komplexer.“
Elke Ziegler, science.ORF.at