„Die Wirklichkeit ist nicht so schön“

Brian Nosek ist der Stachel im Fleisch der Wissenschaft: Die Ergebnisse vieler Studien seien zu schön, zu glatt, zu sauber, kritisiert der US-Psychologe. Er plädiert für mehr Mut zur Hässlichkeit - im Dienste der Wahrheit.

science.ORF.at: Sie haben letztes Jahr 100 Psychologie-Studien anderer Forscher wiederholt, die Bilanz war ernüchternd: In nur 39 Prozent der Fälle kamen sie zu dem gleichen Ergebnis wie die Originalstudie. Was läuft falsch in der Psychologie?

Zur Person

Brian Nosek ist Direktor des Open Science Centre an der University of Virginia. Seine Beiträge zur (Nicht-)Reproduzierbarkeit von Forschungsergebnissen sorgen immer wieder für Aufsehen - so etwa seine Überprüfung von 100 Psychologie-Studien, erschienen im Fachblatt „Science“.

Am 21.9. hielt Nosek einen Vortrag in Wien, Titel: „Scientific Utopia – Improving Transparency in Scholarly Communication“.

Sendungshinweis

Über dieses Thema berichtet heute auch Wissen aktuell, 22.9., 13.55 Uhr.

Brian Nosek: Ich glaube, das Problem besteht nicht nur in der Psychologie, sondern in der Wissenschaft als Ganzes: Wir haben im Forschungsbetrieb die falschen Anreize. Es geht um Veröffentlichungen, nicht um die korrekte Darstellung der Dinge. Forscher wollen gute Jobs - und die bekommen sie nur mit Publikationen in prestigeträchtigen Journalen.

Die Folge ist: Die publizierte Literatur ist zu schön. Die Fachjournale sind sehr selektiv, sie suchen sich für die Publikation meist die originellsten Ergebnisse und die saubersten Stories aus.

Doch die Wirklichkeit sieht anders aus. Die meiste Forschung, die im Labor gemacht wird, ist ein wenig unordentlich. Nicht deswegen, weil die Forscher Fehler machen, sondern deshalb, weil sie Phänomene untersuchen, die sie noch nicht verstehen. Das ist ja der Grund, weshalb sie diese Untersuchungen überhaupt durchführen.

Warum sind so viele Studien nicht reproduzierbar?

Im Prinzip gibt es drei Möglichkeiten: Entweder ist die Originalstudie falsch. Das heißt, der beobachtete Effekt kam nur durch Zufall zustande - das kann immer passieren, in der Wissenschaft gibt es keine Sicherheiten, sondern nur Wahrscheinlichkeiten. Oder, zweite Möglichkeit: Die Überprüfung der Studie ist falsch. Und drittens ist es auch möglich, dass beide Studien korrekt sind - und es einen wichtigen Unterschied zwischen beiden Versuchen gibt, der bisher übersehen wurde. Wenn man diesen Faktor findet, hat man etwas gelernt.

US-Psychologe Brian Nosek bei einem Vortrag
FWF
Plädoyer für das Ungeordnete: Brain Nosek bei einem Vortrag in Wien

Ist das in anderen Fachgebieten auch so? Hat auch die Biologie ein Problem mit der Wiederholbarkeit ihrer Ergebnisse?

Wir haben noch nicht genügend Daten, um die genaue Größenordnung angeben zu können. Aber es gibt viele Hinweise, dass dieses Problem in allen Disziplinen besteht.

Auch in der Physik?

Ja, auch in vielen Bereichen der Physik. Das prototypische Beispiel für ein Feld, wo dieses Problem nicht auftritt, ist die Hochenergiephysik. Der Nachweis des Higgs-Teilchens hat dutzende Milliarden Dollar gekostet. Das Studiendesign war so angelegt, dass zwei völlig unabhängige Teams auf das gleiche Problem angesetzt wurden. Auch die Physiker wissen: Wäre der Nachweis nur einmal erfolgt, hätte das Ergebnis den Makel der Nicht-Wiederholbarkeit gehabt. Das ist das Ideal. Ich hoffe allerdings, dass es nicht in jeder Disziplin Milliarden kostet, um zu gesicherten Ergebnissen zu kommen.

Was ist mit der Computerwissenschaft?

An der University of Arizona läuft gerade ein Forschungsprojekt, das ganz ähnlich angelegt ist wie meines. Ziel des Projekts ist es, Computersimulationen zu wiederholen, die in Konferenzberichten veröffentlicht wurden. Das gelang bisher nur in 50 Prozent aller Fälle.

Vermutlich, weil die Forscher den Original-Code nicht rausgerückt haben.

Nein, die Überprüfungen wurden mit dem Original-Code gemacht.

Wie ist das möglich? Der Computer ist eine deterministische Maschine - das ist doch verrückt.

Ja, das ist verrückt! Dieses Resultat hat auch zu einigen Kontroversen geführt. Nun läuft eine breiter angelegte Folgestudie, die klären soll, was dahintersteckt. Vielleicht wurden bei der Überprüfung einfach Fehler gemacht. Es könnte aber auch sein, dass Computerwissenschaftler ihre Simulationen so anlegen, dass sie das richtige Ergebnis für den Konferenzbericht bekommen. Aber nicht unbedingt so, dass die Simulation von anderen wiederholt werden kann.

Wie kann man herausfinden, ob Widersprüche auf schlechte Wissenschaft zurückzuführen sind - oder einfach nur Pech?

Das weiß man nie. Alles, was man tun kann, ist, mehr Untersuchungen zum gleichen Problem durchzuführen. Wissenschaft ist ein Vorgang der die Unsicherheit reduziert, aber er stellt nie absolute Sicherheit her.

Wäre es nach dem Nachweis des Higgs-Bosons nicht komisch zu sagen: Das Teilchen wurde wahrscheinlich entdeckt? Entweder es existiert oder es existiert nicht.

Natürlich kann man zu einem Punkt kommen, wo man sich einer Sache sehr sicher ist. Die Evolutionstheorie baut auf so vielen Belegen auf, dass man sagen kann: Das ist eine ziemlich gute Beschreibung dessen, was bei der Entstehung der Arten passiert. Auch der Nachweis des Higgs-Teilchens genügt den höchsten wissenschaftlichen Standards. Und dennoch: Man kann nie ausschließen, dass einmal eine Theorie gefunden wird, die alle Befunde auf eine andere Weise erklärt. Damit muss man immer rechnen.

Im März dieses Jahres wurden sie von ihrem Fachkollegen Daniel Gilbert recht deutlich kritisiert. Er sagt, ihre Statistik bei der Überprüfung der 100 Psychologie-Studien sei fehlerhaft gewesen. Was sagen sie dazu?

Ich war erfreut, dass er sich die Zeit genommen hat, meine Arbeit zu kritisieren. Das war auch das Ziel unserer Studie: Sie sollte verdeutlichen, wie wichtig „Open Science“ ist. Wir haben all unsere Daten und Methoden öffentlich gemacht, damit sie überprüft werden können. Daniel kam nach seiner Auswertung eben zu einem sehr skeptischen Ergebnis. So soll Wissenschaft sein.

Wenn zwei ausgewiesene Experten ihres Faches zu gegensätzlichen Schlüssen kommen, wem soll man glauben? Oder geht es dann gar nicht mehr um wahr und falsch, sondern um die Frage, wer mehr Einfluss besitzt?

Könnte sein, dass der Einfluss eine Rolle spielt. Aber so sollte es nicht laufen: In Auseinandersetzungen sollte es um die Qualität der Argumente gehen.

Tut es das auch?

Es wird so sein, denn ich werde diese Auseinandersetzung gewinnen! … ok, das war nur ein Scherz. Wir werden sehen. Die Wissenschaft muss jeden Befund mit größtmöglicher Skepsis überprüfen - und sehen, was dann übrigbleibt.

Interview: Robert Czepel, science.ORF.at

Mehr zu diesem Thema: