Die u.a. von Innsbrucker Forschern initiierte und im Fachblatt „Nature“ vorgestellte Untersuchung (sobald online hier, Preprint hier) zeige, wie wichtig es ist, dass Wissenschaftlerinnen und Wissenschaftler klar darstellen, mit welchen Methoden Daten analysiert und wie Schlussfolgerungen gezogen werden.
200 Gehirnforscherinnen und -forscher im Experiment
Die Reproduzierbarkeit von Untersuchungen mit dem gleichen Ergebnis etwa in der Psychologie, in der Medizin oder den Sozialwissenschaften ist nicht immer gegeben: Das haben internationale Studien in den vergangenen Jahren bereits gezeigt, und das hat in vielen Bereichen bereits zu einem Nachdenkprozess und zu Verbesserungen geführt – was etwa die Nachvollziehbarkeit der Forschungstätigkeit betrifft.
Nachdem die Gruppe um die Ökonomen Michael Kirchler, Jürgen Huber und Felix Holzmeister vom Institut für Banken und Finanzen der Universität Innsbruck bereits bei einigen zuvor genannten Arbeiten zur Wiederholbarkeit von wissenschaftlichen Studien mitgearbeitet hatte (z.B. hier und hier), war das Team auch an der aktuellen Untersuchungen beteiligt. Zusammen mit Kollegen aus den USA, Schweden und Israel luden sie nun rund 200 Neurowissenschaftler und Neurowissenschaftlerinnen weltweit ein, anhand des jeweils gleichen Datensatzes insgesamt neun Hypothesen zu überprüfen.
Dem Gehirn beim Entscheiden zusehen
Dabei handelte es sich um Daten aus einem in Tel Aviv durchgeführten Experiment, in dessen Rahmen 108 Versuchspersonen bei einer wirtschaftlichen Entscheidung mittels funktioneller Magnetresonanztomografie sozusagen ins Gehirn geschaut wurde. Die detaillierten Aufzeichnungen über die Aktivität in den Gehirnarealen können Aufschluss darüber geben, welche kognitiven Prozesse stattfinden.
Die 70 teilnehmenden Teams – aus Österreich war neben der Innsbrucker Gruppe mit den Neuropsychologen Claus Lamm, Lei Zhang und Annabel Loosecat Vermeer auch ein Team der Uni Wien dabei – sollten daraufhin mit ihren Analysemethoden die spezifischen Fragestellungen beantworten. Dabei ging es immer darum, ob ein gewisser Aspekt der Entscheidungsfindung mit Änderungen der Aktivität in bestimmten Teilen des Gehirns einher geht. Dafür hatten die Teams drei Monate Zeit.
Jedes Team arbeitet anders
Wie unterschiedlich die Gruppen an die Aufgabe herangingen zeigte sich darin, „dass keine zwei Teams die gleiche Arbeitsweise bei der Datenanalyse wählten“, schreiben die Studienautoren in der Arbeit. Das führte u.a. dazu, dass teils deutliche Unterschiede in der Beantwortung auftraten. Bei immerhin fünf der Hypothesen zogen die beteiligten Teams stark unterschiedliche Schlüsse, bei den vier restlichen Fragestellungen waren die Gruppen in ihren Einschätzungen allerdings sehr übereinstimmend.
In einer übergeordneten Analyse (Metaanalyse) über die Arbeiten aller 70 Gruppen wurde klar, dass die Teams bei der grundsätzlichen Aufarbeitung der bereitgestellten Daten recht nahe beisammen lagen. „Die ähnlichen Zwischenergebnisse führten aber am Ende zu zum Teil sehr unterschiedlichen Resultaten“, so Felix Holzmeister.
Selbstreflexion zeichnet Wissenschaft aus
In einer Art Online-Marktplatz („Prognosemarkt“) konnten überdies Experten aus dem neurowissenschaftlichen Bereich ihre Einschätzungen zu den erwarteten Ergebnissen der neun Hypothesen abgeben, indem sie Geld auf unterschiedliche mögliche Resultate setzten. „Dabei zeigte sich, dass die Marktteilnehmer überoptimistisch hinsichtlich der Wahrscheinlichkeit von signifikanten Ergebnissen waren, selbst dann, wenn sie die Daten zuvor selbst analysiert haben“, sagte Holzmeister zeichnet die Wissenschaft aus.
Dass sich im Rahmen der „Neuroimaging Analysis, Replication and Prediction Study“-Studie (NARPS) fast 200 Forscher und Forscherinnen einer für sie zeitaufwendigen, kritischen Selbstüberprüfung stellten, unterstreiche ihre Bereitschaft, „die Qualität ihrer Datenanalysen weiter zu verbessern. Dieser Prozess der Selbstreflexion und der kontinuierlichen Verbesserung der eigenen Methoden ist einzigartig und “, so Michael Kirchler und Jürgen Huber.
„Projekte wie diese leisten einen zentralen Beitrag, um den Prozess des wissenschaftlichen Erkenntnisgewinns und die damit verbundenen Unsicherheiten besser zu verstehen – und zwar weit über die Disziplinengrenzen hinweg“, so Claus Lamm.