Studenten schummeln weniger als Forscher
Gerade in der Psychologie wird „Open Science“ - also das möglichst offene und nachvollziehbare Gestalten der Forschungsarbeit selbst und der Publikationstätigkeit - seit einiger Zeit stark forciert. Einer der Auslöser war die Erkenntnis, dass es um die Wiederholbarkeit von Studienergebnissen - ein zentrales wissenschaftliches Qualitätsmerkmal - vielfach nicht gut bestellt ist. So wurden in einem großen internationalen Projekt 100 psychologische Experimente wiederholt, deren Ergebnisse in renommierten Fachzeitschriften veröffentlicht wurden. Dabei konnten die Resultate von mehr als jeder zweiten Studie nicht „repliziert“, also nicht bestätigt werden. Das Fach sei in einer „Replikationskrise“, hieß es.
Viel wurde seither dahingehend geforscht, wie sich die Situation in jenem Bereich der Forschung, der auf Publikationen in Fachmagazinen abzielt, darstellt und was sich daran verbessern lässt. Weniger Aufmerksamkeit hätten bisher Diplom- und Masterarbeiten erfahren, schreiben die Wissenschaftler von der Fakultät für Psychologie der Universität Wien in ihrer Arbeit im Fachblatt „Royal Society Open Science“.
Statistische Manipulation
Das Forschungsteam um Erstautor Jerome Olsen hat nun insgesamt 250 zwischen den Jahren 2000 und 2016 eingereichte Arbeiten aus dem Fachbereich Wirtschaftspsychologie an der Uni Wien auf Fehler, unsauberes Arbeiten und Hinweise auf Daten- und Ergebnismanipulation („Questionable research practices“ - kurz QRPs) untersucht. Unter QRPs werden etwa Methoden des sogenannten „p-Hackings“ verstanden, unter dem eine ganze Reihe an Maßnahmen zusammengefasst werden, die dazu beitragen, dass Studienergebnisse beispielsweise statistisch signifikant erscheinen, obwohl sie es eigentlich nicht sind.
Im Gegensatz zu so manchen Wissenschaftlern dürften die Studenten weniger dazu neigen, in die statistische Trickkiste zu greifen, damit Ergebnisse bedeutsamer erscheinen, so ein Fazit der Wiener Forscher. Das sei vielleicht auch darauf zurückzuführen, dass in diesem Stadium der akademischen Karriere der Druck, ein signifikantes Ergebnis zu erzielen, in der Regel nicht vorhanden ist. Ein anderer Grund könne auch sein, dass die Studenten einfach weniger über QRP-Methoden wissen. Allgemeingültige Aussagen zu dem Phänomen könnten aber aufgrund der bei weitem nicht repräsentativen Stichprobe für das Fach Psychologie auch nicht gemacht werden, schränken die Forscher ein.
Mehr Fehler
Im Vergleich zu Studien in Fachartikeln fanden die Forscher in den Abschlussarbeiten der Wiener Studenten jedoch mehr Fehler. So wiesen 32 von 174 überprüften Resultaten inkonsistente Werte auf, was allerdings nur in vier Fällen etwas an der statistischen Signifikanz geändert hätte. Abseits der Frage der Signifikanz würden Studenten auch Fragen dazu, wann ein gemessener Effekt tatsächlich praktisch bedeutsam ist (Effektgröße), zu wenig behandelt.
„Die Beobachtung, dass Studenten im Vergleich zu Forschern, die publizieren, zwar weniger zum Einsatz von QRPs, dafür aber häufiger zu Fehlern neigen, verstärkt den Ruf nach einer gründlicheren statistischen und methodologischen Ausbildung“, schreiben die Wissenschaftler. Außerdem sollte in der Lehre mehr Augenmerk auf offene und transparente Forschungspraktiken gelegt werden.
science.ORF.at/APA