Um die Ungleichbehandlung im Begutachtungsprozess von Artikeln in wissenschaftlichen Fachzeitschriften zu belegen, führte das Forscherteam um Jürgen Huber vom Institut für Banken und Finanzen der Universität Innsbruck ein Experiment durch. Entscheidend für das Gelingen der Studie war auch die Mitarbeit von Vernon Smith. Der Wirtschaftswissenschaftler der Chapman University in Kalifornien (USA) war einer der beiden Wirtschaftsnobelpreisträger des Jahres 2002.
Experimentelle Einreichung
Smith verfasste gemeinsam mit dem Nachwuchswissenschaftler Sabiou Inoua, der ebenfalls an der Chapman University arbeitet, einen wissenschaftlichen Artikel und reichte diesen beim „Journal of Behavioral and Experimental Finance“ zur Begutachtung ein. Der Herausgeber der Fachzeitschrift ist Stefan Palan vom Institut für Banken und Finanzierung der Universität Graz. Als Mitglied des Forschungsteams war er mit dem Experiment vertraut und verteilte den Artikel an insgesamt 3.300 Fachgutachter – 534 davon nahmen die Einladung an.
Ein solches Begutachtungsverfahren durch unabhängige Gutachter („Peer-Review“) ist ein etablierter Eckpfeiler des wissenschaftlichen Prozesses. Es ist Grundlage dafür, welche Arbeiten in Fachzeitschriften veröffentlicht werden, oder welche Forscher Fördermittel bekommen soll. Dass es dabei zu Verzerrungen aufgrund des Status eines Autors oder Einreichers kommen kann, ist schon lange bekannt.
Nobelpreis schlägt Novizen
Für die im Fachjournal „PNAS“ erschienene Studie erhielten alle Gutachter exakt denselben Artikel zur Beurteilung, allerdings unterschiedliche Informationen über die Verfasser des Artikels. Einer Gruppe wurde mitgeteilt, dass einer der Autoren Nobelpreisträger Vernon Smith war, eine andere Gruppe erfuhr, dass einer der Autoren Nachwuchswissenschaftler Sabiou Inoua war. Eine dritte Gruppe erhielt keine Informationen zu den Autoren.
Die Hälfte jener Gutachter, die keine Informationen über die Autoren des Fachartikels hatten, empfahlen, diesen nicht zu publizieren. Wussten die Gutachter, dass einer der Autoren der unbekannte Nachwuchswissenschaftler ist, stieg dieser Anteil auf über 65 Prozent. Dagegen empfahlen nur 23 Prozent der Gutachter eine Ablehnung, wenn sie wussten, dass einer der Autoren der Nobelpreisträger ist.
„Unsere Ergebnisse zeigen damit deutlich, dass die unterschiedlichen Informationen über den Verfasser die Bewertung der Qualität des Forschungsartikels stark beeinflussen“, erklärte Huber in einer Aussendung. Rudolf Kerschbamer vom Institut für Wirtschaftstheorie, -politik und -geschichte der Uni Innsbruck führt dieses Ergebnis auf den „Halo-Effekt“ zurück, wonach Handlungen und Werke von Personen, von denen man einen positiven Eindruck hat, grundsätzlich positiver wahrgenommen werden als jene von unbekannten Personen oder von Personen, denen man nicht so viel zutraut.
Verfahren überdenken
Die Wissenschaftler sehen die Ergebnisse ihres Experiments als wichtigen Anstoß dafür, das Begutachtungsverfahren wissenschaftlicher Arbeiten zu überdenken. Huber verweist gegenüber der APA etwa auf einen „offeneren Peer-Review-Prozess“, bei dem Autoren und Autorinnen, Fachjournal und Gutachter in einen ergebnisoffenen Gesprächsprozess gehen, um eine Publikation möglichst gut zu machen. Praktiziert werde das beispielsweise bereits vom Fachjournal „Research Integrity and Peer Review“, das im Springer-Verlag erscheint.
Verbreiteter seien sogenannte „pre-registered reports“: Dabei würden Forscher nicht eine fertige Publikation einsenden, sondern nur ihre Forschungsidee und das Design des Experiments. Das Fachjournal und die Gutachter beurteilen in diesem Fall nur, ob die Forschungsfrage spannend und relevant ist und ob das Forschungsdesign geeignet ist, diese Frage zu beantworten. Aufgrund dessen wird das Papier dann akzeptiert oder abgelehnt, unabhängig von den Ergebnissen, die ja noch gar nicht vorliegen. „Mit solch einem Ansatz lässt sich der ‚publication bias‘, bei dem fast nur signifikante Ergebnisse publiziert werden, deutlich reduzieren“, so Huber. Diese Vorgangsweise werde bereits von hunderten Fachjournalen akzeptiert.