Ein Team um Wolfgang Kerzendorf von der Michigan State University (USA), dem auch Glenn van de Ven vom Institut für Astronomie der Universität Wien angehörte, testete neben dem aktuellen Begutachtungsmodus für Projektanträge an der Europäischen Südsternwarte (European Southern Observatory, ESO) in Chile eine neues Verfahren. Derzeit treffen sich regelmäßig kleine Expertengremien, um die besten Anträge herauszusieben. Vorab müssen sie riesige Mengen an Projektanträgen lesen. Das neue Verfahren soll sie entlasten und auch gerechter sein, weil nicht nur eine kleine, etablierte Gruppe entscheidet.
Jeder Antragsteller bekam eine gewisse Anzahl von Projekten seiner Konkurrenten zur Bewertung. Zugeteilt wurden ihm die Anträge von intelligenten Maschinen, die Menschensprache verarbeiten können (natural language processing) und sich ständig durch ihre Arbeitserfahrung weiterentwickeln (machine learning). „In der Arbeit konnten wir zeigen, dass dieses aufgeteilte Experten-Gutachten (distributed peer review) gleichwertig mit dem traditionellen Gremien-Verfahren ist“, schrieben die Forscher in der Studie im Fachjournal „Nature Astronomy“.
Weniger Aufwand und demokratisch
Das getestete Auswahlverfahren habe ein paar Vorteile: Jedes Projekt könne von mehr Personen begutachtet werden als bei kleinen Experten-Gremien. Die Begutachter werden trotzdem nicht mit einer hohen Zahl an Anträgen überfordert und können dadurch mehr Zeit auf die Bewertung einzelner Vorschläge aufwenden. Sie sind zudem so gut wie möglich vertraut mit der Materie.
Es gebe keine Verzerrung durch ein fix aufgestelltes Gremium. Es bezieht mehr Leute aus der Forschungsgemeinschaft ein und ist damit demokratischer, und die Antragsteller sehen, wie hoch die Qualität der Projekte ihrer Konkurrenten ist. Dadurch können weniger erfahrene Forscher lernen und ihre eigene Arbeit besser einschätzen. In anonymen Feedback-Befragungen wurde die neue Begutachtungsvariante jedenfalls „überwältigend gelobt“, berichten die Autoren.
Sie ermutigen in ihrer Arbeit andere Organisationen, ähnliche Studien durchzuführen. Damit könnte man aus der Situation herauskommen, in der das klassische Peer-Review-Verfahren ungeachtet seiner Beschränkungen in Ermangelung besserer Alternativen verwendet werde.