Standort: science.ORF.at / Meldung: "Der Zwang zum "richtigen" Resultat"

Ein Fächer von Fachjournalen.

Der Zwang zum "richtigen" Resultat

Der Publikationsdruck auf Wissenschaftler wächst stetig. Das könnte sich auf die Qualität der Inhalte auswirken. Eine statistische Auswertung nährt diese Befürchtung: Denn Forscher aus jenen US-Bundesstaaten mit dem höchsten Publikationsoutput pro Forscher liefern generell deutlich mehr "positive" Studienergebnisse.

Publikationen 22.04.2010

Positive Resultate fördern die Karriere

In den meisten Wissenschaften herrscht heute ein ähnlicher Konkurrenzdruck wie in der Wirtschaft. Im Kampf um Fördergelder und akademische Positionen ist die Bewertung der Leistung entscheidend. Gemessen wird diese vor allem an den Publikationen: an ihrer Häufigkeit, am "Impact Factor" der Journals, in denen sie veröffentlicht werden, und daran, wie oft sie von anderen Studien zitiert werden.

Dass sich dieser Druck auf die wissenschaftliche Objektivität auswirken könnte, ist eine mögliche Kehrseite der Medaille, denn der Erfolg eines Papers ist nicht zuletzt von seinen Ergebnissen abhängig. Laut Daniele Fanelli von der britischen University of Edinburgh erhöhen positive Resultate die Chance, von anderen zitiert zu werden. Das heißt für die Forscher ist es karrieretechnisch hilfreich und mehr wert, wenn ihre experimentellen Hypothesen auch bestätigt werden.

Glück durch Bestätigung

Rein wissenschaftlich gesehen ist dies laut Fanelli eigentlich Unsinn, denn alle Ergebnisse sind relevant; Bezeichnungen wie "positiv" oder "negativ" sind irreführend. Wissenschaftler seien allerdings auch nur Menschen: Eine Bestätigung ihrer Hypothese macht sie glücklich, das Gegenteil ist eher enttäuschend. Verstärkt wird diese Vorliebe noch durch das Feedback des Forschungsumfelds und durch die Interessen der Auftraggeber.

Negative Ergebnisse werden aus verschiedenen Gründen oft einfach gar nicht publiziert. Manche versuchen auch durch Tricks die Resultate zu drehen, indem sie entweder die Hypothese umformulieren, die Daten anders selektieren oder im schlimmsten Fall fälschen.

Zwang zum positiven Ergebnis?

In seiner Studie hat Fanelli nun quantitativ erhoben, ob es tatsächlich einen Zusammenhang zwischen Publikationsdruck und der positiven Tendenz bei Studienergebnissen gibt. Zu diesem Zweck hat er nach dem Zufallsprinzip 1.316 in den USA zwischen 2000 und 2007 publizierte Papers aus allen Bereichen - von der Physik bis zur Soziologie - ausgewählt. Dann wurde erhoben, wie viele davon positive Ergebnisse lieferten.

Zusätzlich ermittelte der Forscher anhand von Daten der US-amerikanischen National Science Foundation die akademische Produktivität der verschiedenen Bundesstaaten. Diese zählt die durchschnittliche Anzahl an Veröffentlichungen pro Autor.

Produktive publizieren Positives

Farinelli kann sich über den positiven Ausgang seiner eigenen Studie freuen, denn die statistischen Analysen von Studienergebnissen und Produktivität bestätigen seine Hypothese in quantitativer Hinsicht.

Dass heißt, jene Autoren, die aus produktiveren Staaten kamen, produzierten deutlich öfter positive Resultate, unabhängig von der Disziplin und den verfügbaren Fördergeldern. Auch die Gesamtanzahl an Publikationen, die staatlichen Ausgaben für Forschung und Entwicklung sowie die Menge an Promovierten standen in keinem Zusammenhang damit.

So betrug etwa der Anteil an bestätigten Hypothesen in den Bundesstaaten Nevada, North Dakota und Mississippi weniger als 50 Prozent, in Michigan, Ohio und Nebraska hingegen 95 bis 100 Prozent.

Durch Zwang zum Erfolg?

Das legt laut Farinelli nahe, dass Forscher in einem produktiveren und kompetitiveren Umfeld eher gezwungen sind, dafür zu sorgen, dass ihre Ergebnisse zumindest positiv wirken. Wie sie das machen, müsse man allerdings erst näher untersuchen.

"Natürlich hängen die Ergebnisse einer Studie von vielen Faktoren ab, aber die Produktivität eines Bundesstaates sollte eigentlich nicht dazu gehören", so Farinelli. "Es ist nicht auszuschließen, dass Wissenschaftler in den produktiven Staaten besser ausgestattet oder auch klüger und folglich erfolgreicher sind." Aber dies reiche als Erklärung für die sehr deutliche Tendenz nicht aus.

Eva Obermüller, science.ORF.at

Mehr zum Thema:

Die ORF.at-Foren sind allgemein zugängliche, offene und demokratische Diskursplattformen. Die Redaktion übernimmt keinerlei Verantwortung für den Inhalt der Beiträge. Wir behalten uns aber vor, Werbung, krass unsachliche, rechtswidrige oder beleidigende Beiträge zu löschen und nötigenfalls User aus der Debatte auszuschließen. Es gelten die Registrierungsbedingungen.

Forum

 
  • mitspielen,

    xx13, vor 662 Tagen, 4 Stunden, 10 Minuten

    stuss publizieren, nonsense als grants einreichen, den wesentlichen leuten den bauch pinseln, und mit dem geld dann - als spaß - echte wissenschaft betreiben.

    so mach's ich - und es macht spaß...

  • Äh der gute Hr. Statistiker

    bravenewone, vor 662 Tagen, 7 Stunden, 5 Minuten

    Wie war das noch gleich bei den allerersten Statistikvorlesungen. Aufgrund von statistischen Daten lässt sich kein ursächlicher Zusammenhang beweisen.

    Man könnte (und wird vermutlich) sehr gut die vorwiegend positiveren Ergebnisse damit erklären, dass man ja nicht ins "Blaue" untersucht, sondern einen gewissen Sachverhalt vermutet (= aufgrund verschiedener Fakten angenommer Zusammenhang). Da nicht jeder Wissenschaftler einfach mal nach Lust und Laune durch die Gegend vermutet erweisen sich kluge Vermutungen in der Mehrzahl auch richtig. Das schließt schwarze SChafe natüröich nicht aus, aber zu behaupten dort wo mehr publiziert wird, würde einfach mehr zurechtgebogen aufgrund der Erhebung von statistischen Daten ob ein positives oder ein negatives Ergebnis vorliegt ist einfach nicht zulässig.

    • bravenewone, vor 662 Tagen, 6 Stunden, 59 Minuten

      Und um den Bogen zu schließen, um das behaupten zu können müsste ein signifikant erhöter Anteil an frisierten Studien in den Regionen festgestellt werden.

      Und P.S.: Wer glaubt, dass am MIT mehr richtige Ideen geboren werden, als an der University of Arkansas?

      ;-)

  • Lieber solidstate (vor 4 h)

    jeanjuliet, vor 662 Tagen, 11 Stunden, 29 Minuten

    Wunderschön geschrieben und wahr! Wer in der Wissenschaft noch etwas Objektives, Reines, Wahres sieht, ist wohl mit einem ziemlich dicken Naivitätspanzer ausgestattet, der ein wenig den klaren Blick trübt.
    Scientia ist doch zur reinen, von Wirtschafts- und M*ilitärlobbyismus beeinflussten, Industrie verkommen. Ähnlich übrigens wie ihr Vetter R*eligio.
    Kleiner Exkurs: Insofern erscheint mir der derzeitige Schlagabtausch zwischen K*reationisten und Darwinisten in einem ganz anderen Licht. Ich sehe beide eher auf gleicher Ebene mit den gleichen Beweggründen, lediglich mit unterschiedlichen Strategien.
    Als Quintessenz bleibt doch lediglich die metaphorische Erkenntnis, dass wenn G*ott uns nach seinem Ebenbild erschaffen hat, dann gnade uns selbiger.

    • Blödsinn bleibt deswegen noch immer Blödsinn.

      regow, vor 662 Tagen, 9 Stunden, 7 Minuten

    • bravenewone, vor 662 Tagen, 7 Stunden, 12 Minuten

      Äh, ach was eh sinnlos. Übliches Theologengeschwafel....

  • ob

    iggi, vor 662 Tagen, 12 Stunden, 32 Minuten

    negative resultate positiven gleichwertig sind wie hier behauptet ist fraglich. 10.000 studien die beweisen dass irgendein mittel nicht gegen hohen blutdruck hilft sind viel leichter zu produzieren als eine, welche die signifikante wirkung einer substanz nachweist. wir sind einfach mehr an zusammenhaengen interessiert als an nichtzusammenhaengen, denn zusammenhaenge sind quasi unendlich seltener als nichtzusammenhaenge und auch direkter verwertbar.

    • freiwelt, vor 662 Tagen, 12 Stunden, 14 Minuten

      dachte immer, alles haengt mit allem zusammen...

      aber mal ernst, falsifizieren ist also nicht so wichtig? ziemlich saloppe meinung fuer jemanden, der aber gar keine gelegenheit auslaesst andere der unwissenschaftlichkeit zu zichtigen.

      das mit dem nachweis haengt von der stichprobengroesse ab. mit ihr steigt auch die wahrscheinlichkeit einen signifikanten zusammenhang, oder unterschied zu finden.

      und dass uns zusammenhaenge mehr interessieren mag schon sein, aber es geht in der wissenschaft eben darum, welche zusammenaenge. haengt A mit B kausal zusammen? oder erscheint das nur so, weil beide von C (unbekannt) abhaengen? dass nicht A direkt B ausmacht, sondern, dass die geschichte komplizierter ist... das ist erkenntnisfortschrott aeh schritt..

      es geht eben nicht irgendwelche zusammenhaenge rauszufinden, sondern die richtigen. dazu muss man einen haufen anderer behaupteter zusammenhaenge ausschliessen. und das wird von der karrieremaschine wissenschaft nicht gerade belohnt.

      trotzdem funktioniert sie irgendwie. immer erstaunlich bei all ihren defiziten

    • natuerlich sind

      iggi, vor 662 Tagen, 11 Stunden, 41 Minuten

      falsifizieren und fasifizierbarkeit wichtig, und statistisch signifikante zusammenhaenge sollten theoretisch fundiert sein (ex ante, nicht im nachhinein etwas daherinterpretierln oder so tun als haette man die studie zur ueberpruefung eines in wirklichkeit zufaellig gefunden zusammenhangs angelegt), und natuerlich gibt es dutzende statistische fallgruben und soziale/institutionelle faktoren welche einen idealisierten wissenschaftlichen prozess verwaessern und dubiose papers mit statistisch signifikanten positiven resultaten hervorbringen. mir gings hier nur um die frage, ob es nicht theoretisch fuer jeden kausalzusammenhang eine praktisch unendliche anzahl von nichtzusammenhaengen gibt, sodass nichtzusammenhaenge viel wahrscheinlicher durch zufall zustandekommen als zusammenhaenge und dadurch insignifikanter sind.

    • Völlig richtig

      regow, vor 662 Tagen, 9 Stunden, 8 Minuten

      @iggi
      Ich möchte das Journal sehen, welches folgendes veröffentlicht:
      "Es ist nicht so, wie wir gedacht haben.........konnten als erfolgreich eine der 500 möglichen,überhaupt denkbaren Hypothesen ausschließen "

    • bravenewone, vor 662 Tagen, 7 Stunden, 11 Minuten

      regelmäßig im Nature zb...

    • @regow

      iggi, vor 662 Tagen, 59 Minuten

      ehrlichgesagt kann ich mich nicht reine nullnummernstudie gelesen zu haben, daher bitte ich um ein beispiel. egal wieviele einflussgroessen als insignifikant praesentiert werden, EIN positives statement gibt es immer, und sei es zb. das leidige 'klimawandel koennte...'

  • logopezi, vor 662 Tagen, 12 Stunden, 56 Minuten

    also bei den kleinigkeiten, die ich bisher geschrieben habe, waren hypothesen entweder hidnerlich oder ebstenfalls überflüssig. ich hatte eine fragestellung, ich hab eine passende beantwortungsmethode gesucht, diese angewendet und eine antwort auf die frage erhalten (oder auch nicht). und dieses resultat erhält man dann, wenn man methodisch sauber gearbeitet hat. wozu soll man da vorher spekulieren, was die antwort sein könnte (=hypothese)? überflüssig!
    was ich allerdings oft bei wissenschaftlichen arbeiten auf gebieten, bei denen ich mich auskenn, beobachte, ist, dass die daten auch andre interpretationen zulassen, als die verfasser der studie dann daraus ziehen - udn meist fehlt dann auch die begründung, warum sie sich für diese eine art der interpretation entschieden haben (und ich vermute, weil diese gewählte interpretation dann ihre hypothese stützt, die andren möglichen aber nicht - und somit wären hypothesen nicht nur überflüssig, sondern beeinflussen sogar das ergebnis (was genau die aussage des artikels hier ist)

    also: weg mit den hypothesen! spekulieren und dann die ergebnisse darauf hin zurechtbiegen soll wer andrer, aber kein wissenschaftler .

    • naja mir hat mal ein prof erklärt das

      tortor, vor 662 Tagen, 12 Stunden, 51 Minuten

      das das aufstellen eine hypothese und deren überprüfung das ist das wissenschafliches arbeiten ausmacht.
      nur beobachten und daraus Schlüsse ziehen ist nicht wissenschaftlich hat er gemeint.

    • tortor

      solidstate, vor 662 Tagen, 12 Stunden, 2 Minuten

      Ein klares Jain! Grundsätzlich stimmt das zwar, ist aber nicht ganz richtig.
      Ein guter Wissenschaftler beobachtet auch ohne Hypothese. Entdeckt er dabei etwas möglicherweise Neues das er sich nicht erklären kann, dann wird er versuchen eine Hypthese aufzustellen und deren Richtigkeit mit Versuchen zu überprüfen.
      Somit steht am Beginn wissenschaftlicher Arbeit immer das Beobachten und das Ziehen von Schlüssen. Darauf werden dann Hypothesen aufgebaut die überprüft werden müssen.

    • @solid und tortor

      logopezi, vor 662 Tagen, 9 Stunden, 54 Minuten

      wenn ich zb mir die frage stelle, welche hirnregionen bei aufgabe x aktiv sind, dann mache ich ein entsprechendes experiment und sehe das dann in den hirnscans, die ich entsprechend interpretiere udn mit bekanntem in bezug setze. eine hypothese brauch ich dazu mitnichten, eine hypothese würde nur dazu dienen, um zu schauen, wer von allen wissenschaftlern am öftesten richtig liegt und rätselkönig wird.

      im gegensatz zu dem jetzt hier behaupteten vorgehen, die studienergebnisse auf die hypothese hin zurechtzubiegen, ist ja sogar die achsoverpönte, aber weitverbreitete methode seriös bezeichnen, nach der man eine studie mit hypothese x (wenn überhaupt) macht, sich dann die ergebnisse anschaut und dann die hypothese so frisiert oder ganz ändert, dass sie zu den ergebnissen passt (mal gesehen bei einer studie eines meiner uniprofs - hatte dann zwar mit seiner ursprünglichen these nix mehr zu tun, weil die daten was ganz andres, hoch interessantes zeigten, bezüglich der ursprungshypothese aber kaum brauchbare aussagen lieferte, war aber eine super arbeit) hypothesen also nur als sinnfreie erfüllung einer alten konvention?

  • Ich war einst Statistiker am IHS

    chrilly, vor 662 Tagen, 13 Stunden, 13 Minuten

    Meine erste Frage an Ratsuchende Sozialwissenschafter war immer "Was soll aussa kumma?".
    Es gab am IHS ein statistisches Softwarepaket. Das gab jahrelang bei einem Korrelationsmass das falsche Vorzeichen aus. Und trotzdem ist immer das Richtige herausgekommen.
    Wer an die Objektivität von Forschung glaubt, ist hoffnungslos naiv.

    Es ähneln sich in ihrem Wesen,
    Statistik und Kaffeesudlesen.
    (Leserbrief von F.Weinpoltner vulgo Hans D. in der Krone).

  • ein gangbarer ausweg wäre

    tortor, vor 662 Tagen, 13 Stunden, 38 Minuten

    ein nach oben offenes Punktesystem einzuführen nachdem jede Publikation bewertet wird. Nur die Häufigkeit der Zitierungen zu verwenden ist bei weitem nicht ausreichend

  • solidstate, vor 662 Tagen, 16 Stunden, 23 Minuten

    "Das könnte sich auf die Qualität der Inhalte auswirken."

    Wer das geschrieben hat, der hat zumindest die letzten 2 Jahrzehnte bei uns bzw. noch viel mehr Jahrzehnte im angloamerikanischen Raum verschlafen.
    Der Zwang möglichst viele Publikationen zu erreichen, hat die Qualität der Inhalte längst massiv reduziert. Vieles das früher ein Forscher mangels Inhalt niemals in seinem Namen veröffentlicht hätte, wird heute bedenklos publiziert um nur ja auf eine möglichst hohe Quantität zu kommen. Das sind keine Einzelfälle, sondern das ist das tägliche Geschäft.
    Der Grund ist einfach: Qualität interessiert nur am Rande, und kein leicht durch lobbying und gute Beziehungen mehr als ausgeglichen werden, das Mass aller Dinge ist die Quantität. Universitäten sind zu Fabriken geworden, die statt Schrauben Publikationen produzieren. Stimmt die Produktionszahl nicht, ist die Uni schlecht bzw. "unrentabel".

    • paradeiser, vor 662 Tagen, 15 Stunden, 14 Minuten

      Dieser Aspekt läßt bemerkenswerte Rückschlüsse auf das Zustandekommen jener Arbeiten,welche die Themen Klimawandel,Umweltschutz,Ozonloch usw zum Gegenstand haben.
      Ein Konzern,welcher daraus Profit zieht,wird eben jene Unis,die entsprechend verfahren,reichlich sponsern.
      Dann liegen die gewünschten Ergebnisse vor und können von den Lobbyisten an Politiker weitergegeben werden,damit diese für Durchsetzung der von dem betreffenden Konzern angebotenen Maßnahmen sorgen.

    • djfamc, vor 662 Tagen, 14 Stunden, 44 Minuten

      Ja, dass die Klimaskeptiker auf den Zug aufspringen und wieder einmal etwas willkürlich interpretieren, um ihre Weltsicht zu bestätigen, ist jetzt wirklich kein Wunder, aber eben peinlich wie immer.

    • paradeiser

      solidstate, vor 662 Tagen, 14 Stunden, 43 Minuten

      Natürlich sind trendige Forschungsgebiete davon besonders betroffen.
      Aber es passiert überall. Am schlimmsten sind die "Fortsetzungsromane". Ein Forscher mit gutem Namen kann alles einreichen, es wird publiziert weil sich die Journals mit seinem Namen schmücken wollen. Somit kann er eine einzige Arbeit auf z.B. 8 Papers veröffentlichen, wobei sich das 1. mit der Grundidee beschäftigt, das 2. mit dem Literaturvergleich, das 3. mit dem Versuchsaufbau, das 4. mit den Problemen des Versuchsaufbaus,... Wenn es ein Journal ist, das vierteljährlich erscheint, dauert es dann 2 Jahre bis man das überraschend wertlose Ergebnis erfährt. Aber der Herausgeber ist glücklich über die vielen Papers des berühmten Forschers und der Forscher kann so seine Publikationsliste beliebig ausdehnen (auch wenn er gar nicht weiss was alles unter seinem Namen veröffentlicht wurde, weil die Arbeit von Studenten und Assistenten gemacht wurde und er gar nicht die Zeit hat alles zu lesen).

    • djfamc

      solidstate, vor 662 Tagen, 14 Stunden, 33 Minuten

      Es ist gar nicht so abwegig. Zumindest bis vor kurzem galt die Devise CO2 = Klimaerwärmung.
      Das ganze war auch noch medienwirksam und brachte Forschungsgelder.
      Wer eine Studie veröffentlichen wollte die zu einem anderen Ergebnis kam hatte praktisch keine Chance diese in einem bekannten Journal zu publizieren. Also fanden plötzlich (fast) alle nur noch Beweise für CO2 = Klimaerwärmung, egal wie obskur diese waren.
      Dazu kommt noch, das Mist Fliegen anlockt und Geld eben Menschen. Somit hatte plötzlich alles einen Zusammenhang mit dem Klimawandel, auch wenn keiner wusste warum.

      Die Frage des Klimawandels ist nicht der erste Fall wo das passiert, aber sicher der aufsehenerregendste.

    • @solidstate

      wilf123, vor 662 Tagen, 10 Stunden, 23 Minuten

      Egal um welches Thema es geht du präsentierst deine falschen Theorien zum Klimawandel.