Problem angekommen

Gerade wurden in einer Replikationsstudie Studien aus der Psychologie getestet mit dem Ergebnis, dass die Hälfte nicht replizierbar war. Hat Sie das überrascht? Felix Schönbrodt : Das bestätigt, was bereits in früheren Replikationsprojekten in der Psychologie herausgefunden wurde. Aber natürlich ist das Ergebnis beunruhigend, weil es das Vertrauen in die publizierte Literatur vermindert. Viele der Studien, die bislang in Replikationsprojekten untersucht wurden, zählen zum Lehrbuchwissen.

Welche Lehren lassen sich aus diesen Replikationsstudien für das Fach Psychologie ziehen? Um robustere Ergebnisse zu bekommen, brauchen wir in der Psychologie größere Stichproben. Typischerweise werden Studien in unserem Fach oft mit 20 bis 30 Versuchspersonen pro experimenteller Bedingung gemacht. Aus statistischen Analysen wissen wir aber, dass eher 200 bis 400 Personen nötig wären oder noch mehr. Es wird in Zukunft wahrscheinlich mehr Kooperationen und Forschungsverbünde geben, um das zu ermöglichen.

Und wie ließe sich mehr Transparenz erreichen?Bislang ist es fast nicht möglich, auf die Rohdaten von Studien zuzugreifen. Dadurch lassen sie sich natürlich nicht nachprüfen. Das ist auch deswegen schlecht, weil sich statistische Analysemethoden weiterentwickeln. Hätten man die Rohdaten, könnte man also eine verbesserte Methode auf alte Daten anwenden, und möglicherweise zu besseren Ergebnissen kommen. Auch das Material, das in einer Studie verwendet wurde, zum Beispiel die Fragebögen, sollte zugänglich sein, damit sie repliziert werden kann.

Eine weitere Maßnahme im Sinne einer offenen Wissenschaft ist eine Präregistrierung: Dabei werden bereits vor der Datenerhebung die Ziele eines Forschungsprojekts öffentlich einsehbar festgeschrieben. Das erlaubt, die eigentlichen Forschungsziele von überraschenden und unerwarteten Ergebnissen zu trennen. Letztere sind auf der einen Seite zwar sehr spannend, da echte Innovation häufig von solchen Zufallsbefunden ausgeht. Auf der anderen Seite sind sie aber oft einfach nicht-replizierbare Zufallsschwankungen. Um beides unterscheiden zu können, müssen sich überraschende Ergebnisse erst in unabhängigen Untersuchungen bewähren. Bei klinischen Studien in der Medizin ist das Verfahren der Präregistrierung schon üblich, und auch in der Psychologie nimmt es nun Fahrt auf. Die aktuelle „Many Labs 2“ Replikationsstudie setzt zum Beispiel alle diese Merkmale guter wissenschaftlicher Praxis um: Sämtliche Replikationen wurden präregistriert und durchliefen vor der Datenerhebung ein ausführliches Peer-Review-Verfahren. Und jetzt, mit der Veröffentlichung des Artikels, sind alle Studienmaterialien, Rohdaten und Analyseskripte frei verfügbar. So können die Ergebnisse nachgeprüft und die Daten für viele weitere spannende Fragestellungen genutzt werden.

Hat nur das Fach Psychologie ein Problem mit der Replizierbarkeit von Studien? Wie ist das bei anderen Fächern? Als die Ergebnisse der ersten Replikationsprojekte in der Psychologie vorgestellt wurden, gab es anfangs viel Häme. Aber das Fach hat das Problem angenommen. Es gibt inzwischen keine größere Konferenz, auf der die Themen Open Science und Replizierbarkeit von Studien nicht thematisiert werden und an Lösungen gearbeitet wird. Die Psychologie wird mittlerweile von Wissenschaftlerinnen und Wissenschaftlern anderer Disziplinen als Vorreiter wahrgenommen, denn das Problem gibt es auch in anderen Fächern, das weiß man zum Beispiel aus Replikationsstudien in anderen Fächern.

An der LMU gibt es seit 2017 ein Open Science Center – was macht das genau? Das OSC ist ein Zusammenschluss von momentan 38 Forscherinnen und Forschern aus zwölf Fächern. Wir wollen das Thema Forschungstransparenz und Vertrauenswürdigkeit der Forschung nach vorne bringen, auch über die LMU hinaus. Zum einen setzen wir auf Weiterbildung, organisieren Workshops und Vorträge und bieten auf unserer Webseite Folien und Lehrmaterial an unter freier Lizenz, sodass sie jeder in seinen Kursen verwenden kann. Ein weiterer Aspekt an dem wir arbeiten, ist Meta-Science, also Forschung über Forschung. Zum Beispiel wollen wir interdisziplinär untersuchen, welche Anreizsysteme eine gute wissenschaftliche Praxis fördern. Es wird bereits seit Längerem diskutiert, dass das aktuelle Anreizsystem in dieser Hinsicht verbesserungsbedürftig ist, weil Quantität, also die Menge an Publikationen, belohnt wird. Hier können institutionelle Maßnahmen helfen. Bei Berufungen im Department Psychologie an der LMU zum Beispiel spielt das Thema Open Science und die Qualität von Publikationen seit 2015 eine feste Rolle.

Was steckt hinter dem Begriff „slow science“, der in diesem Zusammenhang öfters zu hören ist? Im Grunde führen alle Maßnahmen, durch die die Qualität und Replizierbarkeit erhöht wird, dazu, dass Forschen langsamer wird – was der Begriff „slow science“ auf den Punkt bringt. Das ist einerseits gut, denn inzwischen wird in der Wissenschaft so viel publiziert, dass niemand mehr alle relevante Literatur in seinem Fachgebiet rezipieren kann. Wenn ich aber andererseits nur dann eine Professur bekomme, wenn ich möglichst viele Publikationen habe, entsteht ein Spannungsfeld, gerade für Nachwuchswissenschaftler. Die Open-Science Bewegung ist stark von jungen Wissenschaftlerinnen und Wissenschaftlern getrieben. Sie haben den Anspruch, sehr gute Forschung zu machen. Doch wenn sie nach dem alten System primär anhand der Menge der publizierten Arbeiten beurteilt werden, besteht die Gefahr, dass sie aus dem System fliegen. Ich sehe es als eine der größten Herausforderungen momentan, dieses Spannungsfeld aufzulösen, weil wir sonst die guten Leute verlieren.

Erkennen Sie eigentlich inzwischen – nachdem Sie sich so viel mit der Replizierbarkeit von Studien beschäftigen – ob eine Studie etwas taugt?Ich traue es mir zu, es gibt manche statistische Marker und natürlich inhaltliche Plausibilität, aber im Grunde ist es mehr ein Bauchgefühl. Parallel zu der aktuellen Replikationsstudie wurde eine Studie veröffentlicht, in der ein Vorhersagemarker entwickelt wurde: Wissenschaftler konnten darauf wetten, welche der 28 Studien sich replizieren lassen und welche nicht. Alle einzelnen Wetten zusammengenommen ergaben eine Art Wettkurs und dieser sagte sehr gut voraus, welche Studien sich replizieren ließen und welche nicht. Wissenschaftler, die in dem Feld sind, scheinen eine gute Intuition zu haben, wobei in der Studie weniger die Einzelnen mit ihrem Votum recht hatten, sondern die Gruppe mit ihrer Schwarmintelligenz richtig lag.

PD Dr. Felix Schönbrodt ist Akademischer Rat an der der Fakultät für Psychologie und Pädagogik der LMU und Geschäftsführer des 2017 an der LMU gegründeten Open Science Centers.

Mehr zum Thema auf lmu.de : Psychologie: Studien auf dem Prüfstand LMU Open Science Center: Veranstaltungen im Dezember Responsible Research: Open Science Centers an der LMU eröffnet

Zu den Studien : „Many Labs 2“ Replikationsstudie: Klein, R. A. et al. (2018). Many Labs 2: Investigating variation in replicability across sample and setting. Advances in Methods and Practices in Psychological Science. doi: 10.31234/osf.io/9654g „Many Labs 2“ Replikationsstudie: die Rohdaten Klein, R. A. et al. (2018). Many Labs 2: Investigating variation in replicability across sample and setting. Advances in Methods and Practices in Psychological Science. doi: 10.31234/osf.io/9654g Forsell, E. et al. (2018). Predicting replication outcomes in the Many Labs 2 study. Journal of Economic Psychology. doi:10.1016/j.joep.2018.10.009