Pseudo-Forschung für die Karriere – warum unsinnige Untersuchungsdesigns um sich greifen

Sauerkrautsaft macht fremdenfeindlich!“ – diese prägnante Überschrift erregte kürzlich Aufmerksamkeit in der Wissenschaftsgemeinde. Einen angeblichen wissenschaftlichen Beleg hierfür haben Forscher um Professor Claude Messner vom Institut für Marketing und Unternehmensführung an der Universität Bern herausgefunden und in der Zeitschrift Psychology («Nazis by Kraut: A Playful Application of Moral Self Licensing», Psychology 6, S. 1144–1149) veröffentlicht.

Mathias Binswanger, selbst Professor für Volkswirtschaftslehre an der Fachhochschule Nordwestschweiz, hat in einem Artikel, erschienen u.a. in der Weltwoche vom 4.3.2016, den Umstand aufgegriffen, dass sozialwissenschaftliche Forschung zunehmend Antworten auf Fragen liefert, die niemand gestellt hat.

Laut der Studie neigt derjenige zu fremdenfeindlichen und antisemitischen Einstellungen, der zu viel Sauerkrautsaft zu sich nimmt. Grundlage dieser „Erkenntnis“ bildete ein Experiment: Von 111 Studenten erhielt ein Drittel Sauerkrautsaft, ein Drittel Nestea und ein Drittel nichts zu trinken. In der anschließenden Befragung unterstützten die Sauerkrautsaft-Trinker häufiger Aussagen wie „Ausländer, die in der Schweiz leben, belasten unser Sozialsystem“. Dieses Ergebnis wird dann als ein Beleg für „Moral Licensing“ interpretiert. Wenn man etwas Gutes tut (in diesem Fall für die eigene Gesundheit, da Sauerkrautsaft als besonders gesund gilt), dann kompensiert man dieses Verhalten anschließend, indem man das Gefühl hat, man hätte jetzt das Recht, sich auch unmoralisch zu verhalten, und dürfe deshalb jetzt fremdenfeindlich reagieren.

Gründe für unsinnige Forschung

Binswanger nennt mehrere Gründe für diese unsinnige Forschung: In nicht wenigen Universitäten versuchen sich Professoren gegenseitig mit Publikationslisten und eingeworbenen Forschungsgeldern zu übertrumpfen, allerdings mit Projekten und Publikationen, die nur internen Reputationszwecken, der Beibehaltung des Exzellenzstatus und finanziellen Gründen dienen. Für den Rest der Menschheit hat diese Forschung nicht die geringste Bedeutung, da absoluter Nonsens. So ist die Publikation des Artikels „Nazis by Kraut“ in der Zeitschrift Psychology zwar ein messbarer Beitrag zur Exzellenz der Universität Bern, obwohl der Inhalt Nonsens ist. In dem künstlich geschaffenen, kompetitiven Umfeld der modernen Universität müssen also permanent Projekte akquiriert und Artikel publiziert werden, die keinerlei praktische oder wissenschaftliche Aussagekraft haben.

Das funktioniert aus Sicht von Binswanger vor allem aus folgenden Gründen:

  • Experimente täuschen eine empirische Exaktheit vor, die derjenigen in den Naturwissenschaften gleicht. Dabei wird übersehen, dass sich naturwissenschaftliche Experimente in den meisten Fällen unter genau kontrollierbaren Bedingungen stets wiederholen lassen. Erst wenn ein Ergebnis reproduzierbar ist, erhält es den Charakter eines empirisch erbrachten Beweises. In den Sozialwissenschaften werden Experimente aber typischerweise nur einmal unter bestimmten Bedingungen durchgeführt.
  • Experimente in Sozialwissenschaften werden von anderen Forschern praktisch nie repliziert, weil dies teuer und uninteressant ist. Je höher die Kosten eines Experiments sind, umso geringer die Wahrscheinlichkeit, dass ein anderer Forscher das gleiche Experiment noch einmal durchführt. Renommierte Forscher können sich deshalb durch besonders teure und aufwendige Experimente de facto dagegen absichern, dass ihr Ergebnis durch ein weiteres Experiment unter gleichen Bedingungen falsifiziert wird. Es bringt für einen Forscher im Allgemeinen viel mehr Prestige, wenn er sich ein neues Experiment für eine andere Hypothese ausdenkt.
  • Experimente erlauben völlig willkürliche Settings (als raffinierte Forschungsdesigns bezeichnet), mit denen man gewünschte Resultate erreichen kann. Hypothetische Situationen liefern hypothetische Ergebnisse. Also lässt sich praktisch jede Hypothese durch ein ausgeklügeltes Experiment bestätigen. Und wenn das Experiment nicht zum erwarteten Ergebnis führt, wird das Setting eben so lange angepasst, bis sich das Wunschresultat doch noch einstellt. Nicht überraschend kommt deshalb bei praktisch allen Experimenten immer das heraus, was die Forscher vorher als Hypothese formuliert haben.

Laut Binswanger ist insbesondere die Psychologie so zu einem Massenprogramm von beliebigen Experimenten verkommen.
Eine großangelegte Analyse unter der Leitung des Psychologen Brian Nosek hat vor kurzem versucht, das Problem zu beziffern. Die Untersuchung war von der Open Science Collaboration organisiert worden. Die Ergebnisse sind im Fachjournal Science erschienen (Estimating the reproducibility of psychological science): Demnach ließen sich von 100 Studien, die 2008 in drei Psychologie-Journalen erschienen waren, nur 39 bestätigen. Zu den nicht validierten Studien zählte u.a. eine Studie die zu dem Schluss kam, dass Menschen nach dem Händewaschen mildere moralische Urteile als vorher fällten oder dass Studenten in den USA an den Gesichtern der Chefs großer Unternehmen erkennen könnten, wie profitabel die Firma ist. Diese Ergebnisse scheinen so unsinnig, dass man sich fragt, wie Forscher auf derart unsinnige Hypothesenaufstellungen für ihre Versuchsanordnungen überhaupt kommen.

Angesichts der geringen Reproduzierbarkeit solcher Studien ist klar, dass ein Großteil der psychologischen Forschungsdesigns und Ergebnisse zumindest hinterfragt werden sollte. Und mittlerweile scheint sich die Psychologie dessen auch bewusst zu sein.

Die Experiments-Euphorie

Laut Binswanger sind aber auch andere Sozialwissenschaften von einer nicht gerechtfertigten Experiment-Euphorie erfasst. Das trifft insbesondere auf die Wirtschaftswissenschaften zu. Dort werden Experimente als eine Wiederannäherung an die Realität gefeiert, zumal sich die herkömmliche Ökonomie durch realitätsfremde Annahmen oftmals als obsolet herausstellte. Aber auch die experimentelle Ökonomie wird dadurch zu Science-Fiction, dass in Labors raffinierte Pseudorealitäten geschaffen werden, welche sich an den gewünschten Forschungsergebnissen orientieren.
Das Durchbrechen des Trends zu immer mehr unsinniger Forschung erfordert Offensichtliches, das heißt, Exzellenz darf nicht mehr anhand der Zahl der Publikationen (bzw. Zitationen) und Projekte gemessen werden. Stattdessen muss der Inhalt wieder im Vordergrund stehen. Und zweitens geht es darum, die Reproduzierbarkeit der Resultate von Experimenten von vorneherein sicherzustellen. Diese sollten erst dann in angesehenen Zeitschriften publizierbar sein, wenn sie unter ähnlichen Bedingungen mehrfach reproduziert werden konnten. Entsprechende Standards müssen jedoch erst noch festgelegt werden.