Philipp sagt:
Fälle von Fälschungen in der Wissenschaft gibt es viele – mir fällt als erstes Hwang Woo-suk ein, der ca. 2005 eine komplett gefälschte Studie über auf Patienten angepasste embryonale Stammzelllinie in Science veröffentlichte.
Ernst Haeckel hat damals bei seinen Zeichnungen von Embryonen auch gut betrogen, wollte er doch beweisen, dass die Ontogenie (die Entwicklung des Embryos) die Phylogenie (die Stammesgeschichte) wiederholen sollte. Diese Theorie nannte man damals das Biogenetische Grundgesetz – ein menschlicher Embryo sollte demnach in seiner Entwicklung beim Einzeller starten, dann zum Fisch werden, dann zum “niedrigen” Säugetier und dann zur “Krone der Schöpfung”, dem Menschen.
Um diese Theorie zu belegen, kopierte Haeckel einfach Zeichnungen von Hund/Huhn/Mensch-Embryonen voneinander, sodass der Eindruck entstand, die Embryonen würden zu gleichen Zeitpunkten zu Beginn der Embryonalentwicklung genau gleich aussehen. Was sich später natürlich als Quatsch herausstellte. Trotzdem sind Haeckels Zeichnungen bis heute sehr beliebt – sie sind ja auch wunderschön. Stimmen ja auch meistens.
Aber ich wollte ja über eine Veröffentlichung schreiben – “How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data” von Daniele Fanelli, erschienen in PLos ONE.
21 Veröffentlichungen mit Befragungen von Wissenschaftlern wurden in dieser Meta-Analyse zusammengefasst. Fragen, die sich nicht direkt mit Fälschungen befassten, wurden ausgelassen (z.B. Plagiarismus).
Wie sehen die Ergebnisse aus?
1,97% aller befragten Wissenschaftler gaben zu, schonmal Daten gefälscht oder manipuliert haben! Ganz schön hoch, vor allem wenn man bedenkt, dass die Zahl in der Realität wahrscheinlich höher ist (In den einzelnen Studien schwankt der Wert zwischen 0,3% und 4,9%).
33,7% gaben zu, sich schonmal “questionable research practices” bedient zu haben – darin enthalten sind Schlampigkeit und kleinere Vergehen.
Man sieht auch schön die Auswirkungen der Formulierung der Frage – befragte Wissenschaftler geben eher zu, Daten modifiziert zu haben, als falsche Daten publiziert zu haben.
Natürlich beobachten mehr Wissenschaftler andere Wissenschaftler beim Fälschen als sich selbst – 14% wollen schonmal einen Kollegen beim Betrügen beobachtet haben. (14%-1,97% =12.02%; wie geht das denn..)
Hatte das ganze Gelüge Auswirkungen? Auch das wurde in der Studie berücksichtigt –
ungefähr die Hälfte der befragten Wissenschaftler gab zu, etwas gegen die Fälschungen unternommen zu haben. Was genau das Ergebnis dieser Aktionen war, wurde in keiner der Studien nachgefragt.
In einer der beinhalteten Studien (Gardner W, Lidz CW, Hartwig KC (2005) Authors’ reports about research integrity problems in clinical trials.) kam sogar heraus, dass 29% aller zugegebenen Fälschungen nie ans Tageslicht kamen!
Ich hätte nicht gedacht, dass diese Zahlen so hoch sind – der normale Peer Review Prozess scheint da nicht wirklich zu greifen. Experimente müssen nachvollziehbar sein, das heißt noch lange nicht, dass sie jemand wirklich im Labor nachstellt.
Fanelli, D. (2009). How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data PLoS ONE, 4 (5) DOI: 10.1371/journal.pone.0005738
Durch Euch auf Arbeit von Fanelli aufmerksam geworden, habe ich diese in mein Seminar “Meta-Analyse” eingebaut und die Studierenden sowohl den Ausgangsartikel als auch Eure Zusammenfassung lesen und kommentieren lassen. Eine Zusammenfassung der (gelungenen!) Seminardiskussion findet sich nachfolgend:
Nach Abbildung 1 wurden nur 18 Studien in die Meta-Analyse aufgenommen.
Die Streuung bei den Ausgangsstudien könnte man noch um eine Darstellung der Unsicherheit (Konfidenzintervall) des Gesamtschätzers ergänzen. Dann würde die Aussage lauten: “1,97% (95%-CI: 0,86-4.45) aller befragten Wissenschaftler gaben zu, schonmal Daten gefälscht oder manipuliert haben!”
Diese Rechnung lässt sich nicht nachvollziehen. Außerdem sind es 14.12% der Wissenschaftler, die entsprechendes Fehlverhalten bei anderen schon mal beobachtet haben.
Insgesamt haben wir festgestellt, dass dieser Beiträg nur auf einen Teil der zentralen Befunde des Fanelli-Artikels darstellt und die Stärken einer Meta-Analyse etwas vernachlässigt. Der Vorteil einer Meta-Analyse ist jedoch nicht nur das Schätzen einer mittleren Gesamtstatistik, sondern sie versucht auch Antworten auf die Frage zu geben, wie groß die Heterogenität der Ausgangsstudien ist und ob die Gesamtstatistik die Verteilung der Befundstatistiken überhaupt sinnvoll beschreiben kann. Ein (kleiner) Teil der Fanelli-Studie beschäftigt sich damit, diese Befundheterogenität mit angemessenen statistischen Verfahren aufzuklären. So zeigt sich bspw., dass in medizinischen Untersuchungen höhere Prävalenzquoten für wissenschaftliches Fehlverhalten als in anderen Disziplinen berichtet werden.