Code sharing and reproducibility in survey-based social research: Evidence from a large-scale audit

Vergrößern

Wie bereitwillig teilen Forschende Analysecode? Und lassen sich mit diesem Code publizierte Studienergebnisse reproduzieren?

Diesen Fragen gehen Daniel Krähmer, Laura Schächtele und Katrin Auspurg (LMU München) in einer gemeinsamen Publikation in Royal Society Open Science nach. In ihrer Studie zeigen die AutorInnen, dass sozialwissenschaftliche Forschungsergebnisse oftmals nicht reproduzierbar sind – obwohl Reproduzierbarkeit gemeinhin als Grundvoraussetzung für die Glaubwürdigkeit und Verlässlichkeit wissenschaftlicher Forschung gilt.

Basierend auf über 1000 Artikeln, die Daten des European Social Survey (ESS) verwenden, zeigen die AutorInnen, dass lediglich 35% der Forschenden ihren Code auf Anfrage teilen. Doch selbst wenn Code verfügbar ist, sind Ergebnisse noch lange nicht reproduzierbar: Von 699 untersuchten Ergebnissen ist lediglich die Hälfte (51%) numerisch reproduzierbar. Die andere Hälfte ist entweder technisch nicht reproduzierbar (23%) oder liefert abweichende Resultate (26%).

Obwohl die Befunde der Studie ernüchternd sind, besteht Grund zur Hoffnung.

Viele Abweichungen zwischen originalen und reproduzierten Ergebnissen fallen vergleichsweise gering aus und stellen daher die ursprünglichen Studienergebnisse nicht zwingend infrage. Reproduktionsprobleme ließen sich zudem oftmals durch bessere Dokumentation und Archivierung von Studienmaterialien – insbesondere Code und Daten – vermeiden. Die Studie formuliert konkrete Empfehlungen für AutorInnen, HerausgeberInnen, Journals sowie andere wissenschaftliche Stakeholder, um die Offenheit und Reproduzierbarkeit sozialwissenschaftlicher Forschung nachhaltig zu verbessern.

Krähmer, D., Schächtele, L., & Auspurg, K. (in press). Code sharing and reproducibility in survey-based social research: Evidence from a large-scale audit. Royal Society Open Science. https://doi.org/10.1098/rsos.251997

Mehr aus dem LMU Newsroom