Credibility of Observational Social Research (META-REP)

Katrin Auspurg ist Mitantragstellerin und Programmausschussmitglied im DGF-geförderten Schwerpunktprogramm „META-REP: A Meta-scientific Programme to Analyse and Optimise Replicability in the Behavioural, Social, and Cognitive Sciences".

META-REP zielt darauf ab, die Replizierbarkeit, Robustheit und Generalisierbarkeit wissenschaftlicher Ergebnisse zu analysieren. Im Zentrum stehen drei Fragen:

• Was gilt in unterschiedlichen wissenschaftlichen Disziplinen überhaupt als „Replikation" und wie replizierbar sind publizierte Ergebnisse?
• Warum variieren Replikationsraten innerhalb und zwischen Disziplinen?
• Wie lässt sich Replizierbarkeit nachhaltig verbessern?

Das Schwerpunktprogramm leistet mit der Untersuchung dieser Fragen einen grundlegenden Beitrag zum Verständnis von Replizierbarkeit als zentralem Qualitätskriterium empirischer Forschung.

Eine ausführliche Beschreibung des Schwerpunktprogramms META-REP finden Sie auf der Seite des Departments Psychologie (LMU).

Projektphase 1 (2022-2025)

"Enhancing Reproducibility and Robustness of Observational Social Science Research"

Im Rahmen des DFG Schwerpunkt-Programms META-REP haben Prof. Auspurg und Dr. Schneck erfolgreich DFG-Förderung für ein Teilprojekt zur Robustheit und Sensitivität von Ergebnissen mit nicht-experimentellen Daten in den Sozialwissenschaften eingeworben.

Ziel dieses Projektes ist es, Diagnose-Tools (insbesondere basierend auf computerunterstützten, statistischen Analysen wie sog. „multiverse" bzw. „multi-model" Analysen) für die Robustheit von Ergebnissen gegenüber unterschiedlichen Modell- und Stichprobenspezifikationen zu entwickeln.

In einem zweiten Schritt sollen diese Werkzeuge dann zu einer Bestandsaufnahme der Robustheit und damit Glaubwürdigkeit von Artikeln verwendet werden, die in führenden sozialwissenschaftlichen Zeitschriften publiziert wurden und/oder auf Daten des European Social Surveys (ESS) beruhen. Vorab wird geprüft, ob sich die Ergebnisse der Artikel anhand des Originalcodes der Autor:innen reproduzieren lassen. Zudem soll diese Bestandsaufnahme mit ersten Analysen zu Risiko- und Anreizstrukturen für mehr oder weniger glaubhafte Sozialwissenschaft verbunden werden (basierend auf Theorien aus der analytischen Soziologie und quantitativen Wissenschaftsforschung).

Ein weiteres Projektziel ist es, evidenzbasiert Vorschläge für Maßnahmetools zur Steigerung von robusten und glaubhaften Ergebnissen im Rahmen von mehr transparenter „open" Science zu entwickeln (u.a. in Form von neuen Publikationsformaten).

Projektphase 2 (2025-2028)

"Enhancing the Robustness of Observational Social Science Research by Computational Multi-Model Analyses"

Das Teilprojekt führt Analysen zur Reproduzierbarkeit und Robustheit von Artikeln durch, welche dieselben „large-N“ Beobachtungsdaten verwenden (European Social Survey). Die Artikel unterscheiden sich aber in Disziplinen, Zeitschriften, Autor*innenkonstellationen und anderen Faktoren, die vermutlich mit unterschiedlich hohen Reproduktionsraten zusammenhängen.

Unser Projekt geht in vier Schritten vor:

• Während der ersten Projektphase haben wir (A) die Zugänglichkeit von Replikationsmaterialien für etwa 1.200 Artikel in einem „openess audit“ geprüft (Anfrage bei Autoren nach der Verfügbarkeit von Daten sowie Analysecode).
• Anschließend haben wir (B) bei einer zufälligen Teilmenge von 100 Artikeln Analysen zur Reproduzierbarkeit durchgeführt (lassen sich die Ergebnisse der Autoren reproduzieren, wenn man ihren Code auf ihre Daten anwendet).
• Für die zweite Projektphase planen wir (C), für diese Artikel „Korrektheits-/Kongruenzprüfungen“ durchzuführen (Abwesenheit von Kodierfehlern, „Kongruenz“ zwischen dem, was in den Artikeln berichtet und mit dem Analysecode tatsächlich durchgeführt wird).
• Im letzten Schritt widmen wir uns (D) Robustheitsanalysen (bleiben die Ergebnisse bei scheinbar marginalen Änderungen von Datenaufbereitungen oder -analysen stabil, wie etwa Änderungen der Gewichtung, Imputation oder Outlier-Behandlung).

Wir streben ein umfassendes Audit möglicher Bedrohungen transparenter und glaubhafter Forschung an. Im Gegensatz zu bestehenden Audits berücksichtigen wir Publikationen sowohl mit hohem als auch niedrigem Impact. Zudem ermöglicht unser Audit Vergleiche zwischen Disziplinen mit unterschiedlich starker Umsetzung der „FAIR-Prinzipien“ (findable, accessible, interoperable, reusable materials). Auf diese Weise können Forschungsbereiche identifiziert werden, bei denen Maßnahmen zur Verbesserung besonders angebracht und effektiv erscheinen. Die drei eng miteinander verbundenen, übergreifenden Forschungsziele für die zweite Projektphase sind:

1. Abschluss von Arbeiten zur Analyse des Ausmaßes reproduzierbarer und robuster Ergebnisse auf den vier Stufen unseres Audits (als Beitrag zur META-REP „What“ Frage);
2. Analyse von Bedingungen für unterschiedliche Reproduzierbarkeit und Robustheit, wozu Merkmale auf Artikel-, Autoren- und Zeitschriftenebene analysiert werden (als Beitrag zur META-REP „Why“ Frage); und
3. Entwicklung einfach implementierbarer Maßnahmen (wie z.B. Computer-Code), mit denen sich Reproduzierbarkeit und Robustheit verbessern lassen (als Beitrag zur META-REP „How“ Frage).