Wie zuverlässig ist Crowdsourcing-Research?

In dem Artikel „Has the Credibility of the Social Sciences Been Credibly Destroyed? Reanalyzing the ‚Many Analysts, One Data Set‘ Project“ (erschienen im Open Access Journal der American Sociological Association) re-analysieren Katrin Auspurg und Josef Brüderl die Daten eines großen sozialwissenschaftlichen Crowdsourcing-Projektes. In diesem Projekt waren unterschiedliche Teams von Wissenschaftler:innen angetreten, um mit denselben Daten dieselbe Frage zur Ungleichbehandlung im Profi-Sport zu beantworten. Das Projekt sorgte für viel Aufmerksamkeit – variierten die Ergebnisse und Antworten der unterschiedlichen Teams doch beträchtlich, und dies trotz gleicher Datengrundlage (ein Kommentar in Nature findet sich hier). Katrin Auspurg und Josef Brüderl zeigen nun, dass die große Unsicherheit in den Ergebnissen einer sehr unklaren Fragestellung geschuldet war, die notwendig unterschiedliche Analysestrategien und Antworten zur Folge hatte. Mit mehr Rigorous Research, beginnend mit einer präzisen Forschungsfrage, einer klar definierten Analysestrategie bis hin zu Robustheits- und Sensitivitätsanalysen, wären weitaus zuverlässigere Antworten möglich, so die Autoren. Oder noch weiter gedacht: Open Science im Sinne von transparenten (Robustheits-)Analysen könnten die Belastbarkeit von Ergebnissen und damit das Ansehen der Soziologie steigern. Somit regt der Artikel auch Diskussionen über Best Practice in den Sozialwissenschaften an.

Der volle Artikel (einschließlich der zugrunde liegenden Daten und Analysefiles) ist hier verfügbar:

https://journals.sagepub.com/doi/full/10.1177/23780231211024421

Für die Diskussion auf Twitter:

https://sage.altmetric.com/details/109256664/twitter