Is groundbreaking research disruptive? The covariation of disruption indices with researchers’ self-assessments

Bringt die moderne Wissenschaft immer weniger große Durchbrüche hervor? Diese viel diskutierte These wurde in einem viel beachteten Artikel in Nature vertreten (siehe https://doi.org/10.1038/s41586-022-05543-x). Grundlage war ein bibliometrisches Maß, das anhand von Zitationsmustern erfassen soll, ob eine Publikation ältere Forschung verdrängt und neue wissenschaftliche Wege eröffnet. Christian Leibel (LMU München, Max-Planck-Gesellschaft), Alexander Tekles (Universität Passau), Dag W. Aksnes (NIFU) und Lutz Bornmann (Max-Planck-Gesellschaft) prüfen in einer neuen Publikation in Quantitative Science Studies, ob dieses Maß tatsächlich mit dem übereinstimmt, was Forschende selbst als bahnbrechende Forschung ansehen.

Die Studie verknüpft bibliometrische Daten mit einer Befragung von Wissenschaftlerinnen und Wissenschaftlern. Die Befragten bewerteten eigene Publikationen unter anderem danach, wie wichtig und originell sie diese einschätzen. Dadurch lässt sich untersuchen, ob das Zitationsmaß jene Arbeiten identifiziert, die Forschende selbst als besonders bedeutende Beiträge zur Wissenschaft betrachten.

Die Ergebnisse zeigen, dass Forschende bahnbrechende Forschung vor allem als Kombination aus hoher wissenschaftlicher Bedeutung und Originalität verstehen. Das untersuchte bibliometrische Maß stimmt jedoch kaum mit diesen Einschätzungen überein. Publikationen, die Forschende selbst als bahnbrechend einstufen, erhalten im Durchschnitt keine höheren Werte auf dem untersuchten Zitationsmaß. Teilweise schneiden sie sogar schlechter ab als andere Publikationen.

Die Autorinnen und Autoren schließen daraus, dass große Vorsicht geboten ist, wenn solche Kennzahlen zur Bewertung wissenschaftlicher Durchbrüche verwendet werden. Die These, dass moderne Wissenschaft immer weniger bahnbrechend sei, sollte daher nicht allein auf Zitationsmaßen beruhen, deren Aussagekraft noch unklar ist. Für die Forschungsevaluation bedeutet dies: Bevor bibliometrische Indikatoren genutzt werden, um wissenschaftliche Qualität oder Innovationskraft zu bewerten, muss sorgfältig geprüft werden, ob sie tatsächlich das messen, was sie zu messen versprechen.