Monitoring

Die im KB aufbereiteten und gehosteten Datenbestände waren und sind Datengrundlage für eine Reihe von Evaluierungs- und Beobachtungsprojekten von deutschlandweiter Bedeutung, darunter:

Projekt DEAL

Im Auftrag der Allianz der deutschen Wissenschaftsorganisationen und unter Federführung der Hochschulrektorenkonferenz verhandelt Projekt DEAL mit den größten kommerziellen Verlagen für die deutschen wissenschaftlichen Einrichtungen transformative "Publish and Read"-Vereinbarungen für wissenschaftliche Zeitschriften. Dabei wird darauf abgezielt, alle Publikationen von Autor*innen aus deutschen Einrichtungen automatisch Open Access zur Verfügung zu stellen, den DEAL-Teilnehmereinrichtungen einen dauerhaften Volltextzugriff auf das gesamte Portfolio der elektronischen Zeitschriften der ausgewählten Verlage zu ermöglichen und eine angemessene Bepreisung nach einem einfachen, zukunftsorientierten Berechnungsmodell zu erwirken, das sich am Publikationsaufkommen der DEAL-Teilnehmereinrichtungen orientiert ("Publish and Read-Modell"). Bislang konnten DEAL-Verträge mit den Verlagen Wiley und Springer Nature abgeschlossen werden. Die Vereinbarung mit Springer Nature gilt als der bislang weltweit größte Open-Access-Transformationsvertrag. Um das zu erwartende Publikationsaufkommen im Rahmen der DEAL-Verträge ermitteln und das "Publish and Read-Modell" entwickeln zu können, wurde im Vorfeld der Vertragsverhandlungen auf die durch das Kompetenzzentrum Bibliometrie betriebene qualitätsgesicherte Dateninfrastruktur zurückgegriffen.

Open Access Monitor

Im Projekt "OAM – Open Access Monitoring" (FKZ 16OAMO001) fördert das Bundesministerium für Bildung und Forschung die Weiterentwicklung und den Betrieb des Open Access Monitors Deutschland (OAM) durch die Zentralbibliothek des Forschungszentrums Jülich mit einer Laufzeit vom 01.09.2020 bis zum 31.08.2023. Der initiale Aufbau des Open Access Monitors wurde im Rahmen des Ideenwettbewerbs des Bundesforschungsministeriums zur Förderung des freien Informationsflusses in der Wissenschaft im Projekt "Synergien für Open Access – Open Access Monitoring – SynOA" (FKZ 16OA018) gefördert.

Der OAM erfasst das Publikationsaufkommen deutscher akademischer Einrichtungen in wissenschaftlichen Zeitschriften. Durch Analysen von Subskriptionsausgaben und (Open Access-) Publikationsausgaben wird dabei die Transformation des Publikationswesens in den Open Access beobachtet und unterstützt. Dazu werden die Daten bestehender Projekte zusammengefasst und ausgeweitet, in einer abgestuften Anwenderoberfläche nutzbar gemacht und in wissenschaftlichen Publikationen veröffentlicht. Der Open Access Monitor ist unter https://open-access-monitor.de/ frei zugänglich.

Die Publikationsdaten des OAM stammen u.a. von Clarivate (Web of Science). Die Daten werden zwar lokal gehalten, als rechtliche und finanzielle Grundlage hierfür dient die Mitgliedschaft des Forschungszentrums Jülich im Kompetenzzentrum Bibliometrie.

Datennutzung KB für das CHE-Ranking

Das Centrum für Hochschulentwicklung führt für die Wochenzeitung Die ZEIT regelmäßig vielfältige Untersuchungen von Fachbereichen an deutschen Hochschulen durch. Das daraus resultierende Hochschulranking (aktuell: CHE Ranking 2021/22) liefert Studieninteressierten eine Fülle von Merkmalen zu den gewünschten Fächern und Hochschulen, die sie bei der Auswahl eines Studienfaches und –ortes unterstützen können.

Zu den Merkmalen gehören u.a. die wissenschaftliche Leistung und deren Wahrnehmung, also Publikationen der Fachbereiche und die darauf erhaltenen Zitierungen. Diese Daten erhebt die Zentralbibliothek des Forschungszentrums Jülich auf Basis der KB-Datenbankinfrastruktur in einem dreijährigen Turnus für folgende Fächer (Stand 2021): Elektrotechnik und Informationstechnik, Geographie, Geowissenschaften, Medizin, Zahnmedizin und Psychologie. Grundlage für die Ermittlung der jeweiligen Hochschulpublikationen ist die Institutionenkodierung des Kompetenzzentrums, die für die Publikationen deutscher Einrichtungen aus den Datenbanken Web of Science und Scopus zur Verfügung steht.

Die Publikationen der Hochschulen werden mit Hilfe der Autorenadressen den zu untersuchenden Fachbereichen in einem manuellen Verfahren zugeordnet. Das Ergebnis im CHE-Ranking beinhaltet jeweils an der Anzahl der Wissenschaftler*innen (bzw. Professor*innen) relativierte Zahlen und wird in drei Gruppen dargestellt (vgl. https://methodik.che-ranking.de/datenerhebung/bibliometrische-analyse/).

Monitoring des Asiatisch-Pazifischen Forschungsraums (APRA)

Der asiatisch-pazifische Raum ist neben Europa und Nordamerika die dritte führende Weltregion der Wissens- und Innovationsproduktion. Dabei beobachten wir schon seit Jahren eine zunehmende regionale Integration der Forschungsarbeiten zwischen den Ländern. Durch die wachsende Kooperation innerhalb des asiatisch-pazifischen Raums verringert sich der Stellenwert der Kooperation mit den USA oder europäischen Ländern. Die deutsche wissensbasierte Ökonomie sollte bestmöglich über Forschungs- und Innovationstrends in anderen Teilen der Welt informiert sein.
Diesem Informationszweck dient das Monitoring des Asiatisch-Pazifischen Forschungsraums mit Schwerpunkt China, das im Rahmen eines Auftrags des Bundesministeriums für Bildung und Forschung (BMBF) durchgeführt wird. Nach der Veröffentlichung eines ersten Berichts im Mai 2019 bietet die neue Publikation eine zweite umfangreiche Bestandsaufnahme. Herausgeber sind der DLR Projektträger, das Fraunhofer-Institut für System- und Innovationsforschung ISI, das Leibniz-Institut für Globale und Regionale Studien (GIGA) sowie der Deutsche Akademische Austauschdienst e.V. (DAAD). Ergänzend zu dem Dokument wurde ein umfangreicher bibliometrischer und patentometrischer Datensatz erstellt, der beim DLR Projektträger abrufbar ist.
Die Publikation enthält Auswertungen verschiedener Forschungs- und Bildungsindikatoren – darunter Ausgaben, (Ko-)Publikationen und (Ko-)Patente – in ausgewählten, für die Forschungs- und Innovationskooperation mit Deutschland relevanten Ländern. Thematische Schwerpunkte des diesjährigen Berichts sind Lebenswissenschaften, Materialforschung sowie tertiäre Bildungsknotenpunkte (Education Hubs). Im diesjährigen Bericht zur Entwicklung des chinesischen Forschungs- und Bildungssystem liegt der Fokus auf der Chinesisch-Europäischen Kooperation.
Ein Folgebericht mit den Schwerpunktthemen Indien, internationale Kooperation sowie chinesische Regionen befindet sich aktuell in Fertigstellung und wird in Kürze publiziert.
Aktuelle Publikation: 2. Bericht (2020).

Studienserie Wissenschaft Weltoffen

Internationalisierung ist eine Voraussetzung für die erfolgreiche Entwicklung von Lehre und Forschung an Universitäten. Aus diesem Grund werden regelmäßig empirische Erhebungen durchgeführt, um die internationale Ausrichtung des deutschen Hochschulsystems zu erfassen und Entscheidungsträger und die Gesellschaft umfassend zu informieren. Wissenschaft Weltoffen ist eine seit 2014 gemeinschaftlich vom Deutschen Akademischen Austauschdienst und dem Deutschen Zentrum für Hochschul- und Wissenschaftsforschung jährlich durchgeführte Studienserie, welche die Dateninfrastruktur des KB nutzt. Der Kerngegenstand der Studien sind statistische Indikatoren der internationalen Mobilität von Studierenden und Wissenschaftlern unter Berücksichtigung von aktuellen Schwerpunktthemen. Wissenschaft Weltoffen ist eine zentrale Informationsquelle für Informationen zu Mobilität von Studierenden und Wissenschaftlern. Die Berichte finden Sie unter http://www.wissenschaftweltoffen.de/.
Aktuelle Publikation: http://www.wissenschaftweltoffen.de/kompakt/wwo2021_kompakt_de.pdf.

Monitoring des Pakt für Forschung und Innovation (PFI)

Der Pakt für Forschung und Innovation (PFI) wurde 2005 von Bund und Ländern ins Leben gerufen, um das deutsche Wissenschaftssystem dynamischer und wettbewerbsfähiger zu machen. Er wurde zuletzt im Juni 2019 für die Jahre 2021 bis 2030 fortgeschrieben. Der Pakt hat Gültigkeit für die Deutsche Forschungsgemeinschaft (DFG) sowie für die vier großen außeruniversitären Forschungsorganisationen Fraunhofer-Gesellschaft (FHG), Helmholtz-Gemeinschaft deutscher Forschungszentren (HGF), Max-Planck-Gesellschaft (MPG) und Wissenschaftsgemeinschaft Gottfried Wilhelm Leibniz (WGL). Im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF), dokumentiert die Zentralbibliothek des Forschungszentrum Jülich in Zusammenarbeit mit der KU Leuven seit 2016 durch regelmäßige Erhebung eines Sets an bibliometrischen Indikatoren die Fortentwicklung der wissenschaftlichen Tätigkeit in Deutschland, beschreibt und analysiert die Entwicklung der Publikationstätigkeit in den Hochschulen und Forschungsorganisationen und ermöglicht einen Vergleich mit anderen Ländern. Dabei wird die Datenbankinfrastruktur des Kompetenzzentrums Bibliometrie für die Erstellung der Analysen für den Bibliometriebericht eingesetzt. Vor allem die Institutionskodierung der Datenbank ist signifikant für die Analysen und ist bei der Eingrenzung der Publikationen der Forschungsorganisationen im PFI essentiell. Die Berichte können unter dieser Adresse eingesehen werden: https://www.bmbf.de/de/pakt-fuer-forschung-und-innovation-546.html.
Aktuelle Publikation: Erfassung und Analyse bibliometrischer Indikatoren für den PFI-Monitoringbericht 2019.

Studien für die Expertenkommission für Forschung und Innovation (EFI)

Die Datenbankinfrastruktur des Kompetenzzentrums Bibliometrie wird für die Erstellung jährlicher Studien für die Expertenkommission für Forschung und Innovation (EFI) der Bundesregierung eingesetzt. Die Studien analysieren die Leistungen und Strukturen des deutschen Wissenschaftssystems im internationalen Vergleich mit 22 Ländern mittels Zeitreihen. Jede Studie umfasst bibliometrische Indikatoren zu Produktivität, wissenschaftlichem Impact und Kooperationen, mit jährlich wechselnden Schwerpunkten wie dem Einfluss der Datenquelle auf Indikatoren oder der Wirkung von Chinas rasantem Wachstum auf das internationale Wissenschaftssystem. Die Studienergebnisse fließen in das jährliche Gutachten ein, anhand welchem die EFI die Bundesregierung zu Forschung, Innovation und Technologie berät. Die Studien können unter dieser Adresse eingesehen werden: https://www.e-fi.de/publikationen/studien.
Aktuelle Publikation: Performance and Structures of the German Science System 2021.

Wissenschaftsrat Forschungsratings Chemie und Elektrotechnik/Informationstechnik

Das Forschungsrating des Wissenschaftsrates war das bislang ambitionierteste Evaluationsverfahren von Forschungseinrichtungen auf gesamtdeutscher Ebene. In den Verfahren, angelegt als fächerspezifische Pilotstudien, in denen Evaluationsmodi experimentell getestet werden konnten, wurden ab 2005 Forschungseinrichtungen in vier Wissenschaftsdisziplinen von Expertengremien nach selbst erarbeiteten Maßstäben und Verfahren begutachtet. In zwei dieser Verfahren hatten sich die Expertenrunden darauf geeinigt, bibliometrische Daten und Expertisen zur Unterstüzzung im Sinne eines "informed peer review" heranzuziehen, welche von Projektpartnern des KB unter Nutzung der KB-Infrastruktur und -daten bereitgestellt wurde.

Für das Forschungsrating Chemie lieferte das damalige IWT der Universität Bielefeld eine Publikations- und Zitationsanalyse von annähernd 42.000 Publikationen.

Im Abschlussbericht der Bewertungsgruppe (2008) wird über diese Untersuchung wie folgt Bilanz gezogen:

  • "Die bibliometrischen Daten waren für die Pilotstudie Chemie von zentraler Bedeutung. Der für die Erstellung der Publikationslisten und die anschließende Zitationsanalyse betriebene Aufwand wie auch die Lizenzgebühren für die Nutzung der Datenbank waren voll gerechtfertigt." S. 36.

  • "Die bibliometrische Analyse war für das Forschungsrating Chemie wesentlich. Bei einer Wiederholung des Forschungsratings ist eine bibliometrische Analyse, ggf. unter Fortentwicklung der Methode, unverzichtbar. Die Bewertungsgruppe spricht sich jedoch aufgrund der gemachten Erfahrungen und der Komplexität der bibliometrischen Indikatoren nachdrücklich gegen eine rein indikatorenbasierte Bewertung aus." S. 47.

Bibliometrische Daten und Indikatoren für das Forschungsrating in der Disziplin Elektrotechnik und Informationstechnik im Umfang von ca. 3300 Publikationen wurden durch das damalige iFQ geliefert. Zu den Erfahrungen damit äußerte sich die Bewertungsgruppe in ihrem Abschlussbericht (2011) wie folgt:

  • "Die Beurteilung von Forschungsqualität anhand bibliometrischer Daten ist in den Teilbereichen der Elektrotechnik und Informationstechnik aufgrund der bestehenden Publikationspraxis unterschiedlich gut möglich. Die relativ große Zahl von Non-Source-Items der gemeldeten Publikationen, die Vielfalt von Publikationstypen und eine vergleichsweise geringe Konzentration auf Kernzeitschriften belegen eine Publikationskultur, die sich hinsichtlich ihrer Standardisierbarkeit deutlich von den Naturwissenschaften unterscheidet und infolgedessen erheblich größere Probleme für quantitativ ausgerichtete Analysen bereitet. Im Bewertungsverfahren waren die Ergebnisse der Zitationsanalyse dennoch von großem Nutzen und sollten auch künftig einbezogen werden." S. 18.

  • "Ungeachtet der Interpretationsschwierigkeiten waren die bibliometrischen Analysen sehr hilfreich für das Forschungsrating Elektrotechnik und Informationstechnik, indem sie wichtige Hinweise auf die fachliche Resonanz und die Publikationsstrategien der Einrichtungen und ihrer Teilbereiche gaben. Bibliometrische Analysen sollten bei einer erneuten Durchführung des Forschungsratings in diesem Fach selbstverständlich sein. Die Bewertungsgruppe spricht sich daher dafür aus, den gewählten bibliometrischen Ansatz, welcher der Bedeutung ausgewählter Publikationen in der Forschungsbewertung einen höheren Stellenwert gegenüber dem Gesamtoutput einräumt, methodisch weiterzuentwickeln und die Effekte kritisch zu prüfen. Möglichkeiten und Grenzen einer Standardisierung der Auswahl müssen weiter untersucht werden. Die Bewertungsgruppe plädiert jedoch aufgrund der Erfahrungen aus dieser Pilotstudie nachdrücklich gegen eine rein indikatorenbasierte Bewertung zum gegenwärtigen Entwicklungsstand des Verfahrens." S. 31.

Bundesbericht Forschung und Innovation / BMBF Datenportal

Das Fraunhofer-Institut für System- und Innovationsforschung ISI erstellt für das Datenportal des BMBF in jährlicher Fortschreibung, sowie für den Bundesbericht Forschung und Innovation in zweijährigem Turnus, eine Tabelle zur Gesamtzahl der wissenschaftlichen Veröffentlichungen pro 1 Million Einwohner für ein Set von ca. 30 Ländern.
Aktuelle Publikation: Bundesbericht Forschung und Innovation 2020.