TRANSFER

Das Forschungs­ra­ting des Wissen­schafts­ra­tes war das bislang ambitio­nier­tes­te Evalua­ti­ons­ver­fah­ren von Forschungs­ein­rich­tun­gen auf gesamt­deut­scher Ebene. In den Verfah­ren, angelegt als fächer­spe­zi­fi­sche Pilot­stu­di­en, in denen Evalua­ti­ons­mo­di experi­men­tell getes­tet werden konnten, wurden ab 2005 Forschungs­ein­rich­tun­gen in vier Wissen­schafts­dis­zi­pli­nen von Exper­ten­gre­mi­en nach selbst erarbei­te­ten Maßstä­ben und Verfah­ren begut­ach­tet. In zwei dieser Verfah­ren hatten sich die Exper­ten­run­den darauf geeinigt, biblio­me­tri­sche Daten und Exper­ti­sen zur Unter­stüz­zung im Sinne eines „infor­med peer review“ heran­zu­zie­hen, welche von Projekt­part­nern des KB unter Nutzung der KB-Infra­struk­tur und ‑daten bereit­ge­stellt wurde.

Für das Forschungs­ra­ting Chemie liefer­te das damali­ge IWT der Univer­si­tät Biele­feld eine Publi­ka­ti­ons- und Zitati­ons­ana­ly­se von annähernd 42.000 Publikationen.

Im Abschluss­be­richt der Bewer­tungs­grup­pe (2008) wird über diese Unter­su­chung wie folgt Bilanz gezogen:

• „Die biblio­me­tri­schen Daten waren für die Pilot­stu­die Chemie von zentra­ler Bedeu­tung. Der für die Erstel­lung der Publi­ka­ti­ons­lis­ten und die anschlie­ßen­de Zitati­ons­ana­ly­se betrie­be­ne Aufwand wie auch die Lizenz­ge­büh­ren für die Nutzung der Daten­bank waren voll gerecht­fer­tigt.“ S. 36.
• „Die biblio­me­tri­sche Analy­se war für das Forschungs­ra­ting Chemie wesent­lich. Bei einer Wieder­ho­lung des Forschungs­ra­tings ist eine biblio­me­tri­sche Analy­se, ggf. unter Fortent­wick­lung der Metho­de, unver­zicht­bar. Die Bewer­tungs­grup­pe spricht sich jedoch aufgrund der gemach­ten Erfah­run­gen und der Komple­xi­tät der biblio­me­tri­schen Indika­to­ren nachdrück­lich gegen eine rein indika­to­ren­ba­sier­te Bewer­tung aus.“ S. 47.

Biblio­me­tri­sche Daten und Indika­to­ren für das Forschungs­ra­ting in der Diszi­plin Elektro­tech­nik und Infor­ma­ti­ons­tech­nik im Umfang von ca. 3300 Publi­ka­tio­nen wurden durch das damali­ge iFQ gelie­fert. Zu den Erfah­run­gen damit äußer­te sich die Bewer­tungs­grup­pe in ihrem Abschluss­be­richt (2011) wie folgt:

• „Die Beurtei­lung von Forschungs­qua­li­tät anhand biblio­me­tri­scher Daten ist in den Teilbe­rei­chen der Elektro­tech­nik und Infor­ma­ti­ons­tech­nik aufgrund der bestehen­den Publi­ka­ti­ons­pra­xis unter­schied­lich gut möglich. Die relativ große Zahl von Non-Source-Items der gemel­de­ten Publi­ka­tio­nen, die Vielfalt von Publi­ka­ti­ons­ty­pen und eine vergleichs­wei­se gerin­ge Konzen­tra­ti­on auf Kernzeit­schrif­ten belegen eine Publi­ka­ti­ons­kul­tur, die sich hinsicht­lich ihrer Standar­di­sier­bar­keit deutlich von den Natur­wis­sen­schaf­ten unter­schei­det und infol­ge­des­sen erheb­lich größe­re Proble­me für quanti­ta­tiv ausge­rich­te­te Analy­sen berei­tet. Im Bewer­tungs­ver­fah­ren waren die Ergeb­nis­se der Zitati­ons­ana­ly­se dennoch von großem Nutzen und sollten auch künftig einbe­zo­gen werden.“ S. 18.
• „Ungeach­tet der Inter­pre­ta­ti­ons­schwie­rig­kei­ten waren die biblio­me­tri­schen Analy­sen sehr hilfreich für das Forschungs­ra­ting Elektro­tech­nik und Infor­ma­ti­ons­tech­nik, indem sie wichti­ge Hinwei­se auf die fachli­che Resonanz und die Publi­ka­ti­ons­stra­te­gien der Einrich­tun­gen und ihrer Teilbe­rei­che gaben. Biblio­me­tri­sche Analy­sen sollten bei einer erneu­ten Durch­füh­rung des Forschungs­ra­tings in diesem Fach selbst­ver­ständ­lich sein. Die Bewer­tungs­grup­pe spricht sich daher dafür aus, den gewähl­ten biblio­me­tri­schen Ansatz, welcher der Bedeu­tung ausge­wähl­ter Publi­ka­tio­nen in der Forschungs­be­wer­tung einen höheren Stellen­wert gegen­über dem Gesamt­out­put einräumt, metho­disch weiter­zu­ent­wi­ckeln und die Effek­te kritisch zu prüfen. Möglich­kei­ten und Grenzen einer Standar­di­sie­rung der Auswahl müssen weiter unter­sucht werden. Die Bewer­tungs­grup­pe plädiert jedoch aufgrund der Erfah­run­gen aus dieser Pilot­stu­die nachdrück­lich gegen eine rein indika­to­ren­ba­sier­te Bewer­tung zum gegen­wär­ti­gen Entwick­lungs­stand des Verfah­rens.“ S. 31.