Leistungsvergleiche in der Forschung: die Pilotstudie Forschungsrating des Wissenschaftsrats

1. Leistungsvergleiche in der Forschung: die Pilotstudie Forschungsrating des Wissenschaftsrats Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

2. Übersicht • Grundzüge des Forschungsratings • Verbindungen zum Qualitätsmanagement der Hochschulen • Erfahrungen aus der Pilotstudie Chemie und Soziologie • Ausblick Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

3. Grundzüge des Forschungsratings • Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) • Fachspezifisch differenziert • Vergleichende Bewertung nach einheitlichen Maßstäben • Rating, kein Ranking • Mehrdimensionale Bewertung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

4. Bewertungsdimensionen und -kriterien Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

5. Veröffentlichung der ErgebnisseDiagrammdarstellung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

6. Grundzüge des Forschungsratings • Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) • Fachspezifisch differenziert • Vergleichende Bewertung nach einheitlichen Maßstäben • Rating, kein Ranking • Mehrdimensionale Bewertung • Differenzierung der Forschungsqualität nach „Forschungseinheiten“ Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

7. Veröffentlichung der ErgebnisseDiagrammdarstellung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

8. Forschungseinheiten: Einzelbewertung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

9. Grundzüge des Forschungsratings (Forts.) • Bewertung von Universitäten und außeruniversitären Forschungseinrichtungen (Art. 91 b GG) • Fachspezifisch differenziert • Vergleichende Bewertung nach einheitlichen Maßstäben • Rating, kein Ranking • Mehrdimensionale Bewertung • Differenzierung der Forschungsqualität nach „Forschungseinheiten“ • „Informed peer review“:Bewertungsgruppen • Operationalisierung durch Fachgutachter Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

10. Datenanalyse, Vergleich Interne Evaluation • Operationalisierung Kriterien • Zuordnung von Indikatoren • Definition Erhebungsformate Berichtssystem, Forschungsdatenbank Verbindungen zum Qualitätsmanagement der Hochschulen Forschungsrating Qualitätsmanagement Externe Bewertung durch Gutachter Strategische Planung und Steuerung Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

11. Externe Bewertung durch Gutachter • Unabhängige Einschätzung durch renommierte Fachwissenschaftler • Vergleichsperspektive • „Kalibrierung“ interner Qualitätsbewertungsinstrumente • Mehrdimensionale Bewertung nach sechs Kriterien • Abgleich mit eigenen Schwerpunkten / Profil • Differenzierte Qualitätsbewertung der Forschungseinheiten • Stärken-Schwächen-Analyse (Zuschnitt entscheidend!) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

12. Datenanalyse, Vergleich • Aufstellung der quantitativen und qualitativen Daten sortiert nach Kriterien und Bewertungsaspekten • Angaben zu Median/Mittelwert und Streuung der quantitativen Indikatoren in einem „Leitfaden zu den Datenberichten“ (veröffentlicht auf Homepage) • Perzentilwerte als skaleninvariante Lagemaße: Vergleichsperspektive, implizites „Benchmarking“ Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

13. Operationalisierung Kriterien: Datengrundlage • Kombination von bei den teilnehmenden Einrichtungen erhobenen Daten und verfügbaren (Publikations-/Zitations-) Datenbanken • Kombination von quantitativen Indikatoren und qualitativen Informationen • Begutachtung von Publikationslisten, Listen der Drittmittelprojekte, Preise etc. durch Gutachter • Möglichkeit zur Selbstbeschreibung der Forschungseinheiten / Einrichtungen • Unterschiede zwischen Chemie und Soziologie u.a. • Zitationsanalyse (Chemie) vs. Lektüre ausgewählter Publikationen (Soz.) • Transfer in Industrie (Chemie) anhand Patente, Lizenzen, Drittmittel vs. Transfer in Politik und Verbände anhand Beratungspositionen, Gutachten, Transferprojekten (Soz.) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

14. BewertungsmatrixBsp. Chemie, Kriterium „Forschungsqualität“ Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

15. Pilotstudie Chemie und Soziologie • Basis: Wissenschaftsrat 2004: Empfehlungen zu Rankings im Wissenschaftssystem • Fächer Chemie und Soziologie • Verantwortung bei Steuerungsgruppe • Neben WR-Mitgliedern und weiteren Sachverständigen DFG, FhG, HGF, HRK, MPG und WGL mit Vizepräsidenten vertreten • Bewertungsgruppen für Chemie und Soziologie mit je 15 Gutachtern aus Vorschlägen der genannten Wissenschaftsorganisationen und der Fachgesellschaften Gesellschaft Deutscher Chemiker (GDCh) und Deutsche Gesellschaft für Soziologie (DGS) Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

16. Pilotstudie Chemie und Soziologie • Teilnehmer: • Struktur Forschungseinheiten sehr unterschiedlich: • Chemie ca. 350 Forschungseinheiten, durchschnittlich 3 Professuren • Soziologie ca. 250 Forschungseinheiten, 75 % nur 1 Professur Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

17. Begutachtungsverfahren • Zuordnung von je zwei Berichterstattern • Fachkompetenz • Befangenheiten • Unabhängige Bewertungsvorschläge • Identifikation von Dissensfällen, Bitte um Überprüfung • in Pilotstudie je nach Kriterium 70 – 90 % übereinstimmende Voten • Plenare Diskussion und Verabschiedung aller Bewertungen Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

18. Ausblick • Beratung auf WR-Sitzungen 7.-8. Mai 2008 • zur Diskussion: schrittweise Weiterentwicklung • zu klären: • Forschungseinheiten • Effizienzbewertung • Taxonomie • Turnus Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats

19. Vielen Dank für Ihre Aufmerksamkeit! www.forschungsrating.de Dr. Rainer Lange, Geschäftsstelle des Wissenschaftsrats