1 / 19

Methodische Grundlagen der Evaluation

ISI. Fraunhofer. Institut. System- und. Innovationsforschung. Methodische Grundlagen der Evaluation. Vivien Lo v.lo@isi.fraunhofer.de. Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung.

jarrod-allen
Download Presentation

Methodische Grundlagen der Evaluation

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ISI Fraunhofer Institut System- und Innovationsforschung Methodische Grundlagen der Evaluation Vivien Lo v.lo@isi.fraunhofer.de Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung Evaluation förderpolitischer Maßnahmen und Instrumente

  2. Gliederung 3. 4. 2. 1. 5. Entwicklung und Ausblick Notwendigkeitund Definition Die vier W-Fragen Fallstricke Praxisbeispiele

  3. Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik 1. Notwendigkeit und Definition Warum Evaluation in der Innovationspolitik? • Innovationspolitik muss • geeigneteZielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen, • ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und • dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005).

  4. Definition Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995) Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003)

  5. Anwendungsbereiche in der Innovationspolitik • Forschung:z.B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet • Projekte/Programme:z.B. Assessment der Kompetenzzentrenprogramme • Systeme:z.B. Evaluation der Netzwerkförderung in Sachsen • Strukturen/Institutionen:z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm

  6. 2. Die vier W-Fragen • Zu welchem Zeitpunkt im Programm soll evaluiert werden? Wann? Was? • Was steht auf der Agenda der Evaluation? Wie? • Welche Methoden werden eingesetzt? Warum? • Wozu dient die Evaluation? Was folgt aus der Evaluation?

  7. a) Wann: Zu welchem Zeitpunkt soll evaluiert werden? Ex-ante Evaluationen Entwicklung, Design, Weiterentwicklung Transfer der Evaluationsergebnisse Implementation, Management Interim/ begleitende Evaluationen Ex-post Evaluationen Eigene Darstellung nach fteval Standards, Wien 2003

  8. b) Was: Was steht auf der Agenda der Evaluation? Wurden die Ziele erreicht? Waren die Annahmen richtig? Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht? Sind die Instrumente geeignet? Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es? Waren Implementierung und Verwaltung effizient? Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten? • Zielausrichtung und Zielerreichung • Zielgruppendefinition und -erreichung • Instrumentenwahl und -ausgestaltung • Wirksamkeit/Effektivität • Effizienz • Weiterentwicklung/Handlungsempfehlungen

  9. c) Wie: Welche Methoden werden eingesetzt? Übliche Methoden: • Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe) • Interviews (Experten, Fördernehmer) • Schriftliche Befragung • Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte) • Fallstudien • Workshops • Internationaler Vergleich, Benchmarking • Bibliometrie, Patentstudien • Peer/Panel Review • Mikro/makroökonomische Modelle, ökonometrische Modellierung

  10. Der richtige Methodenmix Primärerhebung, Sekundärdaten, Daten beim Projektträger Evaluierung durch Peers oder Evaluationsexperten Qualitativ und/oder Quantitativ Validität, Reliabilität Kontrollgruppe

  11. Typische Erfolgskriterien • Einstieg in neue Technologiefelder • Angemeldete und genehmigte Patente und Marken • Verstetigung von FuE-Aktivitäten • Umsätze durch Lizenzen und Patente • Gesicherter und zusätzlicher Umsatz • Gesicherte und zusätzliche Arbeitsplätze • Umsätze durch Produkte/Dienstleistungen Technischer Erfolg Ökonomischer Erfolg

  12. Zentrales Erfolgskriterium: Additionalität • Additionalität I: Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE und Umsätze durch FuE • Additionalität II: Schnelleres Durchführen von FuE-ProjektenHöheres Risiko von FuE-Projekten • Additionalität III: Verhaltensveränderung im Sinne von Verstetigung von FuE oder Lernen von Innovationskooperationen

  13. Warum: Wozu dient die Evaluation? Verwendung öffentlicher Mittel Wie und mit welcher Wirksamkeit werden Mittel eingesetzt Wie kann die Effektivität und Effizienz erhöht werden Qualitätsmanagement und Qualitätsentwicklung zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik Legitimierung Information Steuerung Kontrolle Vermittlung

  14. Warum: Was folgt aus der Evaluation? • Summative Evaluation: Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit • Formative Evaluation: Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt

  15. 3. Fallstricke • FuE und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse • Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit • Zielerreichung zum Teil nur indirekt messbar (z.B. FuE-Kooperationen), Indikatoren mit üblichen Problemen behaftet • Ziele auf politischer, Unternehmens- und Projektebene können sich unterscheiden Problem der Zurechenbarkeit öffentlicher Nutzen (Wissens-diffusion) Privater technischer Erfolg öffentliche Förderung Privater ökonomischer Erfolg

  16. Die "Bring-Lücke" (Delivery Gap) Quelle: nach Sturn/Zinnöcker 2003

  17. Die "Kunden-Lücke" (Customer Gap) Quelle: nach Sturn/Zinnöcker 2003

  18. 4. Zukünftige Bedeutung von Evaluationen • Forschungs- und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen • Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird • European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen • Zunehmende Verankerung: Standard bei EU-Projekten, Abteilung Evaluation im BMWA • Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z.B. DeGEval, fteval)

  19. 5. Praktische Beispiele • Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen • Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU-Rahmen­programm für Forschung, technologische Entwicklung und Demonstration • Assessment "Zukunft der Kompetenzzentrenprogramme (K plus und K ind/net) und Zukunft der Kompetenzzentren" System Programm Institutionen System Programm System Institutionen

More Related