1 / 20

Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen

Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen. Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003. 1. Mangel an Wirkungsanalysen. 2. Funktionen von Evaluationen. 3. Zielproblematik in der Entwicklungsforschung . 4. Methodologische Paradigmen.

matty
Download Presentation

Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Methoden der WirkungsanalyseEine Konzeption zur Evaluation von Programmwirkungen Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003

  2. 1. Mangel an Wirkungsanalysen 2. Funktionen von Evaluationen 3. Zielproblematik in der Entwicklungsforschung 4. Methodologische Paradigmen 5. Untersuchungsdesigns für die Evaluation von Wirkungen 6. Evaluationskonzeption: theoretisches Grundmodell 7. Methodische Konzeption 8. Erfahrungen mit der Evaluationskonzeption Prof. Dr. Stockmann, 12. Juni 2003 2 Aufbau des Vortrags

  3. Erkenntnisfunktion Kontrollfunktion Evaluation Legitimitätsfunktion Dialogfunktion Prof. Dr. Stockmann, 12. Juni 2003 3 Funktionen von Evaluationen

  4. Prof. Dr. Stockmann, 12. Juni 2003 4 Zielmodell der Evaluationsforschung Vorgehen: 1. Programmziele ermitteln 2. Ziele in messbare Indikatoren der Zielerreichung übersetzen 3. Daten sammeln 4. Daten mit Zielkriterien vergleichen

  5. Prof. Dr. Stockmann, 12. Juni 2003 5 Probleme des Zielmodells 1. Verschwommene Formulierungen 2. Kluft zwischen offiziellen und tatsächlichen Zielen 3. Veränderungen im Zeitverlauf 4. Unterschiedliche Ziele der Akteure 5. Vernachlässigung nicht-intendierter Effekte

  6. Prof. Dr. Stockmann, 12. Juni 2003 6 Dualität der Evaluationsforschung • Teil des politischen Prozesses und • Teil der empirischen Sozialforschung

  7. Methodologischer Rigorismus Experimentelle Designs Handlungs- und Aktionsforschung Emanzipatorisches Paradigma Prof. Dr. Stockmann, 12. Juni 2003 7 Methodologisches Kontinuum

  8. Prof. Dr. Stockmann, 12. Juni 2003 8 Konsequenzen aus dem handlungstheoretischen Paradigma • Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen • Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben • Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund • Nicht Wertneutralität – sondern Wertungen • Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz.

  9. Prof. Dr. Stockmann, 12. Juni 2003 9 Zwei Hauptprobleme von Wirkungsevaluationen Entdeckung und Messung von Wirkungen Identifikation von Kausalzusammenhängen

  10. Prof. Dr. Stockmann, 12. Juni 2003 10 Typische Forschungsdesigns für Wirkungsanalysen

  11. Prof. Dr. Stockmann, 12. Juni 2003 11 Probleme experimenteller Designs 1. Zahl einzubeziehender, erklärender Faktoren unvollständig 2. Forschereinfluß (Interaktion) 3. Selbstselektion 4. Verzerrungen bei Messwiederholungen

  12. Prof. Dr. Stockmann, 12. Juni 2003 12 Prinzipielle Bedenken gegen experimentelle Designs 1. Analyse komplexer Phänomene nicht angemessen 2. Für die Erfassung von Wandel und Entwicklung nicht geeignet: ahistorisch 3. Dominante Orientierung an interner Validität 4. Professionelle Ethik und geltendes Recht

  13. t1 t2 t4 tNF tF t3 t5a - t5n t6 Zeitachse Phasen Projekt-stand nach3-5 J. Nach-betreuung Projekt-antrag Projekt-prüfung Projekt-überleitung Förder-ende Phasen derProjektdurchführung Angebot Auftrag Wirkung/Nachhaltigkeit Planung Implementation Nach-Förderphase Förderphase ttFtNF = Zeitpunkt= Förderende= Nach-Förderende Legende: Prof. Dr. Stockmann, 12. Juni 2003 13 Lebensverlaufsmodell

  14. Bildungs-/Ausbildungs-system Beschäftigungs-system Organisations-struktur PolitischesSystem Rechts- system Mitarbeiter Ziele FinanzielleRessourcen Technologie SoziokulturellesSystem Prof. Dr. Stockmann, 12. Juni 2003 14 Wirkungsmodell Umwelt Träger Projekt Untersuchungsgegenstand

  15. Externe Variablen: Umweltfaktoren - Politisches System- Normen u. Werte- Arbeitsmarkt (Nachfrage)- Bildungs- u. Ausbildungs- system (Anbieter)- u.a. SpezifischeEigenschaftender Innovation Diffusion: - Relative Vorteilhaftigkeit- Vereinbarkeit- Komplexität- Erprobbarkeit- Beobachtbarkeit- Ausreifungsgrad VerbreitungeinerInnovation Interne Variablen Organisations-elemente - Ziele- Mitarbeiter- Formelle Struktur- Technologie- Finanzielle Ressourcen Prof. Dr. Stockmann, 12. Juni 2003 15 Diffusionsmodell

  16. Prof. Dr. Stockmann, 12. Juni 2003 16 Nachhaltigkeitdefinition Interne Nachhaltigkeit ist dann gegeben, wenn problemadäquate Strukturen aufgebaut wurden und die eigenständige Problemlösungskapazität so gesteigert werden konnte, daß eine permanente Anpassung an sich verändernde Umweltbedingungen stattfindet Externe Nachhaltigkeit ist dann gegeben, wenn über die unmittelbar betroffene Zielgruppe bzw. Partnerorganisation hinaus Diffusionswirkungen auch in anderen (externen) Umweltbereichen entstanden sind, die insgesamt zu verbesserten Problemlösungen geführt haben.

  17. Prof. Dr. Stockmann, 12. Juni 2003 17 Maßnahmen, um die Validität und Reliabilität der Ergebnisse zu erhöhen 1. Entwickelte theoretische Konzeption erleichtert die Überprüfung von Zusammenhängen und das Ausschließen von Störvariablen. 2. Verwendung mehrerer Datenerhebungsmethoden sichert die Befunde ab. 3. Kontrollgruppen erlauben Vergleiche zu Interventionsgruppen. 4. Komparative Analyse ermöglicht das Auffinden ähnlicher Entwicklungsmuster und Ursache-Wirkungszuschreibungen.

  18. Prof. Dr. Stockmann, 12. Juni 2003 18 Indikatoren • Indikatoren zur Bewertung der Qualität des Interventionsprozesses • 1. Qualität der Planung des Interventionsprozesses • 2. Qualität der Steuerung des Implementationsprozesses • 3. Qualität der Projektüberleitung (Vorbereitung des Förderendes) • 4. Qualität der Nachbetreuung • Indikatoren zur Bewertung der internen Nachhaltigkeit • 1. Zielakzeptanz beim Führungspersonal des Projektträgers • 2. Qualifikationsniveau des Trägerpersonals • 3. Leistungsfähigkeit der Organisationsstruktur des Projektträgers • 4. Finanzielle Leistungsfähigkeit des Projektträgers • 5. Technische Ausstattungsqualität • 6. Angepaßtheit der Förderkonzeption an Zielgruppen III. Indikatoren zur Bewertung der externen Nachhaltigkeit 1. Grad der Diffusion innerhalb der Zielgruppe 2. Grad der Diffusion innerhalb des Zielsystems 3. Grad der Diffusion außerhalb des Zielsystems

  19. Prof. Dr. Stockmann, 12. Juni 2003 19 Design und Erhebungsmethoden Wirkungsphase Lebenszyklusphasen Planungs- und Implementationsphase Retrospektive Zeitreihenanalyse Querschnittsanalyse vor Ort Design Datenerhebungs-methoden • Dokumenten- und Aktenanalyse • Retrospektive Intensivinterviews mit ehemaligen Projektbeteiligten • Dokumentenanalyse • Beobachtungen • Intensivinterviews mit Experten • Standardisierte Interviews mit den Ziel- und Kontrollgruppen

  20. Vielen Dank für Ihre Aufmerksamkeit Prof. Dr. Stockmann

More Related