Input-Referat: Evaluation von Steuerung oder Steuerung durch Evaluation?

1. Input-Referat: Evaluation von Steuerung oder Steuerung durch Evaluation? Gerlinde Struhkamp 19.03.2004

2. “Was für eine Evaluation hätten S’ denn gern?” 2

3. Definitorische Annäherung • „E-valu-ation“ = „Be-wert-ung“ • Alltäglich vs. professionell Professionell: • Systematische Verfahren • (Sozial-)wissenschaftliche Methoden • Beitrag zur (rationalen) Entscheidungsfindung, also Nutzung bzw. Nutzen der Evaluation 3

4. Evaluation = “Purpose” + “Process” + “Methods” Zielsetzung, Zweck Prozess Methoden Nutzung, z.B. Entscheidungen z.B. formativ, summativ (diverse) 4

5. “Process” + “Methods” “Purpose” + Prozess Methoden Zielsetzung, Zweck (a) oder (b) ? (a) Evaluation von Steuerung Summativ (b) Steuerung durch Evaluation 5

6. Definition: summative Evaluation Summativ (bewertend-bilanzierend) • Zur Bewertung des Projekts • Nach Ende des Projekts (bzw. nach Stabilisierung) • Bericht über, nicht für das Projekt • Externe Adressaten (Quelle: Michael Scriven 1991: Evaluation Thesaurus, 4th ed.) 6

7. Nutzen einer summativen Evaluation Summative Evaluationsergebnisse nutzen – wem? • EP? • Progr.-Ev.? • BMWA? • EU? Begrenzte Aussichten auf Nutzung von summativen EP-Evaluationen, deshalb sollten diese formativ angelegt sein, also „Steuern durch Evaluation“. 7

8. “Process” + “Methods” “Purpose” + Prozess Methoden Zielsetzung, Zweck (a) oder (b) ? summativ (a) Evaluation von Steuerung ? (b) Steuerung durch Evaluation Formativ 8

9. Summativ • Zur Bewertung des Projekts • Nach Ende des Projekts • Bericht über, nicht für das Projekt • Externe Adressaten Definition: formative Evaluation Formativ (begleitend) • Zur Verbesserung des Projekts • Während des Projekts • Bericht für das Projekt • Interne Adressaten (Quelle: Michael Scriven 1991: Evaluation Thesaurus, 4th ed.) 9

10. “Process” + “Methods” “Purpose” + Prozess Methoden Zielsetzung, Zweck Wie (b) ? (b) Steuerung durch Evaluation Formativ Methoden, die EvaluatorIn „heran“ lassen • Offenes Diskutieren von Stärken und Schwächen • Berichte eher informell, evtl. mündlich • Vertrauensbildung zur konstruktiven Zusammenarbeit • „Schutzraum“ EP 10

11. Anforderungen an die Evaluationen PGI, S. 234ff: • „Begleitung und Bewertung sind zwei selbständige, aber aufeinander bezogene Aufgabenbereiche“ • „Drei Ebenen: Gesamtprogramm, thematische Handlungsfelder und Entwicklungpartnerschaften“ • „Enge Zusammenarbeit zwischen Programm- und EP-Ebene ist auch zur Durchführung der Bewertungsarbeiten erforderlich“. 11

12. Summativ Formativ Spannungsfeld ? • Rollen des Evaluators zwischen formativen und summativen Aufgaben trennen • Personale Trennung innerhalb Evaluationsteam • EP-Evaluator beschreibt nur und überlässt die Bewertung anderen Instanzen • Keine Sanktionen aus Evaluationsergebnissen zu befürchten (also ‚nur‘ Erkenntnisgewinn) • Arbeitsteilung zwischen EP- und Programm-Evaluierung 12

13. Fazit • Da die Nutzen-Perspektive unklar ist, scheinen formative Evaluationsansätze auf EP-Ebene sinnvoller. • Eine Klärung der Zielsetzung für die (EP-)Evaluationen unter Berücksichtigung typischer Rollen-, Aufgaben-und Methoden-Konflikte in Evaluationen wäre hilfreich und wünschenswert. 13

14. Vielen Dank für Ihre Aufmerksamkeit Gerlinde Struhkamp, M.A.