Evaluation

1. Evaluation

2. Evaluation Agenda • Definition von Evaluation • Ansätze/Formen der Evaluation • Standards der Evaluation • Ziele und Funktionen der Evaluation

3. Evaluation Evaluation: Definition • Datenerfassung • Systematisch • Wissenschaftliches Instrumentarium • Zweckorientiert • Datengenerierung

4. Evaluation Wissenschaftliche Herkunft der Evaluation • Anwendung empirischer (sozialwissenschaftl.) Forschungsmethoden zur Informationsgewinnung • Systematische (vergleichende Verfahren) zur Informationsbewertung • Anhand offen gelegter, intersubjektiv nachprüfbarer Kriterien • Um den Nutzen (Wert) eines Objekts (z.B. Programm) zu bewerten • Um Entscheidungen treffen zu können

5. Evaluation Evaluation als „Controlling“ - Input - Prozess - Output SOLL IST – Vergleich ZIEL REALITÄT

6. Evaluation Evaluation und Steuerung • Kritik an alter Steuerung: Mangelnde Ergebnisorientierung • Zentrale Klärung von (Bildungs)zielen • Überprüfung von Ergebnissen  • Definition von Prozessen • Definition von Ressourcen

7. Evaluation Ansätze • Selbstevaluation • Fremdevaluation • Meta- Evaluation • Prozessevaluation („formativ“) • Ergebnisevaluation („summativ“)

8. Gegenstände der Evaluation Personen Gruppen Organisationen Institutionen Programme 8 Evaluation

9. Evaluation Prozesse und Ergebnisse • Säule 2 • Summativ • Input- und Output- Überprüfung • Feststellung der Zielerreichung • Wirkungsbeobachtung • Bewertung des Nutzens durch die Zielgruppen Säule 1 Formativ • Überprüfung des Programmablaufs • Bewertung der Programmkonzeption • Probleme bei Umsetzung • Steuerung des Programms Ableitung von Empfehlungen für weiteres Vorgehen

10. Evaluation Extern Interne und externe Evaluation • Extern • Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durch-führungsorganisation angehören • Vorteile • hohe Unabhängigkeit • große Methodenkompetenz • unterstützen Reformkräfte • große Glaubwürdigkeit • Nachteile • geringe Sachkenntnis • Abwehrreaktionen • Umsetzungsprobleme Intern Von der gleichen Organisation vorgenommen, die auch das Programm durchführt Vorteile • rasch, geringer Aufwand • hohe Sachkenntnis • unmittelbare Umsetzung Nachteile • geringe Methodenkompetenz • fehlende Unabhängigkeit und Distanz • „Betriebsblindheit“ Kombiniertes Monitoring und Evaluationssysteme

11. Traditioneller Unterricht Auswahl eines Themas (Lehrplan) Design der Lehrmethoden Design und Einsatz von Tests Noten ggf. Feedbacks Neues Thema Standardbasierung Auswahl eines Standards Design eines Assessments, das Standards abbildet Was braucht der Schüler, um Standard zu erreichen? Unterrichtsplanung: Hat jeder die Chance, das Nötige zu lernen? Assessment/Datenanalyse: Wiederholung, neuer Ansatz oder neuer Standard Pädagogische Implikationen (Jamentz, Kate 2001)

12. Evaluation Typen der Evaluation bei pädagogischen und sozialen Reformen • Bedarfsevaluation • Theorie- Evaluation • Prozess- Evaluation • Ergebnis-/ Effekt-/ Wirkungsevaluation • Effizienz- Evaluation

13. Evaluation Anforderungen an Evaluation (Standards) Evaluationensollen: nützlich sein, d.h. an den Informationsbedürfnissen der Nutzer ausgerichtet sein (Nützlichkeit) realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt werden (Durchführbarkeit) rechtlich und ethisch korrekt ablaufen und dem Wohlergehen der in die Evaluation einbezogenen und von den Ergebnissen betroffenen Personen Aufmerksamkeit schenken (Korrektheit) über die Güte und/oder die Verwendbarkeit eines evaluierten Programms fachlich angemessene Informationen hervorbringen und vermitteln (Genauigkeit)

14. Erkenntnisfunktion Kontrollfunktion Evaluation Lernfunktion Legitimitätsfunktion Evaluation Ziele der Evaluation

15. Evaluation Komplexe Bedingungen: Selbstevaluation • Verantwortungsdelegation: Verantwortung für die Evaluation für bestimmte Zeit an ein/e bestimmte Person/en delegiert. • Durchführung der Selbstevaluation: Zeitweise Unterstützung durch interne oder externe Evaluationsexperten möglich. • Gestaltungsspielräume müssen abgesteckt sein. • Vereinbarungen mit der Leitungsebene sind Voraussetzung. • Verfahren mit Informationsweitergabe und Veröffentlichungen. Transparenter Prozess und Dokumentation der Ergebnisse. • Zuständigkeiten und Kompetenzen müssen geklärt sein. • Kommunikation zwischen den Hierarchie-Ebenen muss transparent gestaltet werden. • Ressourcen, die benötigt werden, müssen frei gestellt werden. Müller-Kohlenberg, H./Beywl, W. (2003): Standards der Selbstevaluation -- Begründung und aktueller Diskussionsstand. In:* *Zeitschrift für Pädagogik 03, S.65-76

16. Evaluation Was-Fragen • Was wird bewertet? • Wer wird bewertet?   • Wer bewertet? • Was/wie sind die Standards der Bewertung? • Was/wie sind die Prozesse der Bewertung? • Welche Funktion erfüllt die Bewertung? • Welche Konsequenzen hat die Bewertung?

17. Evaluation Gelingensbedingungen • Klare Zielsetzung • Beteiligung der Akteure • Klärung der Durchführungsnormen • Klare und relevante Fragestellungen • Handhabbare Methoden • Überschaubare Datenmenge • Perspektiven- Mix • Schnelle Rückmeldungen • Zeit für Auswertung • Dokumentation der Ergebnisse und Bewertungen • Wiederholung der Evaluation