7. Österreichische Gesundheitsförderungs-konferenz St. Veit/Glan 25. Mai 2005

1. 7. Österreichische Gesundheitsförderungs-konferenzSt. Veit/Glan25. Mai 2005 Wilhelm Frank, Hubert Lobnig

2. Selbstevaluation Wilhelm Frank – ARWIG (Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung) Hubert Lobnig – Lemon Consulting

3. Begriffliches • Selbstevaluation ≠ interne Evaluation • Aber: Selbstevaluation ist immer interne Evaluation • Engl.: self conducted evaluation oder autonomous evaluation • Akteure Wilhelm Frank, Hubert Lobnig

4. SelbstevaluationDefinition: Unter Selbstevaluation werden systematische, datenbasierte Verfahren der Beschreibung und Bewertung verstanden, bei denen die praxisgestaltenden Akteure identisch sind mit den evaluierenden Akteuren.Die Akteure sind daher in einer Doppelrolle Wilhelm Frank, Hubert Lobnig

5. Selbstevaluation • Hauptfragen: Worüber will ich mehr wissen? • Was will ich verbessern? • Wie stelle ich die Intervention zählbar und messbar fest? • Etc. • Ziel: eigenes Handeln zu verbessern bzw. die Qualität zu belegen und zwar planmäßig, dokumentiert und nachvollziehbar. Wilhelm Frank, Hubert Lobnig

6. Externe Evaluation Objektiver Glaubwürdiger für Dritte stark quantitativ Extern gefordert Einfaches Feedback Selbstevaluation Rascher Billiger Quantitativ und qualitativ Eigenmotivation Doppelte Rückkoppelung Evaluation - Selbstevaluation Wilhelm Frank, Hubert Lobnig

7. Selbstevaluation • Unterstützt Veränderungsprozesse in kleinen Schritten • Rasche Rückmeldung über Irrtümer oder Erfolgspfade • Schon kurzfristig positive Auswirkungen für die eigene Arbeit im Team oder in der Institution Wilhelm Frank, Hubert Lobnig

8. Evaluation – nur Gutes? • Evaluation ist generell negativ besetzt • Kontrolle, Controlling, externe Überprüfung,........ • Aber: • Selbstevaluation ist etwas anderes!!!!! Positive Einstellung zur Selbstevaluation macht Sinn, vor allem für sich selbst Wilhelm Frank, Hubert Lobnig

9. Selbstevaluation - Bedingungen • Erfordern Gestaltungsspielräume • Klärung der Evaluationsaufgabe • Verantwortungsdelegation • Strategien der Informationsverbreitung (auch der Ergebnisse) • Transparenz und vor allem Vertrauen als Grundlage • Ressourcen Wilhelm Frank, Hubert Lobnig

10. Selbstevaluation - Methoden • Qualitative Methoden – Quantitative Methoden • Erfordern Dokumentation, Aufzeichnungen • Erinnern wir uns: • SYSTEMATISCHE sowie • DATENBASIERTE Vorgehensweisen Wilhelm Frank, Hubert Lobnig

11. Qualitative Methoden • Interviews mit Klienten, Projektleitern, Auftraggebern, Beobachtern • Experteninterviews • Reviews, Peer- Reviews • Audits • teilnehmende Beobachtungen • Klausuren oder Meetings mit dem Evaluationscharakter • Analyse von Prozessdokumenten Wilhelm Frank, Hubert Lobnig

12. Prozessdokumente • Daten aus dem Projektverlauf: • Tagesnotizen, Protokolle, Unterlagen von Sitzungen • Notizen (Feldnotizen, Beobachtungen) • Arbeitsaufzeichnungen (Working diaries, lfd. Arbeitsprotokolle) • Ereignisbeschreibungen (nicht triviale besondere Ereignisse) • Berichte (Zwischenberichte etc.) • Experteneinschätzungen (Audits) • Eckdaten des Settings: • Krankenstände, Dienstpläne, Absenzen, Materialienverbrauch Wilhelm Frank, Hubert Lobnig

13. Selbstevaluation – Methoden II • Systematisch  strukturiert  Design • Datenbasiert  methodenorientiert • Selbstevaluation ist ebenfalls zu planen im Sinne von: • Welche Daten werden (vom Akteur selbst) wann, womit, mit welchem Zweck,.........erhoben (Design) Wilhelm Frank, Hubert Lobnig

14. Verwertungsstrategien • Design determiniert weitgehend die Verwertbarkeit der Daten • Korrekte Verwertung der Daten durch Methoden der empirischen Sozialforschung / Statistik Wilhelm Frank, Hubert Lobnig

15. Selbstevaluation als Kommunikationsprozess • Die Positionierung der Evaluation im Projekt- Supporting: Unterstützung der Entscheidungsträger durch Übermittlung von Informationen über Programme, Zielsetzungen, Ergebnisse, Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen könnten, etc… • Diagnosing: Identifizierung von Problemen, Unterstützung bei der Entwicklung von Problemlösungsstrategien Wilhelm Frank, Hubert Lobnig

16. Selbstevaluation als Kommunikationsprozess • Consulting: Bereitstellung relevanter Informationen für Problemlösungen auf der Basis von Evaluationsdaten und – ergebníssen. Unterstützung in der Benutzung der Daten für die Weiterentwicklung der Projekte. • Informing: Kommunikation der Daten in verständlicher Form und unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen • Linking: Benützen und Kommunizieren von Informationen aus unterschiedlichen Teilen der Organisation bzw. des Projektes, Verbindungen mit Informationen aus der relevanten Umwelt der Organisation herstellen. Wilhelm Frank, Hubert Lobnig

17. Ergebnisinterpretation • Bei jeder Analyse: Vorsicht vor dem alles dominierenden Effekt des ZUFALLS • Wäre abgedeckt durch die schließende Statistik, erfordert jedoch spezielle Kenntnisse, daher eher selten • Bedenke: wir haben i.d.R. keine Normwerte, Referenzwerte, Standards Interpretation birgt die Gefahr von Fehlschlüssen Wilhelm Frank, Hubert Lobnig

18. Wilhelm Frank, Hubert Lobnig

19. Selbstevaluation - Standards • Nützlichkeit • Durchführbarkeit • Fairness • Genauigkeit • Quelle: DeGEval, Empfehlungen Wilhelm Frank, Hubert Lobnig

20. Selbstevaluation - Nützlichkeit • Identifizierung der Beteiligten und Betroffenen • Klärung der Evaluationszwecke • Glaubwürdigkeit und Kompetenz des Evaluators (der Evaluatorin) • Auswahl und Umfang der Information • Transparenz von Werten • Vollständigkeit und Klarheit der Berichterstattung • Rechtzeitigkeit • Nutzung und Nutzen der Evaluation Wilhelm Frank, Hubert Lobnig

21. Selbstevaluation - Durchführbarkeit • Angemessene Verfahren • Diplomatisches Vorgehen • Effizienz der Evaluation Wilhelm Frank, Hubert Lobnig

22. Selbstevaluation - Fairness • Formale Vereinbarungen • Schutz individueller Rechte • Vollständige und faire Überprüfung • Unparteiische Durchführung und Berichterstattung • Offenlegung der Ergebnisse Wilhelm Frank, Hubert Lobnig

23. Selbstevaluation - Genauigkeit • Beschreibung des Evaluationsgegenstandes • Kontextanalyse • Beschreibung von Zwecken und Vorgehen • Angabe der Informationsquellen • Valide und reliable Informationen • Systematische Fehlerprüfung • Analyse qualitativer und quantitativer Informationen • Begründete Schlussfolgerungen • Meta-Analysen Wilhelm Frank, Hubert Lobnig

24. Bitte um IHRE Wortmeldungen Bei Fragen: wilhelm.frank@chello.at bzw. lobnig@lemon.at