Tue Gutes und lass andere darüber reden – Evaluation 20. Workshop für Forscherberaterinnen

1. Tue Gutes und lass andere darüber reden – Evaluation 20. Workshop für Forscherberaterinnen und Forscherberater EURAXESS Deutschland 21. Mai 2014 Dr. Johannes Dingler Welcome Center Universität Konstanz Tel: 07531 88-4498 Johannes.Dingler@uni-konstanz.de www.uni-konstanz.de/Welcome

2. Definition Evaluation • Begriff Evaluation: vom lateinischen Wort „valor“, d.h. Wert, und der Vorsilbe e/ex, d.h. aus. Zusammen: 'einen Wert aus etwas ziehen (Reinhard Stockmann) • Allgemein: Bewertung, Beurteilung von Projekten, Prozessen und Organisationseinheiten. • Die grundsätzliche Untersuchung, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen (Wikipedia). • Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen (Wikipedia). • Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden (Wikipedia). • Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle (evaluationsnetz.com).

3. Methoden der Evaluation Prinzipiell: angewandte Sozialforschung: Nutzen für die „Praxis“ im Vordergrund • Beobachtung/Expertenteilnahme • Fragebogen • Interview • Fallstudie • Experiment • Sekundäranalysen vorhandener Materialien • Qualitative Methoden • Quantitative Methoden (Statistische Methoden)

4. Evaluation in Welcome Centern • Information über Stärken und Schwächen • Standardkontrolle • Einheitliches Serviceniveau • Neue Services • Legitimation, Selbstdarstellung • Qualitätsmanagement • Qualitätsentwicklung Qualitätsmanagement zentraler Grund für Evaluation

5. Welcome Center Universität Konstanz • Ca. 300 Fälle pro Jahr • Ca. 240 Personen in Konstanz in Betreuung • Ca. 80 Personen nach Konstanz kommend • Umfassender Service in Zeit und Umfang • 5 MitarbeiterInnen • Vollerhebung in Evaluation

6. Qualitätsmanagement und Evaluation • Strukturelle Integration beim Aufbau • Definierte Prozesse und Workflows • Definiertes Qualitätsniveau • Einheitliche Standards • Gleiche Behandlung unabhängig von BearbeiterIn • Regelmäßige Statistik (Quartal) Qualitätsmanagementzyklus

7. Bedürfnisse der Forschenden und ihrer Familien Definition von Aufgaben Definition von Standards und Serviceniveaus Definition von Workflows und Prozessabläufen Implementierung Feedbackschleife Neue Aufgaben Dokumentation Evaluation Qualitätsmanagementzyklus Beschwerde- management

8. Qualitätsmanagementinstrumente Welcome Center Definition von Standards Dokumentation Standardkontrolle Abschlussgespräch Zufriedenheitsbefragung Qualitätsmanagement

9. Qualitätsmanagementinstrumente Welcome Center Dokumentation Zufriedenheitsbefragung Definition von Standards Abschlussgespräch Standardkontrolle Beschwerdemanagement Qualitätsmanagement

10. Dokumentation • Instrument: Datenbank • Erinnerungsfunktion für eigene Fälle • Fallrekonstruktion für andere MitarbeiterInnen • Statistik • Qualitätsmanagement: Ist-Soll-Vergleich

11. Standardkontrolle • 6 Wochen nach Ankunft • Beurteilung aller Fälle: Vollerhebung • Selbsteinschätzung • Jede(r) BetreuerIn schätzt eigene Fälle selbst ein • Reflektion über die Qualität der Arbeit • Einschätzung zu strukturellen Schwächen • Feedback und strukturelle Rückkoppelung

13. Zufriedensheitsbefragung • Online Befragung • Vollerhebung • 6 Wochen nach Ankunft • Über Software EvaSys • Voll anonymisiert: Zusendung eines Links per E-Mail • Automatische Auswertung per Software • Meist ca. 40% Rücklauf • Bias??

23. Beschwerdemanagement • Instrument zum Qualitätsmanagement und zur Evaluation: Beschwerden sind Chancen • Noch nicht voll implementiert • Beschwerdemanagementprozess: • Beschwerden erhalten • angemessen bearbeiten • auswerten: Analyse und Offenlegung von Fehlern • angemessene Lösung suchen • daraus lernen: Feedback und Lernprozess • Schutz der individuellen MitarbeiterInnen • Suche nach strukturellen Ursachen Strukturelle Anpassung

24. Abschlussgespräch • Findet für jede Person statt • Kein weiterer Fragebogen • Leitfragenorientiert • Im Gespräch eingeflochten • Anschließende Dokumentation und Auswertung • Rückbezug in Strukturanpassungsprozess

25. Leitfragen • Did you like your stay in Konstanz? • How useful do you consider the services of the Welcome Center? • How did you experience the quality of the services of the Welcome Center? • Which services did you mainly use? • Which services do you consider the three most important services offered by the Welcome Center? • Which services did you miss in the range of services of the Welcome Center? • What do you suggest in order to improve our services? • Do you have any other comments?

26. Fazit • Qualitätsmanagement und Evaluation als integraler struktureller Bestandteil • Systematisierte Instrumente • Mix von Instrumenten • Aufwand überschaubar • Großer Nutzen für • Außendarstellung, Selbstvermarktung, Legitimation • Analyse und Verbesserung der eigenen Prozesse

27. Vielen Dank!! Dr. Johannes Dingler Welcome Center Tel: 07531 88-4498 Johannes.Dingler@uni-konstanz.de www.uni-konstanz.de/Welcome