210 likes | 320 Views
Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis. Workshop „Evaluation in der auswärtigen Kulturpolitik“ 23. Juni 2006 am Centrum für Evaluation der Universität des Saarlandes . Was ist das ZEM?. Zentrum für Evaluation und Methoden
E N D
Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis Workshop „Evaluation in der auswärtigen Kulturpolitik“ 23. Juni 2006 am Centrum für Evaluation der Universität des Saarlandes
Was ist das ZEM? Zentrum für Evaluation und Methoden • 1999 an der Rheinischen Friedrich-Wilhelms-Universität Bonn gegründet Arbeitsauftrag des ZEM (Auftrags-)Forschung und Kompetenzvermittlung in Bezug auf • Qualitätssicherung & Evaluation in verschiedenen Anwendungsgebieten mit Schwerpunkt Bildung • Statistische Methoden • Umfragen
Ablauf des Vortrages • Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme • Was ist so besonders an der Evaluation internationaler Austauschprogramme? • Interessen der verschiedenen Stakeholder • Organisation und Zielvorgaben • Was soll überhaupt geprüft werden? Die Zielexplikation • Verschiedene Programmziele der Stakeholder • Methodenempfehlungen • Wie kann das geprüft werden? Der Wirksamkeitsnachweis • Verschiedene Ansätze für den Wirksamkeitsnachweis
Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme Onlinegestützte Befragungen in verschiedenen Organisationen • Goethe Institut • Besucherreisen (bis 2005 Paper-Pencil) • InWEnt gGmbH • Amerikaprogramme • Japan Programm/ Programm in der Region Asien/Pazifik • Heinz Nixdorf Programm • Vorbereitungsstätte für Entwicklungszusammenarbeit (V-EZ) • Deutscher Entwicklungsdienst (DED)
Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - die Stakeholder Geldgeber Organisatoren Leistungs- empfänger Auswärtiges Amt Bundesministerium für wirtschaftl. Zusammen-arbeit und Entwicklung Goethe Institut InWEnt gGmbH DED Journalisten, Meinungsträger Schüler/Studenten Arbeitnehmer
Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - Organisation & Zielvorgaben • Rechtfertigungszwang der Organisatoren gegenüber dem Geldgeber • Auftraggeber der Evaluation sind die Organisatoren, Adressat der Geldgeber • Kontakte zwischen Evaluator und Geldgeber nur selten möglich • Wenig Erfahrungen mit Evaluationen und ihren Aussagemöglichkeiten bei den Organisatoren • Schwierigkeiten bei der präzisen Formulierung der unterschiedlichen Ziele: • z.B. Abbildung von Berufsbiographien • z.B. Abbildung des Nutzens von Auslandsaufenthalten für spätere Arbeitgeber • Schwierigkeiten bei der Operationalisierung der Ziele • Frageformulierung • Filterführung • Konkurrenz durch Inhouse-Programme
Was soll überhaupt geprüft werden? Empfehlungen zur Zielexplikation • Berücksichtigung der Ziele aller Stakeholder • Wenn möglich: Interviews, Gruppendiskussionen mit allen Teilnehmern • Analyse verwandter Literaturbereiche (Auslandsentsendung) • Analyse von Programmunterlagen, Flyern • Analyse von Politikerklärungen des Geldgebers • Analyse von Zwischen- und Abschlussberichten der Teilnehmer • Konfrontation und Diskussion der verschiedenen Ziele mit dem Auftraggeber, Zielranking • Bei regelmäßigen Evaluationen: Aktualisierung der Ziele
Was soll überhaupt geprüft werden? Die Ziele der Geldgeber Geldgeber Organisatoren Leistungs- empfänger • Vermittlung eines positiven, modernen Deutschlandbildes • durch Besuche in Deutschland • durch Berichte und Auftreten im Ausland
Was soll überhaupt geprüft werden?Zusätzliche Ziele der Organisatoren Geldgeber Organisatoren Leistungs- empfänger • Vermittlung konkreter Unterstützung/ Informationen • Auslandserfahrung • Berufserfahrung • Sprachförderung
Was soll überhaupt geprüft werden? Zusätzliche Ziele der Leistungsempfänger Geldgeber Organisatoren Leistungs- empfänger • Persönlichkeits- entwicklung • Abenteuer
Der Wirksamkeitsnachweis - Ziele der Geldgeber und Operationalisierungsmöglichkeiten • Vermittlung eines positiven Deutschlandbildes • Beitrag des Aufenthaltes zur Veränderung des Deutschlandbildes bzw. des Gastlandbildes einschätzen • Kontakte zur einheimischen Bevölkerung während des Aufenthaltes und Aufrechterhaltung der Kontakte • Kontakte zu Angehörigen anderer Nationalitäten während des Aufenthaltes und danach
Ein Beispiel 2005/2006 Umstellung auf Onlinebefragung: Wenn revidiert Hat sich Ihr Deutschlandbild verbessert vs. verschlechtert? In welchen Aspekten hat sich Ihr Deutschlandbild verändert? Was gefällt Ihnen besser, was weniger gut?
Der Wirksamkeitsnachweis - Ziele der Organisatoren und Operationalisierungsmöglichkeiten • Berufserfahrung, Auslandserfahrung, Sprachliche Entwicklung • Berufsbiographien: wer ist der Arbeitgeber, Internationalität der Aufgabe sowie des Arbeitgebers, Führungsebene, Einfluss des Aufenthaltes auf weitere Beschäftigung • Weiterbildung in Folge des Aufenthaltes, Nutzung der Auslandserfahrung durch den Arbeitgeber • Einschätzung der eigenen Sprachkenntnisse, Berichte über Nutzung der Sprachkenntnisse im Beruf • Vermittlung konkreter Unterstützung/Informationen • Zufriedenheit mit Gesprächspartnern, Kontakten, Infomaterialien • Einschätzung des Nutzens der Informationen für die eigene Arbeit
Ein Beispiel Inwiefern hat Ihr Praktikum Ihre Position am Arbeitsmarkt verändert?
Ein Beispiel War die berufliche Position, die Sie nach dem Aufenthalt eingenommen haben, im Vergleich zu vorher eine......
Der Wirksamkeitsnachweis - Ziele der Leistungs-empfänger und Operationalisierungsmöglichkeiten • Persönlichkeitsentwicklung, Abenteuer • Selbsteinschätzungen in Bezug auf die Verbesserung bei verschiedenen Eigenschaften, Kompetenzen, Soft Skills • Berichte über Erfahrungen, die nur im Ausland gemacht werden können, Selbstberichte über die besonderen Erfahrungen während des Aufenthaltes • Analyse offener Aussagen
Ein Beispiel Durch den Aufenthalt haben sich die folgenden Kenntnisse/Fähigkeiten positiv entwickelt:
Ein Beispiel • „Dies gibt mir großes Selbstbewusstsein. Dass ich alles Organisatorische etc geschafft und eine neue Kultur erfahren und erschlossen habe (in allen Bereichen des Lebens inkl. Arbeit, Alltag, Freundschaften).“ • „Ich versuche mich selbstständig zu machen und diesen Mut hatte ich vorher nicht.“ • „Durch internationale Kontakte habe ich eigene Werte und Charakterzüge neu überprüft.“ • „Internationale Entwicklungsprogramme (beruflich, privat) sind wohl eine der wichtigsten Investitionen in junge Menschen. Die Chancen sich weiterzuentwickeln (beruflich, menschlich) werden fast immer wahrgenommen. Für mich war diese Zeit die beste Zeit meines Lebens. Ohne dieses Programm wäre ich nicht dort, wo ich heute bin.“
Der Wirksamkeitsnachweis – eine neue Methode? Entwicklung von Eigenschaften und Kompetenzen im Verlauf von Auslandsaufenthalten • Quasilängsschnittliches Design: • Unterteilung des Auslandsaufenthaltes in drei Gruppen • Befragung aller Gruppen zu zwei Zeitpunkten • Gruppe 1: vor der Entsendung und zu Beginn des Aufenthaltes • Gruppe 2: während der Entsendung • Gruppe 3: am Ende der Entsendung und nach der Rückkehr ins Heimatland • Erfassung der Entwicklungen innerhalb der Gruppen • Identifikation der Einflüsse verschiedener Auswahl-, Vorbereitungs- und Betreuungsmöglichkeiten auf die Ausprägung von Kompetenzen und Eigenschaften
Herzlichen Dank für Ihre Aufmerksamkeit! Prof. Dr. Georg Rudinger Zentrum für Evaluation und Methoden Rheinische Friedrich-Wilhelms-Universität Bonn Bonner Talweg 57 53113 Bonn Tel: 0228 - 33 64 11 04 rudinger@uni-bonn.de www.zem.uni-bonn.de