3. Konferenz für Sozial- und Wirtschaftsdaten, 11./12. Mai 2006

1. 3. Konferenz für Sozial- und Wirtschaftsdaten, 11./12. Mai 2006 Benchmarking der aktiven Arbeitsmarktpolitik auf regionaler Ebene Marcus Tamm RWI Essen und Ruhr-Universität Bochum Marcus Tamm

2. Benchmarking der Arbeitsmarktpolitik • Überblick über Präsentation • Evaluationsauftrag und Ziele • Vorgehensweise • Ergebnisse • Schlussfolgerungen Marcus Tamm

3. 1. Evaluationsauftrag und Ziele • Benchmarking ist Teil der „Hartz-Evaluation Modul 1f: Verbesserung der beschäftigungspolitischen Rahmenbedingungen und Makrowirkung der aktiven Arbeitsmarktpolitik“ • Benchmarking stammt aus BWL: Vergleich des Abschneidens (Performance) unterschiedlicher Organisationseinheiten gegenüber eines Standards (Benchmark) • Ziele: • Ermittlung der Gesamtperformance einer Organisationseinheit • Ermittlung möglicher Ursachen hierfür • Basis für Lernprozesse • Ziele des Benchmarking der aktiven Arbeitsmarktpolitik: • Ermittlung von Unterschieden in Performance zwischen Agenturen • Aufzeigen von möglichen Ursachen hierfür • Überprüfung der Sensitivität der ermittelten Ergebnisse Marcus Tamm

4. 2. Vorgehensweise • Daten: Bestands- und Stromgrößen des Arbeitsmarktes, regionale Kontextvariablen sowie eigene Befragung aller Agenturen • Vorgehensweise: • Schritt 1: Entwicklung eines Verbundindikators zur Messung von Performance und Sensitivitätsanalyse • Schritt 2: Untersuchung des Einflusses regionaler Kontextvariablen auf Performancemaß • Schritt 3: Untersuchung des Zusammenhanges zwischen aktiver Arbeitsmarktpolitik und Performancemaß (gegeben regionaler Kontext) • Schritt 4: Untersuchung des Zusammenhanges zwischen Effizienzunterschieden und Organisationsstrukturen • Wichtig: Benchmarking ist ein rein deskriptives Instrument • Vorsicht bei strukturellen Schlussfolgerungen dringend geboten Marcus Tamm

5. 3. Ergebnisse • Schritt 1: Verbundindikator als Performancemaß • Ausgangspunkt: 61 Einzelindikatoren der lokalen Arbeitsmarkt-situation (Bestands- und Stromgrößen; gesamt und getrennt für Männer, Frauen, Jüngere) • Diese sind teilweise sehr hoch miteinander korreliert  Reduktion sinnvoll und ohne nennenswerten Informationsverlust möglich  Reduktion auf sechs Indikatoren • Festlegung der Benchmark: beobachtbare Ober- bzw. Untergrenze • Bestimmung des Performancemaßes mit Hilfe von Radar-Charts  SMOP-Werte (reagiert nicht sehr sensitiv auf Anordnung der Indikatoren) • Ergibt erstes Ranking der 176 Agenturbezirke (Berlin vereint)  dieses weicht vom Ranking anhand der Arbeitslosenquoten ab • SMOP-Werte sind abhängige Variablen in nachfolgender stochastischer Effizienzgrenzenanalyse (Efficiency Frontier Analysis) Marcus Tamm

6. 3. Ergebnisse • Schritt 2: Einfluss regionaler Kontextvariablen • EFA: (Panel-) Regressionsmodell mit aus zwei Komponenten bestehendem Störterm; eine der beiden Komponenten kann als Ineffizienz interpretiert werden • EFA setzt Gültigkeit spezieller Verteilungsannahmen über Störterm voraus; Sensitivitätstest anhand eines „normalen“ random-effects Panelmodells • Regionale Kontextvariablen (z.B. Kurzarbeiter, Branchenstruktur der Beschäftigung, Betriebsgrößenstruktur, Ost/West, Regionaldirektionen etc.)erweisen sich als signifikante und im Zeitablauf recht stabile Erklärungsfaktoren der Performance • Typisierung der Agenturbezirke wurde nicht verwendet, da diese primär aus der Unterbeschäftigungsquote abgeleitet wird • Kontrolle um regionale Kontextvariablen verändert Ranking der Agenturen teilweise sehr deutlich • Berücksichtigung der „Ausgangssituation“ für arbeitsmarktpolitischen Instrumenteneinsatz ist also sehr wichtig Marcus Tamm

7. 3. Ergebnisse • Schritt 3: Zusammenhang zwischen Politikeinsatz und Performance (gegeben regionaler Kontext) • Abbildung des Politikeinsatzes durch Pro-Kopf-Ausgaben für aktive Arbeitsmarktpolitik sowie Ausgabenanteile für (i) Einzelmaßnahmen bzw. (ii) Maßnahmegruppen (Humankapitalmaßnahmen, Sub-ventionen 1. AM, Subventionen 2. AM, Jugendmaßnahmen und Sonstiges) • Einfluss regionaler Kontextvariablen ändert sich kaum • Zusammenhang zwischen Politikeinsatz und Performance unter-scheidet sich deutlich zwischen den Zeiträumen vor und ab 2003 • Nach 2003: Signifikant positive Assoziation zwischen Subventionen 1. AM und Performance für alle Bevölkerungsgruppen (v.a. durch Existenzgründungsförderung getrieben) • Jugendmaßnahmen nur mit Performancemaß für unter 25-jährige positiv assoziiert; uneinheitliches Bild für andere Maßnahmegruppen • Höhe der Pro-Kopf-Ausgaben ist für beide Zeiträume positiv mit Performance korreliert (auch für alle Bevölkerungsgruppen) Marcus Tamm

8. 3. Ergebnisse • Schritt 4: Effizienzunterschiede und Organisationsstruktur • Untersuchung des Zusammenhanges zwischen Performance und Merkmalen der Organisationsstruktur bedingt auf regionalen Kontext und Einsatz der Arbeitsmarktpolitik • Problem: Hohe Antwortverweigerungsrate in Agenturbefragung • Organisationsstrukturmerkmale: Anzahl AN- und AG-Kunden, Handlungsspielraum der Agenturen, Einfluss der Regionaldirektion, Zusammenarbeit mit anderen Akteuren des lokalen Arbeitsmarktes • Diese sind insgesamt nur sehr schwach mit Effizienzunterschieden assoziiert • Nach 2003: Effizienz höher in Agenturen mit guter Betreuungs-relation im AN-Bereich; stärkere Fachaufsicht der Regionaldirektion geht ebenfalls mit höherer Effizienz einher • Aufgrund der wenigen Beobachtungen sind diese Ergebnisse aber nur sehr eingeschränkt interpretierbar Marcus Tamm

9. 4. Schlussfolgerungen • Benchmarking kann als Instrument zum Vergleich der Performance einzelner Agenturen dienen • Wichtig: Kontrolle um regionale Kontextfaktoren • Basis für weiterführende Prozessanalysen in Agenturen • Probleme: • Ergebnisse können sehr sensitiv auf unterschiedliche Annahmen reagieren • Kausale Schlussfolgerungen nur eingeschränkt möglich • Breite Datenbasis notwendig • Für Lernprozess: Benchmarking als kontinuierlicher Prozess statt punktueller Einzeluntersuchungen • Hierfür: Aufbau einer geeigneten Datenbasis (Monitoringsystem) notwendig Marcus Tamm