Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen Werner W. Wittmann Univers

1. Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzenWerner W. WittmannUniversität Mannheim 45. Kongress der Deutschen Gesellschaft für Psychologie Nürnberg, 17. – 21. September 2006

2. Gliederung • Lokalkolorit • Welche methodischen Fehler begehen wir in Forschung und Evaluation • Was wissen wir über die Effektivität unserer Interventionen • Eine einfache Idee, die Effektstärke am break-even Punkt und die Abschätzung eines ROI (return on investment) Koeffizienten • Ausgewählte Beispiele

3. Ludwig Erhard: Franke und Begründer der sozialen Marktwirtschaft,Wirtschaftsminister und Bundeskanzler, Vater des Wirtschaftswunders „Ökonomie ist zu 50% Psychologie!“

4. Die Anwendungsfelder psychologischer Interventionen und Strategien nach Pawlik (1976) Auswahlstrategien Personalauswahl Schüler- und Studenten= auswahl Laufbahnberatung Counseling Berufsberatung Erziehungsberatung Bedingungen Personen Arbeitsplatzgestaltung Organisationsentwicklung Umweltgestaltung Familientherapie Personalentwicklung Training Therapie Modifikationsstrategien

5. Evidenzbasierte Interventionen und Strategien? • Wissen wir was wir tun? • Welche monetär und nicht monetär bewertbare Evidenzen kann die Psychologie vorweisen? • Nur nichtmonetär bewertbare Evidenzen? • Der Stellenwert systematischer Evaluationsforschung und Programmevaluation • Meta-Analysen zu Synthese der Evidenz von Interventionen, Strategien und Programmen

6. ProgrammBehandlungIntervention Kriterien-zielbereich Ausgangslage Nordwest-Pfad Bewertungs-bereich ETR-Box rPR-ETR rETR-KR EVA-Box PR-Box KR-Box rPR-KR NTR-Box rPR-NTR rNTR-KR Südwest-Pfad Die Konzeption der fünf Datenboxen

7. Selection effects due to restriction (enhancement) of range 1 Danger to overestimate 1 Danger to underestimate Psychometric reliability of experimental treatment and criterion 2 Dangers to underestimate Construct reliability of experimental treatment and criterion 2 Dangers to underestimate (lack of symmetry) Sampling error 1 Danger to overestimate (positive error) 1 Danger to underestimate (negative error) The Brunswik-lens-equationfor relating experimental treatment (ETR) to criteria (CR) There 6 dangers to underestimateagainst 2 dangers to overestimateA true effect size!

9. ETR-Box PR-Box CR-Box NTR-Box The beauty of Brunswik symmetry ETR - Experimental Treatment BoxPR - Predictor BoxCR - Criteria BoxNTR - Nonexperimental Treatment Box

10. Validität der einzelnen eignungsdiagnostischen Verfahren Leistungstests Intelligenztests Arbeitsproben Assessment Center Biograph. Fragebogen Med. Begutachtung Interview Gruppengespräche Bewerbungsunterlagen Referenzen Individuelle Gespräche Zeugnisnoten Persönlichkeitstests Graphologie 0 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55

11. 0 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Einsatzhäufigkeit der einzelnen eignungsdiagnostischen Verfahren Leistungstests Intelligenztests Arbeitsproben Assessment Center Biograph. Fragebogen Med. Begutachtung Interview Gruppengespräche Bewerbungsunterlagen Referenzen Individuelle Gespräche Zeugnisnoten Persönlichkeitstests Graphologie

12. Asymmetrien zwischen Validität und Einsatzhäufigkeit:Konsequenz hohe Opportunitätskosten

13. U: Utility(benefit) of selection strategy in $ NPOS: Number of positions to be filled rCR.PR: Validity (Pearson r) of strategy SDPROD: Standard deviation of productivity of those working on the job Z‘ : Average score of those selected on the assessment instrument in z-scores (mean=0,sd=1) SR: Proportion of those selected,i.e. the selection rate DISC: Discounting factor of utility given someone stays T-years on the job C: Cost of selection strategy per tested applicant DISC= ((1+i)T – 1)/(i*(1+i)T) i : Discounting proportion, e.g. the average inflation rate per year The cost-benefit equation for selection decisions: U=NPOS*rCR,PR*SDPROD*Z‘*DISC-NPOS*C/SR

14. Evaluating Programs With Kirkpatrick‘s Four Levels:Outcome criteria very popular in training and marketing research Level 1 - Reaction Level 2 - Learning Level 3 - Behavior Level 4 - Results Source: Kirkpatrick,D.L.(1998) Evaluating training programs.The four levels (2nd ed.). San Francisco:Berrett-Koehler Publishers,Inc.

15. Die Brogden-Cronbach-Gleser Kosten-Nutzen-Analyse von Interventionen, das „Dornröschen“ der Kosten-Nutzen-Analyse: Folgende Kennwerte werden aus der Evaluationsforschung benötigt. • Effektgrößemaße für die Intervention (d) • Die Wirkungsdauer des Effektes (T) • Die Anzahl der Trainierten,Therapierten,Rehabilitierten (N) • Die Gesamtkosten pro Person (K) • Die Standardabweichung der Produktivität (SDPROD) • Die proportionale Überlappung des Effektes zur Produktivität (a) • Diese Informationen können in folgender Nutzengleichung zusammengefasst werden, um den gesamten Nettonutzen (U) zu schätzen.

16. Die Standardabweichung der Produktivität, das „Dornröschen“ Kosten-Nutzen-Gleichung • Ökonomen scheiterten SDProd zu schätzen und ins „Leben“ zu erwecken • Zwei Psychologen, Frank Schmidt und Jack Hunter gelang es jedoch erste brauchbare Schätzungen vorzulegen • Die Faustregel 40-70% des Gehalts • L. Erhard hätte dies sicherlich gefreut basieren diese Schätzungen doch auf Prinzipien der Marktwirtschaft • Wann erhalten beide endlich den Nobelpreis für Ökonomie?

17. Meta-Analyse, der Königsweg zur Evidenz:Drei Männer und Ansätze der „Ersten Stunde“ • Gene Glass • Frank Schmidt • Robert Rosenthal

18. Meta-analysis results of the relationship between design and evaluation features and the effectiveness of organizational training(Arthur et al. 2003)

19. Die einfache Idee: Frage: Unter welchen Rahmenbedingungen wiegt der Nutzen die Kosten gerade auf? Frage:Welche Effektstärken müssen wir dafür wenigstens erzielen? Antwort:Über Break-Even-Point AnalyseBruttonutzen = KostenN * T * SDPROD * d * a = N * K Antwort:

20. Effect size at the break-even-point an example: Assume that a training program total cost C=8000$ per trainee, The effect holds on for two years (T= 2). The outcome measure assessing communications skills to improve costumer oriented selling has an overlap of a=.60 with productivity. Yearly salary in that job category is 40000$ and we use the 70% estimate, thus SDPROD= 28000$. d = 8000$/(2*.60*28000$); d = .24 In Cohen‘s classification this is an effect close to a small one and meta-analysis results might additionally hint that programs similar to the one we use or want to evaluate have still larger effects.

21. Das Return on Investment Konzept (ROI) Vergleichen wir nun unseren Effekt am break-even-point mit den Effekten,die wir aus Meta-Analysen kennen, so können wir den ROI-Koeffizienten für diese Interventionen abschätzen: ROI= dMetanalyse/dbreak-even In unserem Beispiel aus der Meta-Analyse von Arthur et al. ist der Effekt für Results (monetär) d= .62 also : ROI(Personaltraining) = .62/.24 = 2.58 Solche ROI‘s sind beträchtlich und lassen erheblichen Spielraum für Sensitivitätsanalysen, d.h. auch unter konservativen Szenarien bleiben sie in einer Höhe mit der psychologische Interventionen absolut konkurrenzfähig zu anderen Investitionsentscheidungen sind.

22. Computing an effect size necessary to compete with others claiming to have a certain ROI • Other competitor about investments may claim having a ROI=2, which means after a year for each dollar the investor get two dollars back. Impressive indeed. Can we compete, what effect size do we have to demonstrate to get a similar ROI? Well • d necessary = ROI* dBreak-Even and using data from the example above: • d necessary = 2 * .24 • d necessary = .48! • This is a medium sized effect only. So shouldn‘t we be confident in competing?

23. Lipsey and Wilson (1993) effect size distribution

24. Effektgröße d für EMEK_27 EQUA-Studie (Schmidt, Nübling, Steffanowski & Wittmann, 2002) • EMEK_27 vor Reha: • EMEK_27 nach Reha: • d = (17,1 – 12,0) / 5,3 • d = 0,96 • Der Effekt beträgt fast eine ganze Standardabweichung. • Dem durchschnittlichen Patienten geht es insgesamt besser als 84 % der Patienten vor der stationären psychosomatischen Rehabilitation! • ROI = d / d BREAK-EVEN = 0,96/0,37; • ROI = 2,59 !

25. Monetär bewertbare Nutzenaspekte (Zielke, 1995)(Objektiv erhobene Daten in Einzelbetriebskrankenkassen ausBaden-Württemberg, Nordrhein-Westfalen, Rheinland-Pfalz) Errechnete Kosten-Nutzen-Relation je Patient (Gesamt) 1 : 2,49 ROI = 2,49je erwerbstätiger Patient 1 : 3,46 ROI = 3,46

26. OPPORTUNITÄTSKOSTENEin Beispiel zur Veranschaulichung der Konsequenzen falscher gesundheitspolitischer Entscheidungen Annahme: Eine Einrichtung erzeugt eine durchschnittliche Effektstärke von d = 1,00im Laufe eines Jahres werden 1000 Patienten behandelt: N = 1000Der Behandlungseffekt hält 2 Jahre (T) lang an: T = 2Die Kosten pro Patient betragen - direkt 5.000,- € (Behandlungskosten)- indirekt 3.000,- € (Lohnfortzahlung für 1,5 Monate): K = 8.000,- €Die Standardabweichung der Produktivität beträgt 70%des Jahresgehaltes (13 * 2.000,- € = 26.000,-€) ergibt: SDPROD = 18.200,- € Der erzielte Globaleffekt korreliert zu .60 mit der Produktivität: a=.60 Wir setzten die Werte in unsere Kosten-Nutzengleichung ein: U = N * T * SDPROD * d * a - N * K ; d.h. U = 1000 * 2 * 18.200 € * 1 * ,60 - 1000 * 8.000 € U = 21.840.000,- € - 8.000.000,- €U = 13.840.000,- Millionen € an entgangenem Nutzen (Opportunitäten) = Opportunitätskosten

27. Demands on the workforce • CP SNOW‘s distinction of the two cultures • Buz Hunt‘s question: Will we be smart enough? • Camilla Benbow and David Lubinski‘s focus on tilted profiles in aptitude and achievement

28. 800 800 500 500 200 200 Tilted Profiles as demands of the workplace VERBAL QUANT

29. 800 800 500 500 200 200 Tilted Profiles as demands of a different workplace QUANT VERBAL

30. 800 800 500 500 200 200 Even Profiles of still another one QUANT VERBAL

34. EQS PATH-Diagram: PISA_causalmodel1 List of the 24 countries used for this model analysis: AUT BEL CAN CHE CZE DNK ESP FIN FRA GBR GER GRC HUN IRL ITA JPN NLD NOR POL PRT SVK SWE USA STMORALE: Student moral index SCMATEDU: Quality of educational materials PROPMATH: proportion of math teachers A detailed description of these indices is to be found in VariableInformation_Schoolindices.doc IQ_COUNT: Country IQ from Lynn&Vanhanen ZRE:2: Logrealgdp from Lynn&Vanhanen with oil and socialism dummies partialled out. AUS

37. Zusammenfassung und Empfehlungen • Die Psychologie hat die Effektivität ihrer Interventionen in zahlreichen Grundlagen- und Anwendungsfeldern beeindruckend nachgewiesen • Leider besteht noch immer die Gefahr ökonomisch bedeutsame Effekte durch Defizite der Forschungsmethodologien nicht zu entdecken • Meta-Analyse-Techniken sind einer der größten Exportschlager der psychologischen Methoden geworden • Kosten-Nutzen-Analysen sind auch für viele psychologische Interventionen realisierbar • Ängste, bezüglich monetärer Effektivität erscheinen vollkommen unbegründet • Wenden Sie die vorgeschlagenen Methoden in ihrem Anwendungsbereich an und sie werden erstaunt sein und sich fragen warum sie nicht schon längst solche Analysen durchgeführt haben.