Evidence-Based Practice

1. Evidence-Based Practice Sioo, 8 april 2013 Utrecht

2. Evidence-based practice • Wat is het? • Waarkomt het vandaan? • Hoe ziet het eruit in eenopleiding?

3. Evidence based practice: Wat is het?

4. Definition Evidence based practice: Improve information to support decision making

5. Evidence-based practice Uitgangspunt bij evidence-based practice is dat beslissingen gebaseerd dienen te zijn op een combinatie van kritisch denken en de best beschikbare 'evidence'.

6. Evidence based practice Met het begrip 'evidence' wordt niet meer bedoeld dan 'informatie'. Dit kan informatie zijn afkomstig uit wetenschappelijk onderzoek, maar ook interne bedrijfsinformatie en persoonlijke ervaring geldt als 'evidence’.

7. Evidence based practice In principe neemt iedere manager dus beslissingen op basis van 'evidence'. De meeste managers besteden echter nauwelijks aandacht aan de kwaliteit van de 'evidence' waarop ze hun beslissingen baseren.

8. Evidence-based practice: • kritisch denken • van verschillende informatiebronnen gebruik maken >> best available evidence? • de evidence kritisch tegen het licht houden • denken in termen van waarschijnlijkheid in plaats van 'golden bullets'.

9. Evidence based practice Best availableinternalevidence Best availableexternalevidence Evidence-based decision Professional expertise andjudgment Stakeholders’ values and concerns

10. Evidence based practice: Waarkomt het vandaan?

11. What field is this? • “there is a large research-user gap” • “practitioners do not read academic journals” • “the findings of research into what is an effective intervention are not being translated into actual practice” • “academics not practitioners are driving the research agenda” • “the relevance, quality and applicability of research is questionable” • “practice is being driven more by fads and fashions than research” • “many practices are doing more harm than good”

12. Medicine: Founding fathers David Sackett Gordon Guyatt McMaster University Medical School, Canada

13. How it all started

14. Problem I: persistent convictions if you’re hyperventilating breathe into a bag

15. Problem I: persistent convictions elderly people who have an irregular heartbeat are much more likely to die of coronary disease give them a drug that reduces the number of irregular beats

16. How 40,000 cardiologists can be wrong In the early1980s newly introduced anti-arrhythmic drugs were found to behighly successful at suppressing arrhythmias. Notuntil a RCT was performed was it realized that, althoughthese drugs suppressed arrhythmias, they actually increasedmortality. By the time the results of this trial were published, at least100,000 such patients had been taking these drugs.

17. Problem II: too much information • More than 1 million articles in 40,000 medical journals per year (= 1995; now probably more than 2 million). For a specialist to keep up this means reading 25 articles every day (for a GP more than 100!)

18. Problem I: persistent convictions Maslow, A.H. (1943). "A Theory of Human Motivation," Psychological Review 50(4) Wahba, M. A., & Bridwell, L. G. (1976). Maslow reconsidered: A review of research on the need hierarchy theory. Organizational Behavior and Human Performance, 15(2)

19. True or false? Incompetent people benefit more from feedback than highly competent people. Task conflict improves work group performance while relational conflict harms it. Encouraging employees to participate in decision making is more effective for improving organizational performance than setting performance goals.

20. How evidence-based are we? HR Professionals' beliefs about effective human resource practices: correspondence between research and practice, (Rynes et al, 2002, Sanders et al 2008) • 959 (US) + 626 (Dutch) HR professionals • 35 statements, based on an extensive body of evidence • true / false / uncertain • On average: 35% - 57% correct

21. Problem II: too much information • HRM: 1,350 articles in 2010 (ABI/INFORM). For an HR manager to keep up this means reading 3 to 4 articles every day (for a ‘general’ manager more than 50!) BTW: most of the research is seriously flawed or irrelevant for practice

22. David Sackett • Half of what you learn in medical school will be shown to be either dead wrong or out-of-date within 5 years of your graduation; the trouble is that nobody can tell you which half. • The most important thing to learn is how to learn on your own: search for the evidence! • (Remember that your teachers are as full of bullshit as your parents)

23. The 5 steps EBP: pull approach • Formulate a focused question (Ask) • Search for the best available evidence (Acquire) • Critically appraise the evidence (Appraise) • Integrate the evidence with your professional expertise and apply (Apply) • Monitor the outcome (Assess)

24. Evidence-Based Practice 1991Medicine 1998Education 1999Social care, public policy 2000Nursing 2000Criminal justice ????Management?

25. Evidence based practice: Hoe ziet het eruit in de opleiding?

26. Evidence-based practice Fase 1: Het ontwikkelen van kritisch en wetenschappelijk denken dat leidt tot een professioneel-kritische attitude met betrekking tot organisatievraagstukken Fase 2: Het kunnen formuleren van een expliciete vraag en op basis van deze vraag kunnen zoeken in online databases naar uitkomst van relevant wetenschappelijk onderzoek. Fase 3: Het kritisch kunnen beoordelen van wetenschappelijke en organizational evidence (criticalappraisal) Fase 4: Uitkomst van wetenschappelijk onderzoek kunnen toepassen in de eigen beroepspraktijk (application of science)

27. Evidence based practice Best available organizational evidence Best available scientific evidence Evidence-based decision Professional expertise andjudgment Stakeholders’ values and concerns

28. Trust me, 20 years of experience

29. Bounded rationality

30. Bounded rationality

31. Het feilbarebrein • System 1 • Snel, actie • Intuitief, associatief • shortcuts & biasses • System 2 • Langzaam (lui!) • Rationeel • Nadenken

32. Bounded rationality neo cortex (systeem2) limbischesysteem en hersenstam (systeem1)

33. Systeem 1

34. Systeem 1: het feilbarebrein • Seeing order in randomness • Mental corner cutting • Misinterpretation of incomplete data • Halo effect • False consensus effect • Group think • Self serving bias • Sunk cost fallacy • Cognitive dissonance reduction • Confirmation bias • Authority bias • Small numbers fallacy • In-group bias • Recall bias • Anchoring bias • Inaccurate covariation detection • Distortions due to plausibility

35. Fase 1: Kritisch & wetenschappelijkdenken Denkfouten Informatiebronnen Mythbusting Assumpties

36. Richard Feynman “The first principle is thatyou must not fool yourself - andyou are the easiest person to fool”.

37. Seeing order in randomness • EenType I foutof eenvalspositief:denkendatereenpatroon / verband is terwijldater in het echtniet is. • EenType II foutof eenvalsnegatief:denkendatergeenpatroon / verband is terwijldater in het echtwel is Dr. Michael Shermer (Director of the Skeptics Society)

38. Het feilbarebrein: patern recognition • EenType I foutof eenvalspositief: denkendat het geritsel in de bosjeseengevaarlijkroofdier is, terwijl het gewoon de wind is (goedkoopfoutje)

39. Het feilbarebrein: patern recognition • EenType II foutof eenvalsnegatief: denkendat het geritsel in de bosjesgewoon de wind is, terwijl het eengevaarlijkroofdier is (duurfoutje)

40. Het feilbarebrein: patern recognition • EenType I foutof eenvalspositief: denkendat het geritsel in de bosjeseengevaarlijkroofdier is, terwijl het gewoon de wind is (goedkoopfoutje) DEFAULT • EenType II foutof eenvalsnegatief: denkendat het geritsel in de bosjesgewoon de wind is, terwijl het eengevaarlijkroofdier is (duurfoutje)

41. Het feilbarebrein: patern recognition Ookervarenmensen en experts zienpatronen en verbandenwaarzenietzijn. stress & lifestyle peptic ulcer

42. Oct 2005 Peptic ulcer – an infectious disease! This year's Nobel Prize in Physiology or Medicine goes to Barry Marshall and Robin Warren, who with tenacity and a prepared mind challenged prevailing dogmas. By using technologies generally available (fibre endoscopy, silver staining of histological sections and culture techniques for microaerophilic bacteria), they made an irrefutable case that the bacterium Helicobacter pylori is causing disease. By culturing the bacteria they made them amenable to scientific study. In 1982, when this bacterium was discovered by Marshall and Warren, stress and lifestyle were considered the major causes of peptic ulcer disease. It is now firmly established that Helicobacter pylori causes more then 90% of duodenal ulcers. The link between Helicobacter pylori infection and peptic ulcer disease has been established through studies of human volunteers, antibiotic treatment studies and epidemiological studies.

43. Errors and Biases of Human Judgment superstitious rituals superstitious rituals more stress = more prone to biases

44. Errors and Biases of Human Judgment

47. Beliefs vs Evidence “What gets us into trouble is not what we don't know, it's what we know for sure that just isn't so.” Mark Twain

48. Het feilbarebrein: patern recognition • Ook slimme mensen houden er verkeerde ideeën op na, niet omdat ze dom of eigenwijs zijn, maar omdat het de meest logische conclusie is op basis van hun eigen ervaringen. (systeem 1 doetaltijdmee!)

49. Evidence-based practice Fase 1: Het ontwikkelen van kritisch en wetenschappelijk denken dat leidt tot een professioneel-kritische attitude met betrekking tot organisatievraagstukken Fase 2: Het kunnen formuleren van een expliciete vraag en op basis van deze vraag kunnen zoeken in online databases naar uitkomst van relevant wetenschappelijk onderzoek. Fase 3: Het kritisch kunnen beoordelen van wetenschappelijke en organizational evidence (criticalappraisal) Fase 4: Uitkomst van wetenschappelijk onderzoek kunnen toepassen in de eigen beroepspraktijk (application of science)