Disegni quasi-sperimentali e sperimentali

1. Disegni quasi-sperimentali e sperimentali

2. Introduzione Il disegno quasi-sperimentale e sperimentale elimina alcune minacce contro la validità interna (threats) che limitano la “forza” del disegno before-and-after, il più semplice disegno di valutazione di efficacia di un intervento. In questa lezione si parlerà prima di come un disegno before-and-after può evolvere a un disegno quasi-sperimentale con l’aggiunta di uno o più elementi e poi di disegni sperimentali. Negli ambienti di lavoro i disegni quasi-sperimentali sono maggiormente fattibili dei disegni sperimentali.

3. Ci sono cinque strategie per migliorare il disegno prima-e-dopo • Strategia 1: Aggiungere un gruppo di controllo • Strategia 2: Prendere più misure prima e dopo l’implementazione dell’intervento • Strategia 3: Sfasare l’introduzione dell’intervento tra i gruppi • Strategia : Aggiungere una fase di rimozione dell’intervento • Strategia 5: Usare misure di outcome addizionali

4. Strategia 1 Aggiungere un gruppo di controllo Pre-post con controlli non-randomizzati OXO O O

5. Pre-post con controlli non-randomizzati Come nel disegno sperimentale, vi è almeno un gruppo che riceve l'intervento (gruppo di intervento) ed un gruppo che non lo riceve (gruppo di controllo). La differenza sta nel modo in cui i partecipanti sono assegnati ai gruppi per l’intervento e la valutazione. In un esperimento i partecipanti sono assegnati a caso; nei disegni quasi-sperimentali l'assegnazione è determinata spesso dall'organizzazione del lavoro.

6. Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali Il principio fondamentale nella scelta non-randomizzata dei gruppi per un disegno quasi-sperimentale è quello di renderli confrontabili. Dovrebbero essere simili sotto tutti gli aspetti eccetto che per l'intervento. Nel confrontare due reparti, è necessario trovarne due che siano simili rispetto al tipo di attività lavorativa. Per selezionare gruppi che si assomiglino, si potrebbero cercare reparti simili in ambienti di lavoro differenti, preferibilmente nello stesso tipo di industria.

7. Costituire i gruppi (intervento e controllo) negli studi quasi-sperimentali • caratteristiche del lavoratore (per esempio, età, sesso, esperienza) • natura delle mansioni di lavoro • ambiente del lavoro (cioè, esposizione ai rischi, controlli per la sicurezza) • fattori contestuali (per esempio, cultura sulla sicurezza e la salute; sostegno dell'amministrazione per la sicurezza) • registro di informazioni sulla sicurezza La scelta dipende dalla situazione locale. Non possiamo dire specificamente quale gruppo sarebbe meglio, ma possono essere prese in considerazione alcune caratteristiche

8. Vantaggi del disegno “pre-post con controlli non-randomizzati Aggiungere un gruppo di controllo non-randomizzato al semplice disegno before-and-after riduce automaticamente alcune delle minacce alla validità interna. In particolare si riduce l'interferenza da circostanze esterne (history threats), perché quest’ultimo effetto si verificherà sia nel gruppo di controllo che nel gruppo di intervento. Quindi questo disegno permette di separare l'effetto dell'intervento da quello di altre circostanze.

9. Strategia 2 Prendere più misure prima e dopo l’implementazione dell’intervento Time series designs

10. Strategia 2: due approcci

11. Strategia 2a: “time series” sempliceOOOXOOO Un disegno time series semplice differisce dal disegno before-and-after perché si effettuano misurazioni multiple prima e dopo l'intervento. Si stabilisce un baseline time trend ottenendo svariate misure dei risultati prima di effettuare l'intervento. Dopo l'intervento si rifanno misurazioni multiple per stabilire un second time trend. Se l'intervento è efficace, troveremo una differenza tra le misure dei risultati nei due trend temporali.

12. Disegno “time series” semplice Vantaggi Nel primo riquadro si vede che vi è stato un decremento nella misura tra prima e dopo l’intervento. Tuttavia, questa differenza può essere dovuta a “history”, “maturation”, “instrumentation”, “regression-to-the-mean” o “Hawthorne threats”. Aggiungendo le misure, come indicate nel secondo riquadro, possiamo ridurre la probabilità di:

13. maturation threat perchè i cambiamenti dovuti ad aumento di età o di esperienza sono più graduali. • regression-to-the-mean o testing threats perché i risultati sono ripetutamente elevati prima e ripetutamente bassi in seguito. • Hawthorne e placebo threats perché la gente si adatta al cambiamento delle condizioni. • history effect threat perché le misure più numerose rendono un evento coincidente improbabile. • Restano possibili dropout e instrumentation threats, se non vi sono informazioni supplementari.

14. Quante misure sono necessarie per un disegno time series semplice? Il numero di misure necessarie per un time series design dipende dalla quantità di fluttuazione casuale della misura (rumore) e da quanto ci si aspetta possa essere l’impatto l’intervento (segnale). Generalmente sono necessarie 6-15 misurazioni per inquadrare il baseline time trend e altrettante per il second time trend.

15. Quante misure sono necessarie per un disegno time series semplice? Poiché sono necessarie molte misure, usando il tasso di infortunio come outcome, un time series design probabilmente non sarebbe adatto per studiare una piccola azienda, dove ci vorrebbe troppo tempo – un anno o più – per ottenere un trend di infortuni. Invece, il disegno potrebbe essere adatto per un gruppo di piccole aziende, un’azienda più grande, o nel caso si misurassero le condizioni del posto di lavoro anziché il tasso di infortunio. Queste situazioni consentono misurazioni più frequenti e più sicure.

16. Quante misure sono necessarie per un disegno time series semplice? Anche quando non è possibile prendere tante misure quante sono necessarie per un’analisi di serie cronologiche, effettuare misure supplementari nel tempo permette una migliore stima dell’effetto dell’intervento. Fornisce una migliore percezione del tipo di variabilità nel tempo e se l'ultima misura “before” è dello stesso ordine di grandezza di quelle che la precedono, e se la prima misura “after” è dello stesso ordine di quelle che seguono.

17. Strategia 2b: “time series” multiploOOOXOOOOOO OOO Ancora meglio di utilizzare separatamente la Strategia #1 o #2, si può rafforzare il disegno before-and-after, combinando entrambe le strategie (gruppo di controllo + molteplici misurazioni).

18. Strategia 3 Sfasare l’introduzione dell’interventonei due gruppi Multiple baseline design across groups OOOXOOO OOOOOO OOOXOOO

19. Multiple baseline design across groups L’introduzione sfasata di un intervento consente di ridurre marcatamente l’effetto “history threats”. Quando si effettua un intervento soltanto in un gruppo, non si può mai essere realmente sicuri che non sia accaduto qualcos'altro simultaneamente causando l'effetto misurato. Anche usando un gruppo di controllo, qualcosa potrebbe essere accaduto al gruppo di intervento (oltre all'intervento in se) tale da influenzare il risultato. Quando l’introduzione dell’intervento è sfasato, e l’effetto apparente è corrispondentemente sfasato, un “history effect” diventa una spiegazione improbabile dei risultati.

20. Multiple baseline across groups design Ogni volta che un ambiente di lavoro è composto da più divisioni o gruppi, l’introduzione sfasata di un intervento dovrebbe essere considerata come una alternativa prima di implementare l’intervento in tutta l’azienda. Questo approccio “sfasato” può permettere una valutazione provvisoria e, se necessario, una modifica dell’intervento o della sua implementazione, prima di applicarlo a tutta l’azienda (Tuttavia tali modifiche dovrebbero essere considerate nell’interpretazione dei risultati).

21. Esempio: In un’azienda fu introdotto un intervento prima in un reparto e poi in un altro. L'intervento iniziò con una sessione educativa su buone pratiche per la sicurezza. Successivamente i comportamenti di sicurezza sono stati misurati da un osservatore addestrato (3-4 volte alla settimana) che, usando una lista di controllo, forniva la percentuale di operazioni eseguite senza pericoli. Poiché la sequenza di eventi si era presentata non una ma due volte, questo fatto supportava il nesso causale tra l’intervento e il cambio di comportamento.

22. Strategia 4 Aggiungere una fase di rimozione dell’intervento

23. Un modo per rinforzare un disegno di tipo before-and-after o anche time series è far seguire all'introduzione di un intervento un'altra fase in cui l'intervento viene rimosso. Nel caso più semplice, ci sono tre fasi: una fase baseline, una fase di intervento e una fase di inversione. Se si rimuove l’intervento, si dovrebbe vedere un corrispondente cambiamento del risultato verso lo stato baseline.

24. Naturalmente, questo disegno non è adatto a tutte le situazioni, perché si spera che l'effetto di un intervento duri e quindi non si inverta facilmente. Tuttavia, questo approccio è utile quando il risultato misurato è il comportamento. In questo caso, l'intervento "è stato invertito" sospendendo l’invio delle risposte di feedback.

25. La dimostrazione dell’inversione dell’effetto comporta una marcata riduzione delle minacce interne alla validità (in particolare history, maturation, testing, dropout and Hawthorne, assumendo che i ricercatori esterni siano ancora presenti durante la fase di inversione). Gli effetti placebo e di strumentazione possono ancora rimanere elementi importanti e dovrebbero essere considerati. Dopo la dimostrazione dell'effetto d'inversione dell’intervento, si può riprendere l'intervento. Vantaggi di un disegno con una fase di inversione dell’intervento

26. L’altra faccia della medaglia è che cambiamenti ripetuti nella programmazione della sicurezza potrebbero generare confusione, stress ed risentimento fra i lavoratori interessati. Inoltre se un intervento è sembrato promettente, la sua rimozione potrebbe essere considerata non etica. Quindi, è una strategia da usare con attenzione. Svantaggi di un disegno con una fase di inversione dell’intervento

27. Strategia 5 Misurare molteplici outcome

28. Usare misure di outcome addizionali: due approcci

29. Aggiungere misure di risultati interposti Indicatori di risultati intermedi o interposti: • effetti a breve e medio termine dell'intervento • misure di esecuzione dell’intervento

30. Component 1 Component 2 Objectives Short-term outcomes Intermediate-term outcomes Long-term outcomes Esempi di indicatori interposti

31. Per quanto è fattibile dovremmo provare a misurare questi risultati interposti. Le misure di esecuzione dell’ intervento (documentazione degli acquisti di apparecchiatura e della modifica di compiti lavorativi) sono particolarmente importanti. Nel caso in cui un programma non abbia funzionato, si può distinguere un programma inefficace da un'esecuzione non corretta. Se un intervento non è stato effettuato come previsto, si potrebbe provare a migliorare questa parte dell'intervento, invece di scartare l'intervento complessivo.

32. Un esempio Un'azienda progetta di effettuare un programma ergonomico “partecipativo” e cioè: • costituire un comitato lavoratori-dirigenti • valutare i bisogni dei lavoratori • comprare nuove attrezzature • modificare i compiti lavorativi • formare i lavoratori. L’effetto finale del programma consiste nella misura di sintomi auto-segnalati e di infortuni prima e dopo l'intervento.

33. Continua l’esempio Il coordinatore del programma progetta alcune misure supplementari: • annotazioni degli acquisti dell'apparecchiatura • rapporti auto-compilati dei compiti lavorativi • buone pratiche • fattori di stress. Questi sono i risultati di misure interposte fra disegno dell'intervento ed il risultato finale (cambiamenti dei sintomi e degli infortuni).

34. Aggiungere una misura di outcome correlata ma diversa dagli obiettivi dello studio Una seconda strategia per aumentare la forza di un disegno di intervento è di misurare un risultato che sia simile alla misura principale di risultato, ma che non sia tra gli obiettivi dell'intervento. La misura supplementare di risultato dovrebbe essere abbastanza simile alla misura principale di risultato in modo che sia suscettibile ai principali threats alla validità interna. Deve tuttavia essere abbastanza differente da non risentire dell’intervento. I seguenti esempi mostrano come funziona questo metodo.

35. CODOLO = La parte di un cucchiaio o di una forchetta (che rassomiglia ad una coda) con cui si tengono in mano per adoperarli

36. Misura di outcome correlata ma diversa dagli obiettivi dello studio L'effetto di nuova apparecchiatura sulle piattaforme petrolifere è stato valutato in base ai cambiamenti nel tasso di infortuni da codolo, un tipo di infortunio che dovrebbe essere ridotto usando la nuova apparecchiatura. E’ stato preso in considerazione anche il tasso delle lesioni non-codolo, una misura di risultato correlato ma non considerato tra gli obiettivi. Anche se questo secondo tipo di infortunio non dovrebbe risentire dell'intervento, probabilmente sarebbe in maniera simile suscettibile a effetti di tipo “ history or reporting threats”.

37. Misura di outcome correlata ma diversa dagli obiettivi dello studio Un intervento ergonomico fra i lavoratori addetti al controllo della merce in un supermercato, è stato valutato misurando i disturbi del sistema muscolo-scheletrico auto-segnalati prima e dopo l’intervento. L'intervento sembrava riuscito per il fatto che i cambiamenti riguardavano i sintomi a livello cervicale/spalla e a livello lombare/arti inferiori (dove l’intervento ergonomico intendeva portare benefici) ma non i sintomi di braccia/avanbracci/polso (che non erano oggetto dell’intervento). Ciò ha reso gli effetti history, maturation, instrumentation, placebo, Hawthorne and instrumentation spiegazioni improbabili.

38. Studi sperimentali

39. Anche se spesso non è fattibile, un disegno sperimentale è stato usato in parecchie situazioni professionali Due caratteristiche fondamentali : uso di un gruppo di controllo assegnazione randomizzata dei partecipanti

40. Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati: • pre-post con gruppo di controllo (Strategia 1) • multiple time series (Strategia 2b) • multiple baseline across groups (Strategia 3). Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

41. Studi non sperimentali

42. Precedentemente, sono stati descritti tre tipi di disegni quasi-sperimentali con utilizzo di gruppi di controllo non randomizzati: • pre-post con gruppo di controllo non-randomizzato • multiple time series • multiple baseline across groups Questi stessi tipi di disegno possono diventare disegni sperimentali usando la randomizzazione per generare i gruppi.

43. Studi sperimentali

44. Il disegno 1 (pre-post controllato e randomizzato) è stato usato nei due esempi successivi. Sono stati assegnati per randomizzazione ai due gruppi (gruppo di intervento, gruppo di controllo): ► i posti di lavoro (primo esempio) ► i lavoratori (secondo esempio)

45. Primo esempio • Target: gli operatori principali di aziende agricole • Intervento: un seminario educativo di un giorno • Popolazione: campione casuale di aziende incluse in una lista dell'associazione di agricoltori. Il 60% di questa aziende acconsentì a partecipare allo studio • Randomizzazione: Gli operatori principali (uno per azienda) sono stati assegnati al gruppo di intervento o al gruppo di controllo, seguendo una procedura random • Per valutare l'intervento, questi gruppi sono stati confrontati in base alle misure prese prima e dopo l'intervento: infortuni e quasi-infortuni auto-riportati, (risultato finale) e percezioni della sicurezza, buone pratiche ed atteggiamenti (risultati intermedi).

46. Primo esempio A = gruppo di intervento; B=gruppo di controllo

47. Secondo esempio A =Intervento_ 1; B = Intervento_ 2; C= controlli

48. Minacce per la validità interna neiDisegni con gruppo di controllo I gruppi di controllo introducono alcune nuove minacce alla validità interna. Nonostante ciò, l’utilizzo di gruppi di controllo è fortemente raccomandato. Essi rafforzano lo studio molto di più di quanto non la indeboliscano.

49. Selection threats • Quando i gruppi di intervento e di controllo non sono simili riguardo a tutte le variabili che possono influenzare i risultati, l'effetto dell'intervento potrebbe essere dovuto a differenze nelle caratteristiche dei partecipanti nei gruppi confrontati, piuttosto che all'intervento in se. • Per questo motivo, nei disegni quasi-sperimentali e sperimentali (in cui è stata usata una procedura di randomizzazione per generare i gruppi), è necessario considerare se le persone nei due gruppi differiscono, per esempio, per età livello di esperienza livello di formazione, e altre caratteristiche. • In caso affermativo, bisogna raccogliere informazioni su queste caratteristiche e tenere conto di queste differenze nell’analisi statistica.

50. Diffusion or contamination threat Una minaccia di diffusion alla validità interna (anche conosciuta come una minaccia di contaminazione) si presenta quando l'intervento introdotto ad un gruppo "si diffonde" all'altro. Ciò può accadere facilmente quando l'intervento è educativo, poiché gli operai condividono naturalmente le informazioni tra loro. È persino possibile che una nuova apparecchiatura data al gruppo di venga ripartita con il gruppo di controllo. La diffusione è più probabile quando l'intervento è percepito come favorevole. È un evento non desiderato perché riduce le differenze osservate fra i gruppi nei loro i cambiamenti “before” to “after”. Si potrebbe concludere che un intervento era inefficace quando realmente non lo era. Il modo migliore per ridurre la minaccia di diffusione è mantenere i gruppi di controllo e di intervento separati quanto più possibile.