Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

1. Il metodo sperimentale nelle scienze sociali • I metodi sono macroregole di argomentazione scientifica. In base al principio di massima razionalità nella scienza, la scelta del metodo deve basarsi sull'argomentazione agibile pù forte, cioè dotata dell'evidenza più ricca e probante. • Distinguiamo i metodi in: • Metodi di controllo: riguardanti il dominio esercitabile dal ricercatore nella situazione di ricerca al fine di estrarne la maggiore e più genuina evidenza. • Metodi inferenziali: riguardanti la strategia di formulazione delle ipotesi (deduzione, induzione, abduzione) • I metodi di controllo si distinguono in: • Sperimentali, a loro volta distinguibili in quasi-sperimentali e sperimentali • Sistematici, a loro volta distinguibili in statistici e logici. • Campbell e Stanley 1966; Bruschi 1996 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

2. Il metodo sperimentale nelle scienze sociali I metodi possono essere ordinati lungo un continuum di forza probante: METODO SPERIMENTALE METODI SPERIMENTALI METODO QUASI-SPERIMENTALE METODO STATISTICO METODI SISTEMATICI METODO LOGICO Dunque, l'esperimento può essere in prima battuta definito come quel disegno di indagine in cui la logica del controllo empirico delle relazioni causali viene soddisfatta con la migliore approssimazione Campbell e Stanley 1966; Bruschi 1996; Cannavò e Frudà 2007 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

3. Il metodo sperimentale nelle scienze sociali • Dal punto di vista empirico, quindi, possiamo definire l'esperimento come specifica strategia di indagine con la quale si manipolano alcune variabili per studiare gli effetti di queste su altre, al fine di imputare causalmente ad X, e proprio ad X, le differenze riscontrate. • Gli elementi che favoriscono il controllo delle evidenze empiriche e che caratterizzano il metodo sperimentale sono allora: • Il numero dei gruppi • L'equivalenza dei gruppi • Il numero di osservazioni • Il grado di manipolazione esercitabile • Weber 1904, Bunge 1959, Blalock 1961, Campbell e Stanley 1966; Bruschi 1996; Fasanella 2004 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

4. Il metodo sperimentale nelle scienze sociali Nelle scienze naturali si ottiene il massimo livello di controllo della situazione tramite l'isolamento sperimentale e grazie sia all'uniformità degli oggetti che al grande potere manipolativo che si ha su di essi. Nelle scienze sociali la situazione è ovviamente molto diversa, per cui il controllo si ottiene per analogia sulla base del canone dei residui: Stuart Mill: “Se si sottrae da un fenomeno la parte che si sa, dalle induzioni precedenti, essere l'effetto di certi antecedenti, il residuo del fenomeno è l'effetto degli antecedenti restanti” Mill 1843; Campbell e Stanley 1966; Bruschi 1996; Fasanella 2004 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

5. Il metodo sperimentale nelle scienze sociali • Nelle scienze sociali l'esperimento deve fare i conti coi seguenti problemi: • Scarsa manipolabità dell'oggetto, sia per questioni tecniche che etiche • Assenza del requisito di omogeneità • Reattività dei soggetti coivolti negli esperimenti • Quindi • Abbiamo bisogno di più soggetti e più gruppi su cui condurre le osservazioni • Si deve ricercare la massima equivalenza fra i gruppi • Si devono condurre numerose osservazioni • Sulla base di quanto appena detto, ogni esperimento detiene un grado differente di VALIDITA'. • Campbell e Stanley 1966; Fasanella 2004 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

6. I fattori di validità dell'esperimento • Una ricerca si dice valida quando le sue argomentazioni sono corrette e appropriate al fine. In ambito sperimentale la validità comprende due declinazioni: • VALIDITA' INTERNA: controllo di tutte le possibili perturbazioni i cui disturbi possomo essere scambiati a torto per effetti del trattamento sperimentale; possibilità di difendere l'imputazione di causalità verso la variabile sperimentale X • VALIDITA' ESTERNA: generalizzabilità dei risultati • A Campbell e Stanley va riconosciuto il merito di aver dato forma alla situazione di complessità caratterizzante l'esperimento nelle scienze sociali attraverso la precisa formulazione di 12 FATTORI DI INVALIDITÀ/IPOTESI RIVALI di cui tener conto nella conduzione di un esperimento. • Campbell e Stanley 1966;Bruschi 1996; Fasanella 2004 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

7. I fattori di validità dell'esperimento • VALIDITA' INTERNA: • 1 Storia • 2 Maturazione • 3 Testing • 4 Strumentazione • 5 Regressione • 6 Selezione • 7 Mortalità • 8 Interazione Selezione-Altri fattori • VALIDITA' ESTERNA: • 1 Interazione Testing-X • 2 Interazione Selezione-X • 3 Reazione alle condizioni sperimentali • 4 Interferenza da trattamenti multipli • Campbell e Stanley 1966 Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

8. I fattori di validità interna 1) FATTORE SELEZIONE: tutto ciò che infici l'equivalenza dei gruppi in fase di pre-trattamento, ossia, per usare le parole di Campbell e Stanley (2004, pag. 44), le "distorsioni risultanti dall'attribuzione differenziale dei soggetti ai gruppi di comparazione". Come sarebbe possibile, infatti, imputare ad X una variazione qualora non si possa essere sicuri della comparabilità dei gruppi precedentemente ad X? Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

9. I fattori di validità interna • CONTROLLI PER IL FATTORE SELEZIONE: • campioni molto ampi X • procedure di randomizzazione X • pretest √ • trascurabili differenze iniziali sulla proprietà investigata √ • non sorgono dubbi circa le assegnazioni all'uno o all'altro gruppo √ • il criterio di selezione non crea discriminazioni su variabili teoricamente rilevanti sottoposte a pretest √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

10. I fattori di validità interna • 2) FATTORE STORIA: fra la prima e la seconda misurazione, o fra le misurazione precedenti all'intervento sperimentale e quelle successive, o, ancora, nel caso di assenza di pretest, fra la somministrazione della variabile sperimentale e posttest, può verificarsi un qualsivoglia evento in grado di produrre un'influenza sui soggetti tale da essere a torto scambiata per l'azione della variabile X. • 2.1 STORIA INTERNA: episodi interni alle stesse sessioni sperimentali, specifici accadimenti verificatisi nel corso delle due sessioni e non aventi alcuna pertinenza con l'esperimento stesso Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

11. I fattori di validità interna • CONTROLLI PER IL FATTORE STORIA: • isolamento sperimentale X • teoria perfettamente specificata X • gruppo di controllo √ • registrazione da parte del ricercatore degli specifici eventi verificatisi nel corso di una sessione e dell'andamento generale della stessa √ • STORIA INTERNA: • le sessioni sperimentali non hanno né potuto svolgersi in assoluta contemporaneità, né, tanto meno, trattando insieme, ciascuno nel suo gruppo, tutti i soggetti del gruppo sperimentale e di quello di controllo; diventa allora molto difficile pensare al verificarsi di una serie sistematica di avvenimenti che abbia avuto una forza tale da esercitare un consistente effetto di distorsione √ • lo stesso oggetto porta ad escludere l'azione distorsiva messa in atto da episodi specifici interni all'esperimento, non essendo la conoscenza circa il rischio legato alle radiazioni propriamente un tema sensibile nella ricerca sociale √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

12. I fattori di validità interna 3) FATTORE MATURAZIONE: variazioni nel corso dell'esperimento dovute a processi interni ai soggetti che hanno poco o nulla a che fare con l'azione della variabile sperimentale Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

13. I fattori di validità interna • CONTROLLI PER IL FATTORE MATURAZIONE: • misurazioni ripetute X • gruppo di controllo √ • scarsa plausibilità di un intervento del fattore visto l'oggetto d'indagine √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

14. I fattori di validità interna 4) FATTORE TESTING: possibilità che le prove precedenti producano delle influenze su quelle successive, soprattutto come effetti di acquisizione di una pratica Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

15. I fattori di validità interna • CONTROLLI PER IL FATTORE TESTING: • assenza del pretest X • misurazioni ripetute X • gruppo di controllo √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

16. I fattori di validità interna 5) FATTORE STRUMENTAZIONE: variazioni nel corso dell'esperimento possono essere dovute non ai soggetti stessi, bensì ad alterazioni degli strumenti di misurazione Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

17. I fattori di validità interna • CONTROLLI PER IL FATTORE STRUMENTAZIONE: • controllo della storia interna della sessione √ • adozione d'uno strumento standardizzato √ • gruppo di controllo √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

18. I fattori di validità interna 6) FATTORE REGRESSIONE STATISTICA: soggetti selezionati sulla base di punteggi estremi ad un primo test tendono a “regredire” verso la media generale del gruppo nelle prove successive (registrando quindi un peggioramento per i punteggi estremamente alti e, specularmente, un miglioramento per quelli estremamente bassi), e tale spostamento viene spesso erroneamente ritenuto effetto della variabile sperimentale Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

19. I fattori di validità interna • CONTROLLI PER IL FATTORE REGRESSIONE STATISTICA: • scelta dei soggetti sulla base di criteri indipendenti √ • pretest √ • gruppo di controllo √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

20. I fattori di validità interna 7) FATTORE MORTALITA' SPERIMENTALE: possibilità (praticamente una certezza quando si hanno popolazioni molto ampie) che non tutti i soggetti partecipino a tutte le fasI per loro previste dell'esperimento; la perdita di unità nei diversi gruppi potrebbe creare delle differenze fra gli stessi a torto scambiate per l'effetto della variabile sperimentale Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

21. I fattori di validità interna • CONTROLLI PER IL FATTORE MORTALITA' SPERIMENTALE: • gruppi randomizzati √ X • pretest √ • monitoraggio delle presenze √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

22. I fattori di validità interna 7) FATTORE INTERAZIONE SELEZIONE - ALTRI FATTORI: ciascuno di questi ultimi può aver esercitato la sua influenza su uno solo dei due gruppi, oppure su entrambi ma in maniera diversa Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

23. I fattori di validità interna • CONTROLLI PER IL FATTORE SELEZIONE-ALTRI FATTORI: • non pare plausibile che possano essersi verificati eventi tali da influenzare i gruppi in maniera sistematicamente diversa (selezione-storia) √ • né che il questionario impiegato possa aver sortito effetti differenziali (selezione-testing e selezione-strumentazione) √ • le modalità di coinvolgimento dei soggetti da intervistare e dei casi da analizzare, congiuntamente alla impossibilità dei ragazzi di conoscere le date di svolgimento delle sessioni dell'esperimento ci portano ad escludere anche le ultime due ipotesi di interazione (selezione-regressione e selezione-mortalità) √ • la natura dell'oggetto di indagine, il pretest, la convergenza nei risultati di tecniche diverse di analisi, la procedura di reclutamento dei soggetti e l'assegnazione casuale da parte del ricercatore e non autoselettiva da parte dei ragazzi e il tipo di outcome dell'esperimento rendono improbabile l'imputazione di tale esito alla corrispondenza a due modelli evolutivi differenti per ciascun gruppo √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

24. I fattori di validità esterna • 1) FATTORE INTERAZIONE SELEZIONE-X: non è lecito estendere le conclusioni tratte alla popolazione di riferimento, poiché rispetto ad essa il campione può non essere rappresentativo • CONTROLLI PER IL FATTORE INTERAZIONE SELEZIONE-X: • campioni casuali rappresentativi X • scarsa discriminazione dei punteggi iniziali rispetto al criterio di campionamento adottato √ • è difficile richiamare alla mente altri fattori contestuali che possano significativamente incidere sul livello di preparazione dei ragazzi √ • massima varietà possibile delle condizioni √ • Al di là delle regole canoniche della statistica, nella concreta pratica di ricerca è soprattutto tramite l'apprendimento “graduale, attraverso prove ed errori” che si riescono a valutare le possibilità di generalizzazione (Campbell e Stanley 2004, pag. 73) Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

25. I fattori di validità esterna • 2) FATTORE EFFETTO REATTIVO DEL TESTING: la somministrazione d'un pretest può influenzare, positivamente o negativamente, la ricezione della variabile sperimentale; se, allora, vi è un'interazione testing-X, com'è possibile generalizzare gli effetti d'una determinata variabile sperimentale a coloro i quali non sono sottoposti a pretest? • CONTROLLI PER IL FATTORE EFFETTO REATTIVO DEL TESTING: • eliminare il pretest X • quando le osservazioni sperimentali sono simili a quelle di norma effettuate non sarà presente alcuna sgradita interazione fra il testing ed X√ • estensione del disegno √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

26. I fattori di validità esterna • 3) FATTORE REATTIVITÀ DELLE CONDIZIONI SPERIMENTALI: la consapevolezza da parte dei soggetti di essere studiati, congiuntamente a caratteristiche palesemente artificiose delle procedure di ricerca, può produrre alterazioni tali da annullare la generalizzabilità delle conclusioni • CONTROLLI PER IL FATTORE REATTIVITÀ DELLE CONDIZIONI SPERIMENTALI: • limitato intervento degli osservatori √ • questionario standardizzato √ • scelta di intere scuole, senza dividisione dei ragazzi all'interno della propria classe √ • ai ragazzi non è stato comunicato che avrebbero compilato un secondo test, ed i soggetti del gruppo sperimentale hanno assistito all'intervento formativo senza sapere prima quando questo si sarebbe svolto √ • somiglianza dell'intervento formativo alle normali lezioni √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

27. I fattori di validità esterna • 4) FATTORE INTERFERENZA DOVUTA A TRATTAMENTI MULTIPLI: pone ostacoli alla generalizzazione poiché è difficile cancellare gli effetti di trattamenti precedenti • CONTROLLI PER IL FATTORE TRATTAMENTI MULTIPLI: • c'è un solo trattamento √ • gruppo di controllo √ Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca

28. Giudizio di validità Sembra corretto conferire all'indagine condotta lo status di esperimento vero e proprio. La conduzione della campagna realizzata, nonostante sia classificabile come disegno di indagine quasi-sperimentale, si è mostrata addirittura in grado di fornire maggiori garanzie sulla correttezza delle procedure che se ci si fosse ostinati, in nome di qualche precetto teorico tanto limpido e rassicurante in astratto quanto problematico e irto d'insidie nella pratica, a perseguirne la sua matrice di provenienza sperimentale vera e propria. Anche sul versante dell'esportabilità dei risultati il disegno di ricerca fornisce ottime garanzie. Ad ogni modo, è inutile proporre graduatorie astratte di validità dei diversi disegni sperimentali, e, tanto più, cercare di predisporre indagini perfette dal punto di vista metodologico e formale, senza rendersi conto che è il contesto concreto nel quale si svolge la ricerca a doverci indirizzare verso certe procedure anziché verso altre. Teoria e pratica della valutazione Laboratorio – Lezione I Il disegno della ricerca