Disegno della ricerca valutativa

1. Disegno della ricerca valutativa Versione maggio 2014

2. Prima parte: Le nove fasi del disegno

3. I tre livelli del disegno

4. Le nove fasi del disegno1 [1] Definizione del mandato [6] Stipulazione valori valutativi [7] Definizioni operative specifiche [5] Esplorazione spazio semantico [2] Analisi obiettivi del programma e formulaz. domande valutative [8] Raccolta e analisi dei dati [3] Accertamento delle risorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

5. La regola del 3 ottenere almeno la maggioranza!

6. Nove fasi in tre gruppi

7. Due su tre

8. Una su tre

9. 1 – Definizione del mandato [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamento delle risorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

10. 1 – Definizione del mandato • Mandato = Perché me lo chiedi? • Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? • Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? • Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Problemi etici e deontologici Conferimento autorità Contesto  Metodo

11. 2 – Obiettivi programma e domande valutative [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [2] Analisiobiettivieformul. domandevalutative [5] Esplorazionespaziosemantico [8] Raccoltaeanalisideidati [3] Accertamento delle risorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

12. 2 – Obiettivi programma e domande valutative • Domande valutative = Cosa è importante analizzare? • Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? • Quali obiettivi ha l’evaluando? • Quale ‘teoria’ (logica) c’è dietro il programma? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo

13. 3 – Accertamento delle risorse [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamentodellerisorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

14. 3 – Accertamento delle risorse • Risorse = Cosa posso veramente fare? • Quali risorse economiche, di tempo, di risorse umane? • Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? • Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Aspetti amministrativi Approcci possibili Risorse  Metodo

15. 4 – Disegno specifico (offerta tecnica) [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [4] Definizionedisegnopreliminare [3] Accertamentodellerisorse [9] Sostegno all’uso della valutazione

16. 4 – Disegno specifico (offerta tecnica) • Disegno2 specifico = Quali definizioni operative generali? • Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? • Approcci e tecniche opportuni sono compatibili con le risorse disponibili? • Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza

17. 5 – Esplorazione campo semantico [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamentodellerisorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

18. 5 – Esplorazione campo semantico • Spazio semantico = Cosa valutiamo, esattamente? • Cosa intendiamo quando parliamo di…? • Cosa intendono loro quando voi dite…? • Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Possibilità partecipazione Attenzione epistemologica Senso  Metodo

19. 6 – Stipulazione valori valutativi [6] Stipulazionevalorivalutativi [1] Definizione del mandato [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamentodellerisorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

20. 6 – Stipulazione valori valutativi • Valori valutativi = Da quale punto di vista valutare? • Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? • Cosa ‘vale’ di più? Da quale punto di vista? • Quale ordine, quale priorità, quale logica? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo

21. 7 – Definizioni operative specifiche [7] Definizioni operative specifiche [1] Definizione del mandato [6] Stipulazionevalorivalutativi [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamentodellerisorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

22. 7 – Definizioni operative specifiche • Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? • Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? • Qual è l’approccio? Come si integrano le tecniche? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Adeguatezza al mandato Face validity Metodo  Risultato

23. 8 – Raccolta e analisi dei dati [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [8] Raccoltaeanalisideidati [2] Analisi obiettivi dell’evaluando e formul. domande valutative [3] Accertamentodellerisorse [4] Definizione disegno preliminare [9] Sostegno all’uso della valutazione

24. 8 – Raccolta e analisi dei dati • Raccolta e analisi dati = Come organizziamo concretamente il lavoro? • Come reclutiamo e gestiamo i collaboratori? • Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? • Quali strategie per la risoluzione dei problemi? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Gestione della ricerca Validità, affidabilità, … Metodo  Uso

25. 9 – Sostegno e uso della valutazione [1] Definizione del mandato [6] Stipulazionevalorivalutativi [7] Definizioni operative specifiche [5] Esplorazionespaziosemantico [2] Analisi obiettivi dell’evaluando e formul. domande valutative [8] Raccoltaeanalisideidati [3] Accertamentodellerisorse [9] Sostegnoall’usodellavalutazione [4] Definizione disegno preliminare

26. 9 – Sostegno e uso della valutazione • Uso = La valutazioneè servita? • Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? • Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? • E’ possibile una metavalutazione? • I costi della valutazione sono giustificati? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Comunicaz. e sensibilizzaz. Sintesi Uso  Mandato val.

27. Seconda parte:L’esplorazione semantica fra approccio deduttivo e induttivo

28. Approcci deduttivi: Paradigma lazarsfeldiano Costruzione di ‘domande valutative’ in forma dialogica Approcci induttivi: Brainstorming Valutazione tassonomica Approccio analitico - induttivo Esplorazione semantica e costruzione degli indicatori (esempi)

29. Approcci deduttivi vs. approcci induttivi (1) • Deduttivi: • L’evaluando è concepibile come intero (raro) • L’evaluando è concepibile come insieme di parti • L’intero e le parti sono concepite come coerenti • Induttivi: • L’evaluando non è concepibile come intero (almeno provvisoriamente) • Le parti non sono con certezza riconducibili all’intero • La coerenza fra intero e parti è da verificare

30. Approcci deduttivi vs. approcci induttivi (2) • Deduttivi: • Il ricercatore (valutatore) decide da solo • Il gruppo deve trovare una logica organizzativa (processo di problem solving) • La logica è l’obiettivo • Induttivi: • Il ricercatore non può decidere da solo e c’è un gruppo collaborativo • Il gruppo deve capire (processo autoriflessivo) • La comprensione è l’obiettivo

31. Approcci deduttivi vs. approcci induttivi (3) • Deduttivi: • Razionalità • Esaustività (con rif. al concetto di validità degli indicatori) • “Standard” • Induttivi: • Cultura locale • Limitato interesse all’esaustività e accettazione dell’inevitabile autoreferenzialità • “Non standard”