Valutazione dell’efficacia nella e della università

1. Valutazionedell’efficacianella e dellauniversità Luigi Fabbris Università di Padova Comitato Nazionale per la Valutazione del Sistema Universitario 19 aprile 2010\

2. Riassunto • Ruolo e legittimazione della valutazione nel determinare la qualità della formazione e della ricerca universitaria • Legittimazione politica-sociale • Legittimazione tecnica • Indicatori di efficacia delle attività formative e della ricerca scientifica • Ripartizione 2009 del 7% del FFO • I livelli gerarchici della valutazione • L’efficacia, l’efficienza, la trasparenza • Valutazione della didattica: possibilità di passare al web • Qualità della ricerca 19 aprile 2010

3. Valutazione = Analisi La valutazione definisce la congruenza di decisioni e azioni A che cosa si applica?: progetti, politiche, sistemi, processi produttivi Perché? Per capire come garantire e incrementare la qualità dei risultati, far crescere (gruppi, sistemi, istituzioni/imprese, ma anche destinatari di servizi) in un contesto organizzativo, produttivo, sociale e culturale di riferimento. Come? Analizzando (control) informazioni specifiche tratte da sistemi informativo-statistici (indicatori, frequenza temporale, qualità) suggerendo buone pratiche (ricerca su come migliorare) 19 aprile 2010

4. Funzioni delle università • Didattica per formare studenti e laureati • In aggiunta: sviluppo di servizi a supporto dell’apprendimento degli studenti • Ricerca scientifica • In subordine: trasferimento tecnologico 19 aprile 2010 4

5. Le funzioni dell’Università 19 aprile 2010

6. Livelli della valutazione 19 aprile 2010

7. L’università è un corpo sociale • inserito in una comunità (forma i giovani per la vita e per il lavoro) • che innova il sapere con la ricerca (sia di base, sia finalizzata all’innovazione tecnologica e culturale sul proprio territorio) • avendo autonomia di gestione e propria visione strategica, • con l’obbligo di rispondere del proprio operato alla società (55,5% del FFO + 8,8 MIUR finalizzato nel 2008) 19 aprile 2010 7

8. Legittimazione 19 aprile 2010

9. L’università è un corpo sociale, bisogna non solo fare bene le cose, bisogna mirare al raggiungimento di obiettivi sociali Formare persone qualificate sul piano culturale e tecnico (per la società e per il lavoro) Sviluppo della ricerca scientifica per innovare sia le basi della conoscenza, sia la capacità produttiva Legittimazione politico-sociale 19 aprile 2010

10. Imparziale: svolta da enti “terzi”, ma anche peer-review e utenti dei servizi Informata: sistemi informativo-statistici (indicatori e basi di dati) Sistematica: insieme di regole condivise, qualificate sul piano statistico, applicate con continuità Trasparente: obbligo di pubblicità delle valutazioni Legittimazione tecnica 19 aprile 2010

11. Criteri per la valutazione dei processi Risultati: valore aggiunto da un’attività (didattica, ricerca) Output: risultati in termini di performance o di realizzazione obiettivi (nuovo apprendimento, innovazione) Outcome: risultati correlati agli obiettivi istituzionali della struttura erogante, di norma valutabili dall’esterno (valore sociale dei laureati, valore sociale dei prodotti della ricerca) Risultati 19 aprile 2010

12. Efficienza: rapporto tra risultati e impegno profuso (quantità e qualità delle risorse impiegate) per ottenerli (controllo sull’uso delle risorse) Efficacia: rapporto tra i risultati ottenuti e quelli attesi/predefiniti (baricentro dell’interesse da docente a discente; controllo sociale sulle attività dell’università) Trasparenza: rispetto di standard di pubblicità delle strutture per i destinatari dei processi e risultati (possibilità di controllo degli stakeholder; ENQA: a margine della qualità) Qualità: daefficienza ad efficacia

13. Interna: efficienza ed efficacia dei risultati valutati dall’interno della struttura (es: voto di laurea; rischio: autoreferenzialità) Esterna: efficienza ed efficacia dei risultati valutati dai percettori dei servizi (customer satisfaction) o da organi “terzi” (laureati che lavorano; datori di lavoro) Daqualitàinterna ad esterna (formazione) 19 aprile 2010

14. Interna all’università Regolarità dei processi (abbandoni, inattività, media anni per conseguimento del titolo); laureati/iscritti X anni prima per caratteristiche di processo (budget impegnato, docenti per studente, posti studio per studente, spazi per lo studio, ecc,) Esterna Reddito dei laureati attualizzato alla data del conseguimento del titolo (Becker, 1964; Vittadini e Lovaglio, 2007) Efficienzadelladidattica 19 aprile 2010

15. Interna all’università Soddisfazione di studenti per la qualità dei singoli insegnamenti (e per l’intero corso di studi?) Votazione di laurea come misura dell’apprendimento (problema: autoreferenziale? Per l’80% spiegato dal voto all’ingresso) Esterna Soddisfazione di laureati per possibilità di lavoro e competenze agite (capitale umano); tasso di occupabilità dei laureati (problema: definizione di “occupato”) Soddisfazione della società (datori di lavoro, altri) per il valore restituito dai laureati (problema: correlare attività lavorative e corsi di studio) Efficaciadelladidattica 19 aprile 2010

16. I laureati “occupati” • Rilevazione ISTAT (ogni 3 anni, retrospettiva di 3 anni) • Rilevazioni parziali: AlmaLaurea, Stella, altri • “Laureato occupato” secondo l’ISTAT: persona che ha svolto almeno un’ora retribuita nella settimana precedente quella dell’intervista • “Laureato occupato” secondo rilevazioni parziali: persona che ha svolto almeno un’ora retribuita • Futuro: Lavoro, lavoro serio, lavoro da laureato? 19 aprile 2010 16

17. Ripartizione 7% FFO, 2009 2 classi di indicatori: Didattica (peso=1/3) Efficienza Efficacia Ricerca (peso=2/3) Produttività Qualità della ricerca 5 indicatori 5 indicatori 19 aprile 2010

18. Valutare la didattica universitaria Come? Perché? “AlmaLaurea” retrospettivo Valutazione insegnamenti Indagini laureati Immatri- colazione Didattica / Apprendimento Laurea Lavoro, Società Output della didattica (apprendimento) Outcome: valore sociale dell’apprendimento 19 aprile 2010

19. Valutazione didattica in Italia Dal 2001, gli studenti frequentanti, in forma anonima, verso la fine delle attività didattiche votano vari aspetti (corso, didatta, organizzazione, strumenti) di ciascun corso universitario su 14 aspetti comuni proposti dal CNVSU, ma con possibilità di aggiungere altre domande (Marsh, 1987) esprimono suggerimenti (su foglio a parte) CNVSU: scala ordinale, con 4 modalità bilanciate (però Padova adotta la scala 110, altri anche scale dispari) 19 aprile 2010

20. Punto critico: utilizzare i risultati della valutazione Restituzione di dati sintetici al docente ufficiale del corso, assieme a suggerimenti (su fogli a parte) Valutazione corso al preside di facoltà (talvolta a presidente ccl) Valutazioni in genere non rese pubbliche, ma qualche facoltà le utilizza per le chiamate, oppure come parametri per premi alla qualità della didattica Nel 2009, le medie di ateneo utilizzate per ripartire risorse di sistema (FFO)

21. Rilevazione via web Obbligatorietà: 15,6% risposte dai frequentanti (Fabbris e Giusti, 2000); 24,5% (2006), 26,5% (2007) Rappresentatività delle valutazioni: il 30% degli studenti risponde a fatica via web perché lo usa poco; risponde “a rate; numero medio rispondenti per attività: 18,6 (carta: 34,0) Anonimato: l’assenza non limita la collaborazione, ma può distorcere le risposte Prima/dopo l’esame: differenze significative se esame superato (7,3) o non fatto (6,8) Frequentanti o non: 7,4 se frequentante oltre 70% dell’orario, 6,4 se meno 70%; su carta 6,9 Giudizio su chiarezza docente: 7,28 via web, 7,24 su carta (differenze vere tra categorie di studenti)

22. Rilevazione webvs cartacea • (*) Valutazione all’atto dell’iscrizione all’esame; (**) Valutazione a fine anno o fine semestre

23. Futuro? CNVSU: Convegno in giugno 2010 Necessità di sperimentare soluzioni per ottimizzare i sistemi Necessità di uniformare i sistemi di rilevazione rispetto a: Popolazione (quando rilevare, chi rilevare) Questionario, scale Tassi di risposta (obbligatorietà) Necessità di nuova legislazione 19 aprile 2010

24. Modello di valutazione (Korhonen et al., 2001: Helsinki School of Economics) Produttività (attività di ricerca scientifica) Progetti di ricerca (presentati, finanziati, per ente finanziatore) Organizzazione di conferenze, partecipazione a board di riviste e convegni scientifici Tesi di dottorato seguite, dottorandi seguiti Quantità di prodotti della ricerca Pubblicazioni scientifiche (tipo, referaggio, ambito pubblicazione) Brevetti, spin-off,partnership, consulenze qualificate Inviti a relazionare a convegni, relazioni spontanee Qualità dei prodotti della ricerca Peer review di lavori scientifici Citazioni, impact factor Impatto sociale della ricerca Rendimento economico di applicazioni della ricerca Avanzamento della conoscenza della società

25. Misurare la qualità della ricerca in Italia In Italia, realizzata una sola valutazione della qualità basata sul sistema peer-review: esercizio VTR 2001-03, realizzato due anni dopo, risultati diffusi nel 2006. Dovrebbe partire la nuova valutazione 2004-08 Di anno in anno (alla fine di progetti spesso pluriennali), si possono misurare i prodotti della ricerca in base a quantità di: pubblicazioni (riviste internazionali, monografie, altro), citazioni, relazioni invitate a conferenze, ecc. (nuovo orientamento CIVR) brevetti, spin-off, partnership pubbliche e private (nel VTR2001-03 componevano l’indice globale di qualità della ricerca) Indicatori quali-quantitativi: PRIN, FIRB, FAST, ecc. finanziati progetti UE, Regione e privati finanziati 19 aprile 2010

26. Punti critici Quanto valore informativo dà il ripetere un esercizio come VTR 2001-03? Se peer-review necessaria, come tener conto della cadenza? Qualità globale della ricerca = Volume dei prodotti della ricerca, ponderato con valori medi di qualità? Come superare la non-generalizzabilità dell’impact factor (solo scienze della vita e “dure”?) Di quanti anni contare le citazioni? A quale base bibliografica riferirsi? Bilanciare (entrate da) trasferimento tecnologico e borse di studio e dottorato (Kogan, 1994)? Come ponderare gli indicatori selezionati?

27. “Ponderare” indicatori I pesi si applicano agli indicatori sia per definire punteggi volti a ripartire risorse, sia per definire ranking; i pesi assegnati fanno la differenza sul computo finale È una funzione politica, non tecnica, necessita di consenso degli stakeholder (MIUR, università, anche CRUI, CNSU, ecc,) Futuro? CNVSU/ANVUR organo “terzo” per la raccolta del consenso presso gli stakeholder 19 aprile 2010

28. Misure di stato o di variazione? Gli indicatori di livello descrivono situazioni inerenti ad un punto temporale, o ad un intervallo (anno); quelli di variazione descrivono il cambiamento nel livello di un indicatore tra il tempo attuale, t1, e quello di riferimento, t0 Il livello premia i virtuosi, la variazione può premiare i volonterosi; è necessario definire il dosaggio tra “virtù” e “volontà di miglioramento” Futuro? Raccogliere consenso sull’importanza che gli stakeholder vogliono da dare al livello e alla variazione di certi indicatori (convegno sugli indicatori CNVSU-MIUR) 19 aprile 2010

29. Concludendo Opportuno che ogni università rifletta sul proprio sistema di qualità Accompagnare il sistema di informazioni tratto dagli archivi amministrativi con un sistema di indagini statistiche (NVA promotore?) MIUR: studio di indicatori validi per confronti (gerarchici) tra università e dentro le università Necessario in ogni università un sistema informativo-statistico: gli indicatori vanno definiti assieme a decisori e stakeholder, poi studiati da esperti e infine socializzati (gli indicatori devono “indicare” il senso delle politiche; lettura in serie storica) 19 aprile 2010

30. Per una valutazione condivisa ANVUR Ministro: priorità (didattica, servizi studenti, ricerca, trasferimento tecnologico) Commissioni ministeriali di esperti (università, altri stakeholder) per definire sistemi di indicatori condivisi Giornata nazionale della valutazione Fonti di ranking affiancano scoring (Censis, THES, Jao-Tong). Interessarsi anche di ranking? 19 aprile 2010