La valutazione della qualità della didattica nell’Università

1. A P C D V V N N Salerno 12 novembre1999 Salerno 12 novembre1999 I I La valutazione della qualità della didattica nell’Università La Valutazione della Didattica nell’Università di Pisa L’opinione degli studenti Nucleo di Valutazione dell’Università di Pisa I

2. Indice • Obiettivi del nucleo di valutazione dell’Università di Pisa • Le aree di valutazione nell ’università • La valutazione della didattica nell’Università • La metodologia Campusone CRUI • L’opinione degli studenti Venerdì 4 Luglio

3. Verificare la corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità e il buon andamento dell’azione amministrativa Determinare i parametri di riferimento per il controllo Attuazione delle azioni di controllo Funzioni del Nucleo di Valutazione(Legge 29/93 e ss) Venerdì 4 Luglio

4. LA POLITICA DEL NUCLEO DI VALUTAZIONE DELL’UNIVERSITÀ DI PISA • svolgere i compiti assegnati dalla legge tramite il coinvolgimento e la responsabilizzazione di tutte le strutture dell’ateneo • privilegiare lo sviluppo di modelli di valutazione finalizzati all’autocontrollo ed al miglioramento continuo Venerdì 4 Luglio

5. Indice • Obiettivi del nucleo di valutazione dell’Università di Pisa • Le aree di valutazione nell ’università • La valutazione della didattica nell’Università • La metodologia Campusone CRUI • L’opinione degli studenti Venerdì 4 Luglio

6. PIANIFICAZIONE STRATEGICA • OBIETTIIVI E STRATEGIE • VALUTAZIONE CRE • AMMINISTRAZIONE E GESTIONE • CONTROLLO DI GESTIONE • EFFICIENZA ED EFFICACIA DEI PROCESSI • RICERCA • VALUTAZIONE INDIVIDUALE (INDICATORI CRUI, DATA BASE PUBBLICAZIONI) • VALUTAZIONE DELLE STRUTTURE • DIDATTICA • AUTOVALUTAZIONE RICORRENTE E VALUTAZONE ESTERNA PERIODICA (PEER REVIEW) • MIGLIORAMENTO CONTINUO • TRASPARENZA ED IMMAGINE (SINTESI DEI RISULTATI DELL’AUTOVALUTAZIONI MESSI A DISPOSIZIONE DI TUTTE LE PARTI INTERESSATE SU SITO WEB DELLA CRUI) Venerdì 4 Luglio

7. Indice • Obiettivi del nucleo di valutazione dell’Università di Pisa • Le aree di valutazione nell ’università • La valutazione della didattica nell’Università • La metodologia Campusone CRUI • L’opinione degli studenti Venerdì 4 Luglio

8. La riforma “3+2”: le origini Rapporto Martinotti 1997: obiettivi della riforma: • Contrattualità del rapporto studenti-ateneo • Differenziazione competitiva tra gli atenei • Flessibilità curriculare • Accreditamento dei corsi di studio • Adozione del sistema dei crediti educativi • Adozione di sistemi di valutazione • Trasparenza Venerdì 4 Luglio

9. Adozione di sistemi di valutazione(autonomia, responsabilità, valutazione) Autonomia: • nella definizione degli obiettivi, dei curricula, delle scelte attuative, delle azioni di “controllo” • nel processo di programmazione didattica, come adempimento dal lato della struttura didattica, della pluralità di “contratti formativi” conseguenti al perfezionamento delle iscrizioni Venerdì 4 Luglio

10. Adozione di sistemi di valutazione(autonomia, responsabilità, valutazione) Responsabilità • nei confronti degli studenti, che nella scelta del corso di studio danno fiducia ed investono in una proposta formativa • a fronte degli investimenti e delle aspettative delle “parti interessate” • famiglie • docenti, Ateneo, Murst • lo “stato” ovvero la società • il mondo del lavoro • i “partners” Venerdì 4 Luglio

11. Adozione di sistemi di valutazione(autonomia, responsabilità, valutazione) Valutazione • interna, attraverso processi più o meno formali di autovalutazione, anche in collegamento a modelli condivisi a livello settoriale o intersettoriale • esterna, come valutazioni indipendenti di confronto tipo peer review o di assesment a fronte di Modelli di riferimento (tipo premi internazionali per la qualità o l’eccellenza) o inserendosi in sistemi di accreditamento (di seconda parte, di agenzia, di settore) o di certificazione di terza parte (ISO 9001) Venerdì 4 Luglio

12. Valutazione/Accreditamento La valutazione analizza, in un processo dialettico, i punti forti e quelli deboli pertinenti agli aspetti della formazione negli istituti superiori, al fine di poterne in primo luogo individuare le cause e, di conseguenza, fornire una serie di utili indicazioni che consentano sia una garanzia, sia un miglioramento dell’attività didattica nel suo complesso, senza tener conto dei livelli raggiunti sino a quel momento dai singoli istituti in questione L’accreditamento consiste in un’operazione di analisi preventiva, che ha come oggetto la previsione della possibilità o meno che un singolo corso di studio o un istituto superiore siano in grado di raggiungere uno standard minimo la valutazione potrebbe corrispondere alla manutenzione ‘di routine’ di un’autovettura da parte del proprietario (controlli a intervalli regolari in un’officina autorizzata), mentre l’accreditamento corrisponderebbe al controllo tecnico periodico statale per la revisione o per il ‘bollino blù Venerdì 4 Luglio

13. Accreditamento dei corsi di studio • prospettiva derivante dalla progressiva erosione del valore legale del titolo di studio e dall’ampio livello di autonomia concesso • da unaccreditamento “legale” sulla base di un formale rispetto da parte di tutti gli atenei dei requisiti ministeriali (il che potrebbe ridursi ad una mera fictio iuris) ad un accreditamento sostanziale, legato a tre criteri: • valore culturale del titolo proposto, • rispondenza a esigenze sociali o economiche, • adeguatezza delle risorse messe a disposizione ed efficienza /efficacia della loro gestione Venerdì 4 Luglio

14. Indice • Obiettivi del nucleo di valutazione dell’Università di Pisa • Le aree di valutazione nell ’università • La valutazione della didattica nell’Università • La metodologia Campusone CRUI • L’opinione degli studenti Venerdì 4 Luglio

15. IL “SISTEMA CLIENTE” DEL CS Enti territoriali Aziende Specifica di erogazione e come controllo del CS Progettazione del CS che cosa Specifica Obiettivi di apprendimento Do del CS Plan Esigenze ed obiettivi Risultati Interazione con Clienti e PI Processo di del erogazione CS DCS del CS Check Valutazione da parte Valutazione da dell'organizzazione parte del cliente Act Analisi e miglioramento delle prestazioni del servizio Società Studenti Venerdì 4 Luglio

16. Parti Interessate Gli studenti come utilizzatori diretti del servizio formativo Le organizzazioni, imprese, singole persone ovvero gli utilizzatori finali o beneficiari, che fruiranno o potranno trarre benefici dalla professionalità acquisita dallo studente nel Corso di Studio L’Ateneo di appartenenza, il MURST, il personale docente e non docente, i partners e i fornitori, la comunità civile. Venerdì 4 Luglio

17. CRITERI DI VALUTAZIONE • VALORE DEGLI OBIETTIVI • VALORE DEI RISULTATI • VALORE DELL’ORGANIZZAZIONE E DEI PROCESSI Venerdì 4 Luglio

18. ASPETTI CHIAVE PER LA VALUTAZIONE • ORGANIZZAZIONE • ESIGENZE ED OBIETTIVI • RISORSE • PROCESSI • RISULTATI Venerdì 4 Luglio

19. VALUTAREA COSA CI SI PUO’ RIFERIRE Qualità Insieme di proprietà e caratteristiche che conferiscono ad un prodotto, un servizio, un processo, un’organizzazione, una persona la capacità di soddisfare esigenze esplicite od implicite di una parte interessata SISTEMA PRODOTTO Venerdì 4 Luglio

20. Equazioni di Maxwell PRODOTTO: RISULTATO DI UN PROCESSO O DI UNA SERIE DI PROCESSI COSA PREME ALLA PARTE INTERESSATA LA DIDATTICA E LA RICERCA Venerdì 4 Luglio

21. SISTEMA Un insieme di elementi e relazioni interagenti tra loro al fine di svolgere una o più funzioni. Gli elementi e le relazioni del sistema che consentono di svolgere le funzioni previste sono collegati tra loro in una catena di processi IL SISTEMA DI GESTIONE L’ORGANIZZAZIONE (Ateneo, Dipartimento, Corso di Studio, Corso di Dottorato) (COME RISPONDERE AL MEGLIO ALLE ESIGENZE DELLE PARTI INTERESSATE CON LE “RISORSE” DISPONIBILI) Venerdì 4 Luglio

22. PRODOTTO & SISTEMA LA VALUTAZIONE • IL CONTROLLO DEL SISTEMA (QUALITA’ SISTEMA) • IL CONTROLLO DEI RISULTATI (QUALITA’ PRODOTTO) CERTIFICAZIONE ISO ACCREDITAMENTO VALUTAZIONE PER UN’ ECCELLENZA SOSTENIBILE NEL TEMPO Venerdì 4 Luglio

23. Indice • Obiettivi del nucleo di valutazione dell’Università di Pisa • Le aree di valutazione nell ’università • La valutazione della didattica nell’Università • La metodologia Campusone CRUI • L’opinione degli studenti Venerdì 4 Luglio

24. Adozione di sistemi di valutazione: opinione degli studenti • adempimento di una disposizione legislativa (art 1 L 370/99) che delega al NdV di ogni Ateneo l’organizzazione di tale attività, presidiata da severe sanzioni in tema di allocazione di risorse ministeriali (uno degli elementi richiesti da un possibile accreditamento ministeriale) • elemento di monitoraggio/controllo dei processi formativi, di quelli gestionali od organizzativi e di contesto (supporto, orientamento, assistenza e tutorato, placement) ai fini di miglioramento del servizio Venerdì 4 Luglio

25. ACT PLAN CHECK DO Risultati e Controllo La Misura dei Risultati come elemento di Controllo del Sistema di Conduzione dell’Impresa Venerdì 4 Luglio

26. Le posizioni di responsabilità del CdS Il Controllo dei Risultati capacità di attrazione, opinioni degli studenti giudizio delle Parti Interessate • Chi: • Cosa: • Perché: • Quando: • Come: verificare l’efficacia dell’azione di Controllo del Sistema a fronte degli obiettivi stabiliti (target), degli “altri” e dei First Of Class periodicamente, in relazione alla dinamica di variazione dei fattori di controllo tecniche di controllo qualitative e quantitative (gli “indicatori”) Venerdì 4 Luglio

27. tempo di inserimento nel mondo del lavoro • livello di soddisfazione delle imprese • soddisfazione dei laureati a X anni dalla laurea Risultati • % laureati • durata media degli studi • indici di avanzamento negli studi • Capacità di attrazione • Efficacia interna • Opinioni degli studenti • Efficacia esterna • n° studenti immatricolati • valore degli studenti all’ingresso • risultati della selezione o dell’orientamento • questionari di soddisfazione • sia sui singoli corsi che sul CdS nel suo complesso Venerdì 4 Luglio

28. Struttura Organizzativa Obiettivi formativi e di apprendimento Processi e Procedure Strutture Personale Costi Fornitori Sistema di gestione Sistema di Gestione Amministrazione Ufficio Tecnico Dipartimento A Segreterie Facoltà Risorse Venerdì 4 Luglio

29. Riesame • Valutazione formale effettuata dal CdS relativamente allo stato e all’adeguatezza del Sistema di gestione a fronte degli obiettivi stabiliti ed alla Politica. • Elementi da considerare • risultati (capacità di attrazione, efficacia interna della formazione, opinione degli studenti, efficacia esterna della formazione, soddisfazione dei laureati e delle PI...) • interventi correttivi, azioni di miglioramento • Indicatori e dati derivanti dalla gestione del Sistema Venerdì 4 Luglio

30. DOC 09/02 CNVSU “Proposta di un insieme minimo di domande per la valutazione della didattica da parte degli studenti” L 370/99 questionari agli studenti frequentanti 3+2 a.a. 01/02 – 02/03 questionario del NVI a distribuzione cartacea e data entry manuale a.a. 03/04 – questionario del NVI a distribuzione manuale, ma con lettura ottica dei moduli L 370/99 questionari specifici per i laureandi - primo e secondo livello a partire dalle prossime sessioni di laurea sarà disponibile una sezione valutativa affiancata al questionario informativo di DIOGENE NVIindagini conoscitive rivolte agli studenti DOC 4/03 CNVSU “Proposta di un insieme minimo di domande per gli studenti che concludono gli studi” L 370/99 questionari ai dottorandi a.s. 2002 – questionario NVI -ADI, compilabile via WEB L 370/99 questionari agli specializzandi e agli iscritti ai Master di 1° e 2° livello Venerdì 4 Luglio

31. UN BRANO FAMOSO... “ORA, ECCO, VEDI, CI VUOLE TUTTA LA VELOCITÀ DI CUI SEI CAPACE PER RESTARE ALLO STESSO POSTO. SE VUOI ARRIVARE IN QUALCHE ALTRO POSTO DEVI CORRERE ALMENO DUE VOLTE DI PIÙ.” “Alice nel paese delle meraviglie” Lewis Carroll - 1872 Venerdì 4 Luglio