… il contesto

1. … il contesto

2. La riforma della didattica come occasione per un ripensamento sul ruolo dell’Università • Rapporto Martinotti 1997: obiettivi della riforma: • Contrattualità del rapporto studenti-ateneo • Differenziazione competitiva tra gli atenei • Flessibilità curriculare • Accreditamento dei corsi di studio • Adozione del sistema dei crediti educativi • Adozione di sistemi di valutazione • Trasparenza nell' indirizzamento del sistema

3. Accreditamento dei corsi di studio • valore culturale del titolo proposto, • sua rispondenza a esigenze sociali o economiche, • adeguatezza delle risorse messe a disposizione dagli Atenei ed efficienza /efficacia della loro gestione

4. Adozione di sistemi di valutazione Autonomia – Responsabilità -Valutazione Autonomia: • nella strutturazione dei curricula, con i soli vincoli derivanti dalle classi di laurea e laurea specialistica • possibilità di modifiche, anche importanti, con strumenti giuridici interni all’Ateneo: Regolamento del Corso di Studio • conferma dell’importanza centrale del processo di programmazione didattica, come adempimento dal lato della struttura didattica, della pluralità di “contratti formativi” conseguenti al perfezionamento delle iscrizioni

5. Adozione di sistemi di valutazione Responsabilità: • nei confronti innanzitutto degli studenti (clienti), che nella scelta del corso di studio danno fiducia ed investono in una proposta formativa, poi verso le cosiddette “parti interessate”: famiglie, imprese, infine società • essa si estrinseca nel garantire un adeguato livello di qualità della didattica • la qualità si ottiene attraverso il controllo sui processi di acquisizione, gestione, implementazione delle: - risorse umane - risorse materiali - all’interno di un sistema pianificato di progettazione ed erogazione, formato da elementi sostanzialmente correlati ed interagenti ...in una ottica di miglioramento continuo

6. Adozione di sistemi di valutazione Valutazione: • interna, insita in ogni funzione di organizzazione e coordinamento – può estrinsecarsi anche attraverso procedure di riesame e autovalutazione, in collegamento a modelli di sistema • esterna,nelle forme della peer review o dall’audit, sono stati interessati (o lo saranno): • I 57 corsi di studioche hanno ricevuto l’accreditamento provvisorio regionale (…i termini per la domanda di accreditamento sono riaperti) • I 5 + 45 (C.-like) corsi di studio, che hanno scelto la sperimentazione del modello CampusOne, dei quali un primo gruppo ha già ricevuto la peer review da parte dei valutatori CRUI

7. Adozione di sistemi di valutazione • nell’ambito degli elementi da tenere presenti in generale in materia di valutazione e controllo qualità, anche della didattica, è importante registrare il feedback proveniente dai clienti diretti delle attività sottoposte a valutazione. • ciò introduce elementi – pur non essendo sicuramente i soli rilevanti - di confronto ad elevato valore aggiunto nel processo di progettazione e miglioramento continuo dell’offerta didattica

8. Adozione di sistemi di valutazione esigenze soddisfatte dalla iniziativa di raccolta delle opinioni degli studenti • adempimento di una disposizione legislativa (art 1 L 370/99) che delega al NdV di ogni Ateneo l’organizzazione di tale attività, presidiata da sanzioni in tema di allocazione di risorse ministeriali • ma, principalmente momento di monitoraggio della customer satisfaction (cioè del livello di corrispondenza tra performance attesa – in relazione alle informazioni di orientamento diffuse in merito dal CdL - e percepita) ai fini di miglioramento continuo del servizio

9. DECODIFICA DOMANDE STANDARD SULLA DIDATTICA FRONTALE 1- Autovalutazione della propria preparazione iniziale 2- Giudizio complessivo sul corso 3- Corrispondenza tra programma ufficiale ed effettivo svolgimento del corso 4- Adeguatezza del materiale didattico 5- Chiarezza ed efficacia del docente nell’esposizione degli argomenti 6- Presenza e puntualità del professore ufficiale del corso 7- Presenza del docente agli orari di ricevimento 8- Disponibilità del docente verso gli studenti 9- Assiduità dello studente alle lezioni/attività 10- Adeguatezza delle attrezzature di supporto alla didattica 11- (domande personalizzate da inserire per singolo CdS)

10. DECODIFICA DOMANDE STANDARD SUL CONTESTO ORGANIZZATIVO 1- L’orario delle lezioni è disponibile con sufficiente anticipo in merito al corso 2- Adeguatezza delle aule alle esigenze didattiche 3- Disponibilità ed adeguatezza delle sale studio 4- Accessibilità delle biblioteche (orari e materiale didattico) 5- Adeguatezza dei punti di accesso alla rete informatica situati all’interno delle strutture della Facoltà 6- Adeguatezza del supporto fornito per il passaggio dal vecchio al nuovo ordinamento 7- Adeguatezza del servizio di segreteria didattica 8- Adeguatezza dell’organizzazione didattica della Facoltà 9- (domande personalizzate da inserire per singolo CdS)

11. Il sistema di valutazione della didattica adottato dall’università di Pisa è frutto di una riflessione del NdV basata sostanzialmente sulla necessità di raggiungere tre obiettivi principali: A- incremento progressivo del numero di rispondenti B- individuare una rosa di aspetti che definiscano in maniera il più possibile adeguata il “microclima” dei CdS, sia per quanto concerne l’erogazione didattica, sia per i profili più legati all’organizzazione complessiva C- aumentare il coinvolgimento delle strutture, al fine soprattutto di evitare che l’attività venga percepita come un mero adempimento burocratico, che si aggiunge alla mole di procedure delle quali non si percepisce l’effettiva utilità

12. Il sistema di valutazione della didattica adottato dall’università di Pisa è frutto di una riflessione del NdV basata sostanzialmente sulla necessità di raggiungere tre obiettivi principali: A- incremento progressivo del numero di rispondenti La raccolta delle valutazioni è promossa dal NVI, ma il “cliente” primario dei risultati è lo stesso Corso di studio, che le utilizza come uno degli input per l’attività di riesame del proprio modo di operare B- individuare una rosa di aspetti che definiscano in maniera il più possibile adeguata il “microclima” dei CdS, sia per quanto concerne l’erogazione didattica, sia per i profili più legati all’organizzazione complessiva C- aumentare il coinvolgimento delle strutture, al fine soprattutto di evitare che l’attività venga percepita come un mero adempimento burocratico, che si aggiunge alla mole di procedure delle quali non si percepisce l’effettiva utilità

13. Caratteristiche del questionario • anonimo • cartaceo, sintetico, in relazione al non appesantimento della compilazione • suddiviso in due parti (didattica frontale – 10 aspetti - ed organizzazione didattica – 8 aspetti -) • item a risposta chiusa, con valutazione ordinale a quattro livelli 1 = completa insoddisfazione della condizione descritta o giudizio totalmente negativo 2 = più no che si 3 = più si che no 4 = completa soddisfazione o giudizio totalmente positivo • possibilità per le strutture didattiche di integrare degli aspetti da sottoporre a valutazione da parte degli studenti • presenza di un campo a testo libero per ognuna delle due parti del questionario

14. Destinatari dell’iniziativa e periodo di somministrazione • studenti iscritti al primo anno e successivi, se attivati, frequentanti le AF del 2° periodo previste dalla programmazione didattica dei corsi di laurea riformati • aprile-giugno 2002 – con richiesta di valutazioni su insegnamenti del 2° semestre o “annuali” ed in merito ad aspetti organizzativi

15. Destinatari dell’iniziativa e periodo di somministrazione questo il segmento principale di riferimento, integrabile – causa anche le modalità operative di distribuzione – di fatto da studenti ancora incardinati nei corsi ante riforma, comunque frequentanti attività formative previste dalla PD dei nuovi • studenti iscritti al primo anno e successivi, se attivati, frequentanti le AF del 2° periodo previste dalla programmazione didattica dei corsi di laurea riformati • aprile-giugno 2002 – con richiesta di valutazioni su insegnamenti del 2° semestre o “annuali” ed in merito ad aspetti organizzativi

16. Modalità di somministrazione previste • principalmente in aula, durante una lezione del corso maggiormente frequentato del 2° periodo/annuale, se possibile con ritiro immediato • anche attraverso punti di distribuzione alternativi (biblioteche, dipartimenti….) • distribuzione ad opera dei CD, accompagnati, se possibile, da rappresentanti degli studenti • introduzione sul significato dell’iniziativa al momento della distribuzione

17. Gestione dei risultati • effettuazione, da parte dei CD, del data entry su SW ACCESS fornito dal NdV (metà luglio) con collaborazione SeSI; a tale SW è allegata una nota informativa, sia per gli aspetti strettamente tecnici, che per le stesura delle relazioni richieste dal NdV ai CdS, sulla base di un indice di base proposto dallo stesso NdV. • trasmissione al NdV delle relazioni di analisi deliberate dai Consigli di CdS, con lo schema proposto come “indice di base” • analisi comparata da parte del NdV delle evidenze statistiche delle valutazioni espresse dagli studenti, in relazione con le considerazioni contenute nelle relazioni pervenute dalle strutture didattiche, specialmente allo scopo di verificare l’identificazione di punti di forza o debolezza del CdS e la predisposizione di adeguate azioni correttive • stesura di relazione di sintesi per il CNVSU e per il Senato accademico (Pisa) e valutazione del feedback da fornire ai CdS

19. L’impatto complessivo dell’iniziativa • 10 Facoltà coinvolte per 56 CdL • 6857 studenti partecipanti (a.a.2000/01 1507, + 338%) • 1209 att.formative/moduli valutati (nella forma di abbinamento insegnamento-docente), di cui 812 con almeno 5 record correlati • oltre 27000 record di valutazione per abbinamenti att.formativa/modulo-docente • oltre il 40% degli iscritti ai corsi riformati (da considerare però la non presenza nel quest. 01/02 di un campo con l’ordinamento di attuale iscr., tale da permettere di stratificare precisamente il campione)

20. Rispondenti per Facoltà

21. Piero Paolicchi paolicchi@dss.unipi.it

22. Parte prima del Questionario (did. front.) riferimento: ATENEO

24. Elementi interpretativi del quadro di riepilogo dei CdS • % val. 1-2 (3-4): rappresenta la media aritmetica delle percentuali di risposte “1-2” e “3-4” sul totale, a livello di singolo CdS, per le 4 domande ritenute maggiormente correlate alla performance propria del “docente” (può essere anche un esercitatore o assistente di lab…) B) numero totale record valutativi: rappresenta il valore totale delle occorrenze di valutazione, che hanno correlazione univoca con un abbinamento COD.AF- DOC. uguale o superiore a 5 ( è quindi correlato al numero di rispondenti (studenti), tenendo conto che ognuno – è il caso normale – possa valutare più di una AF/modulo)

25. Aggregazione concettuale “DOCENTE”

26. Aggregazione “docente” Stratificazione per facoltà

27. Parte prima: indici posizionali sintetici del quadro di riepilogo dei CdS (% 3-4 aggreg. “docente”)Totale dei CdS monitorati a livello di Ateneo Mediana 79,00

28. Aggregazione “Docente” (dom. 5-6-7-8) range min-33° percentile

29. Aggregazione “Docente” (dom. 5-6-7-8) range 33°-66° percentile

30. Aggregazione “Docente”(dom. 5-6-7-8) range 66° perc. - max

31. Autovalutazione della propria preparazione iniziale in rapporto alle altre domande: records con autovalutazione 1 e 4 D1 “1” n° rec = 6421 D1 “4” n° rec = 1859

32. Paolo Scapparone pscappar@ec.unipi.it

33. Parte seconda del Questionario (org. didatt.) riferimento: ATENEO

35. L’orario delle lezioni è disponibile con sufficiente anticipo Stratificazione per facoltà

36. Adeguatezza delle aule alle esigenze didattiche Stratificazione per facoltà

37. Disponibilità ed adeguatezza delle sale studio Stratificazione per facoltà

38. Accessibilità delle biblioteche, orari e materiale didattico Stratificazione per facoltà

39. Adeguatezza dei punti di accesso alla rete Stratificazione per facoltà

40. Adeguatezza del supporto per il passaggio vecchio nuovo ordinamento Stratificazione per facoltà

41. Adeguatezza del servizio di segreteria didattica Stratificazione per facoltà

42. Elementi interpretativi del quadro di riepilogo dei CdS • % val. 1-2 (3-4): rappresenta la media aritmetica delle percentuali di risposte 1-2 (3-4) sul totale, a livello di singolo CdS, per le 4 domande ritenute maggiormente correlate ai profili organizzativi ed amministrativi B) numero totale rispondenti:rappresenta il valore totale delle occorrenze di valutazione sulla parte seconda del questionario, registrato a livello di CdS

43. Aggregazione concettuale “Segreteria ed organizzazione”

44. Aggregazione “Segreteria ed organizzazione” Stratificazione per facoltà

45. Parte seconda: indici posizionali sintetici del quadro di riepilogo dei CdS(% 3-4 aggreg. segr.-org.)Totale dei CdS monitorati a livello di Ateneo Mediana 42,60

46. Aggregazione “Segreteria ed organizzazione”(dom. 1-2-6-7) range min - 33° percentile

47. Aggregazione “Segreteria ed organizzazione”(dom. 1-2-6-7) range 33°-66° percentile

48. Aggregazione “Segreteria ed organizzazione”(dom. 1-2-6-7) range 66° perc. - max

49. La valutazione delle analisi effettuate dai corsi di studio Roberto Dvornicich dvornic@dm.unipi.it

50. Scopi della relazione • Scambio di informazioni tra NdV, coordinatori didattici e presidenti CdS per: • individuare i problemi che si sono manifestati nella somministrazione del questionario e nella raccolta dei dati • individuare i lati positivi/negativi della tipologia del questionario • individuare i lati positivi/negativi dello schema di relazione proposto dal NdV • sollecitare proposte di interventi migliorativi • Analizzare in che modo le relazioni pervenute hanno risposto alle domande poste dal NdV e in particolare: • se sono stati individuati con sufficiente chiarezza i punti di forza e di debolezza dei CdS emersi dal questionario • se il corso di studio ha svolto un’analisi per individuare le ragioni delle situazioni critiche • se e’ indicato l’uso che si intende fare del questionario (pubblicita’ dei dati, sono state adottate o sono previste azioni correttive?)