Progetto Pilota 3 per la valutazione del sistema dell’istruzione

1. Progetto Pilota 3per la valutazione del sistema dell’istruzione Presentazione base: finalità generali e procedure di somministrazione a cura di Claudio Marangon con la collaborazione di Danila Canzian e Marina Favero

2. Indice • Finalità del Progetto Pilota • Servizio Nazionale di Valutazione dell’Istruzione (SNVI): • Rete interistituzionale • Missione • PP1>PP3: la partecipazione in Italia e nel Veneto • PP3 caratteristiche • Il Questionario di sistema • Le prove oggettive • La somministrazione delle prove • Materiali e documentazione di riferimento

3. Finalità PP3 Progetti pilota: perché? • Per promuovere una cultura della valutazione come strumento di miglioramento per le scuole autonome • Per creare una rete di figure professionali addette alla valutazione, facendole emergere dalle scuole • Per sperimentare un modello di Servizio Nazionale di Valutazione, allineando il sistema italiano ad analoghe esperienze di altri Paesi

4. Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/1 Rete interistituzionale • Nel nuovo scenario istituzionale il Servizio Nazionale di Valutazione dell’Istruzione prevede due polarità fondamentali: • INValSI, perno delle operazioni di valutazione • le autonomie scolastiche, assurte al riconoscimento costituzionale • Uffici scolastici regionali e IRRE dovrebbero assumere ruolo di sussidiarietà e accompagnamento delle autonomie scolastiche

5. Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/2 Missione del futuro SNVI • Misurerà scuola per scuola le uscite del sistema istruzione secondo gli obiettivi nazionali indicati dal Ministro • Individuerà annualmente i punti critici per azioni correttive e allocazioni di risorse • Utilizzerà parametri coerenti con quelli usati dai servizi di valutazione comunitari ed internazionali

6. PP1>PP3: la partecipazione in Italia e nel Veneto • A livello nazionale: • 2653 scuole iscritte volontariamente nel PP1 • 6755 scuole iscritte volontariamente nel PP2 • oltre 9000 scuole iscritte volontariamente nel PP3 • A livello regionale: • 138 scuole venete iscritte volontariamente nel PP1 • 357 scuole venete iscritte volontariamente nel PP2 • 445 scuole venete iscritte volontariamente nel PP3, di cui: • 372 statali e 73 paritarie • 279 già iscritte a PP2 • 41 scuole nel campione probabilistico nazionale • 34 scuole a sperimentazione informatica

7. PP3 caratteristiche • Articolazione delle scuole in due gruppi: • campione probabilistico nazionale (589 scuole selezionate dall’INValSI) • scuole aderenti volontariamente (oltre 9000 istituzioni scolastiche) • Rilevazione nelle classi indicate dalla riforma • Tre discipline indagate • Strumenti: • Questionario di sistema • Prove con quesiti a scelta multipla • Somministrazione per via cartacea • Continuazione sperimentazione informatica

8. Il questionario di sistema/1 • Dal PP1 e PP2 emerge la necessità di un confronto tra prestazioni degli allievi e offerta delle istituzioni scolastiche. • Il Questionario di sistema può rappresentare: • strumento di raccolta di elementi di processo • traccia complementare e compatibile con qualsiasi modello di autovalutazione di istituto adottato dalle scuole. • Tiene conto sia di voci fondamentali comuni sia del possibile spazio di differenziazione fra le scuole stesse

9. Il questionario di sistema/2 Il Gruppo che ha elaborato il Questionario di Sistema per il PP3 • ha tenuto conto delle indicazioni emerse dal PP2 • ha utilizzato le osservazioni di un gruppo di Dirigenti scolastici • ha eliminato alcune domande ritenute superflue • ha modificato altre domande • ha razionalizzato la struttura generale • ha aggiunto alcune domande sulle risorse finanziarie, richieste dall’Amministrazione e dalla Corte dei Conti

10. Il questionario di sistema/3 Quest’anno il questionario è diviso in due parti da compilarsi in momenti diversi. • La prima parte raccoglie informazioni su: • caratteristiche strutturali dell’istituto scolastico (strutture fisiche e risorse disponibili) • caratteristiche di contesto (bacino demografico, popolazioni, contesto esterno) La compilazione della prima parte (entro il 15 febbraio 2004 è a cura del Dirigente scolastico e del Direttore dei servizi generali e amministrativi.

11. Il questionario di sistema/4 • La seconda parte raccoglie informazioni su: • anagrafica • organizzazione • istruzione e formazione • progetti di integrazione culturale • attività di autovalutazione, valutazione interna, certificazione • attività di analisi sui risultati ottenuti dalle scuole • miglioramento finalizzato ai processi di insegnamento e apprendimento

12. Il questionario di sistema/5 • La seconda parte è a cura di un Gruppo di discussione individuato all’interno della scuola, e va compilata entro il 31 marzo 2004 • Le scuole debbono compilarla almeno in una copia (per l’ordine nel quale si trova la sede amministrativa) • si suggerisce, tuttavia, di compilarla in tante copie quanti sono gli ordini presenti (ad es. tre copie nel caso di un Comprensivo costituito da scuola dell’infanzia, elementare e scuola media; nel caso di scuola media andrà compilata un’unica copia, anche se la scuola è dislocata in più plessi)

13. Le prove oggettive • L’esigenza di rapidità e velocità per l’immissione e l’elaborazione dei dati ha precluso la possibilità di risposte aperte • Le prove sono costituite tutte, uniformemente, da quesiti a scelta multipla (4 o 5 risposte, una sola corretta; 3 solo per la classe 2a sc. primaria) • I quesiti si riferiscono sostanzialmente agli obiettivi della programmazione dell’anno precedente a quello in cui si svolge la prova • numero limitato di obbiettivi • duratacirca 60’ (leggermente sovradimensionata) • taratura difficoltà su indici medio-facili (pre-testing)

14. La prova di ITALIANO/1 • Quel che si intende testare: • Abilità grafiche (e di scrittura) di base • Padronanza di un lessico di estensione adeguata • Nozioni fondamentali di morfosintassi e semantica • L’architettura di un testo • Aspetti retorici e formali • Comprensione particolare e globale del testo

15. La prova di ITALIANO/2 • ESEMPIO 1 • All’interno della frase: forme implicite, … • Indica il significato del gerundio nella frase: • Piovendo a dirotto, arrivai in ritardo • Siccome pioveva a dirotto, … • Anche se pioveva a dirotto, … • Ogni volta che pioveva a dirotto, … • Sepioveva a dirotto, …

16. La prova di ITALIANO/3 • ESEMPIO 2 • Oltre la frase: i connettivi testuali, … • Indica la relazione di significato che collega le due frasi seguenti: • Lo chiamai. Non si voltò • Lo chiamai. Ma non si voltò • Lo chiamai. InfattiNon si voltò • Lo chiamai. Dunque non si voltò • Lo chiamai. Poinon si voltò

17. La prova di ITALIANO/4 • Comprensione particolare del testo • Es. 1:livello scuola primaria (testo narrativo) • All’inizio del racconto, il personaggio X è presentato come un … • Che cosa fa X per / contro Y? • Perché X compie una certa azione? • Es.2: livello scuola sec. I grado (testo espositivo) • Dopo aver letto la prima parte del brano hai capito che … • L’autore afferma che X: questo vuol dire che… • Qual è il significato dell’espressione X?

18. La prova di ITALIANO/5 • Comprensione globale del testo • Es. 1: livello scuola primaria • Da chi è raccontata la storia? • Dove/Quando si svolge la storia? • In quale ordine accadono i fatti della storia? (uso di disegni) • Es.2: livello scuola sec. I grado • Qual è lo scopo principale del brano? • Qual è l’argomento principale del brano? • Quale delle seguenti sequenze riassume meglio il brano?

19. Livello Tipo di testo n° quesiti n° distrattori II elementare Narrativo (+ prova scienze) 12 2 IV elementare Narrativo Espositivo 15 3 Medie inferiori Narrativo Espositivo (argomentativo) 20 3 Medie superiori Narrativo/poetico espositivo- argomentativo 20 3 La prova di ITALIANO/6 Tipologia per livelli

20. La prova di ITALIANO/7 • Comprensione testo poetico • Livello: scuola secondaria II grado, III anno • Qual è il ‘tema’ profondo della poesia? • Qual è il registro linguistico usato dal poeta? • In quante strofe si articola la poesia? • Da che tipo di versi è composta la poesia? • Qual è lo schema ritmico della poesia? • Il poeta si rivolge a un interlocutore che va identificato con … • La condizione esistenziale / Lo stato d’animo del poeta trova una corrispondenza nell’immagine di … • Confrontando il verso X con il verso Y si può osservare che … • Qual è la parafrasi corretta dei versi XY?

21. La prova di MATEMATICA/1 • Conoscenze e abilità • COMPETENZE scelte in un ambito disciplinarmente limitato ma significativo • CONOSCENZE riferite essenzialmente a quelle acquisite nell’anno precedente • Riferimento ai PROGRAMMI di ORDINAMENTO, con attenzione anche ai nuovi CURRICULA in via di formulazione

22. La prova di MATEMATICA/2 Classe II scuola primaria Il NUMERO • Lettura e scrittura dei numeri naturali • …. GEOMETRIA • Capacità di attuare percorsi e di riconoscerne caratteristiche (più o meno lungo, aperto, …) • …

23. La prova di MATEMATICA/3 Classe IV scuola primaria IL NUMERO • Conoscere i numeri naturali e decimali e sapere operare con essi; scrittura posizionale dei numeri • … GEOMETRIA • … LA MISURA • … INTRODUZIONE AL PENSIERO RAZIONALE • ...

24. La prova di MATEMATICA/4 Classe I scuola secondaria I grado IL NUMERO • Conoscere i numeri naturali e decimali; saper operare con essi e attuare approssimazioni • … GEOMETRIA • … LA MISURA • … INTRODUZIONE AL PENSIERO RAZIONALE • … DATI E PREVISIONI • …

25. La prova di MATEMATICA/5 • Classi I e III scuola secondaria II grado • NUMERO e ALGEBRA • Conoscenze fondamentali riguardanti i numeri naturali, interi, razionali • … • GEOMETRIA • … • RELAZIONI e FUNZIONI • … • DATI E PREVISIONI / LOGICA • …

26. La prova di SCIENZE/1 • Caratteristiche delle prove • Anche se su indici medi (Idiff = 0,4 ÷ 0,6), queste prove dovrebbero essere leggermente più difficili del PP2 • per la II elementare 7 quesiti a scelta multipla (3 alternative) • per gli altri livelli 25 quesiti a scelta multipla (4 alternative) • quesiti a scelta multipla per tutti i livelli, centrati sui concetti fondamentali delle scienze sperimentali della natura • verifica dell’acquisizione dei punti chiave del metodo scientifico, che entra in gioco con modalità diverse nelle diverse discipline • temi fondamentali per tutti i livelli, ma con approfondimenti e specificità disciplinari diversificate

27. La prova di SCIENZE/2 • Caratteristiche dei quesiti • Riproduzione degli stessi argomenti nei diversi livelli ma con formulazione più complessa dei quesiti e dei distrattori • Abilità implicate dai concetti indagati: • identificazione delle caratteristiche dell’oggetto • riconoscimento di differenze e somiglianze • costruzioni di nessi, ecc. • Abilità trasversali: • osservazione, uso di un linguaggio ordinario o tecnico, comprensione di un testo, ecc.

28. La prova di SCIENZE/3 • TEMI • Seconda elementare • Elementi di metodo sperimentale • Viventi/non viventi • Uomo/ambiente • Quarta elementare - Prima media • Elementi di metodo sperimentale • Viventi/non viventi • Uomo/ambiente • Trasformazioni • Prima superiore - Terza superiore • Elementi di metodo sperimentale • Biologia • Chimica • Fisica • Scienze della Terra • Scienze dell’ambiente

29. La prova di SCIENZE/4 • I sc. sec II grado • Osservare • riconoscere fenomeni di natura diversa • Classificare • ordinare (in sequenze temporali e/o logiche, in termini quantitativi) • stabilire relazioni • riconoscere caratteristiche specifiche • Linguaggi specifici • Utilizzare il linguaggio matematico • calcolare, quantificare (unità di misura, strumenti di misura), confrontare • leggere tabelle, leggere grafici, leggere ed eseguire disegni in scala • Interpretare dati empirici e/o sperimentali • Risolvere situazioni problematiche • mediante concetti disciplinari • Leggere e comprendere un breve testo scientifico • IV scuola primaria • I sc. sec I grado • Osservare • descrivere: • raccogliere dati • riflettere su indizi • riconoscere caratteristiche specifiche di un fenomeno • Ordinare • •in sequenze temporali e/o logiche • Classificare • stabilire relazioni • in base a caratteristiche specifiche • confrontare in termini qualitativi e/o quantitativi • Linguaggi specifici • Leggere e comprendere un breve testo scientifico, • usando termini del lessico specifico • •Leggere il linguaggio grafico ABILITA’ II scuola primaria Osservare •esplorare attraverso i sensi •discriminare tra vivente e non vivente Ordinare Classificare •stabilire relazioni

30. La prova di SCIENZE/5 Classe II scuola primaria Esempio 1 (pre-testing) La mamma ha messo sul fuoco una pentola colma d’acqua. Si è però distratta per preparare la verdura e l’acqua ha continuato a bollire per 15 minuti. Che cosa è successo nel frattempo alla quantità d’acqua? A. È rimasta quella iniziale. B. È diminuita molto. C. È aumentata. Risposta Risposta corretta Casi Percentuale Punto biseriale A 26 10,79 -0,28 B * 105 43,57 0,34 C 110 45,64 -0,16 Doppia risposta 0 0,00 NA Omesso 0 0,00 NA Numero totale dei casi 241 Indice di discriminazione 0,34

31. La prova di SCIENZE/6 • Classe II scuola primaria • Esempio 2 (pre-testing) • Renzo porta in classe una piccola calamita che gli è stata regalata dal nonno. I compagni avvicinano alla calamita i seguenti oggetti: una chiave di ferro; un foglio di carta appallottolato; una biglia di vetro; una gomma. Quali oggetti verranno attirati dalla calamita? • A. Tutti gli oggetti. • B. La chiave e la biglia. • C. La chiave. • D. Nessun oggetto. • Risposta Risposta corretta Casi Percentuale Punto biseriale • A 3 1,08 -0,27 • B 22 7,94 -0,23 • C * 250 90,25 0,30 • D 2 0,72 0,03 • Doppia risposta 0 0,00 NA • Omesso 0 0,00 NA • Numero totale dei casi 277 Indice di discriminazione 0,30

32. La prova di SCIENZE/7 Classe II scuola primaria Esempio 3 (pre-testing) Secondo te quanto misura lo spessore della moneta di un euro? □A. 5 millimetri □B. 0,2 centimetri □C. 1 centimetro □D. 0,3 millimetri Risposta Risposta corretta Casi Percentuale Punto biseriale A 61 26,99 -0,11 B * 62 27,43 0,25 C 18 7,96 -0,14 D 85 37,61 -0,05 Doppia risposta 0 0,00 NA Omesso 0 0,00 NA Numero totale dei casi 226 Indice di discriminazione 0,25

33. La somministrazione delle prove • La somministrazione cartacea • La somministrazione informatica/mista • Il campione statistico a somministrazione cartacea • Ruolo e compiti del referente di istituto • Ruolo e compiti del somministratore • Il monitoraggio delle attività • Il controllo di qualità

34. La somministrazione cartacea • Riguarda tutte le scuole che hanno aderito volontariamente al Progetto Pilota 3 • Ogni scuola riceverà il materiale cartaceo (copie dei fascicoli delle prove in numero sufficiente, elenco delle classi e degli studenti, manuale del somministratore) tramite corriere • La somministrazione, coordinata dal Referente di istituto, sarà effettuata da tutte le scuole nelle date indicate dall’Invalsi (un giorno per ognuna delle tre prove) • Le date indicate per il PP3 sono 16-28 febbraio 2004; le prove si svolgeranno in ore antimeridiane • Le date delle prove devono essere comunicate agli studenti delle rispettive classi, sensibilizzandoli sull’importanza della rilevazione

35. La somministrazione informatica/mista/1 • Riguarda le scuole segnalate dalla Direzione Generale, e dotate di adeguata attrezzatura • E’ possibile una somministrazione mista (alcune classi informatica, le restanti cartacea) secondo quanto le scuole hanno già segnalato all’Invalsi • Il referente di istituto riceverà un apposito software per gestire l’operazione di scarico e carico dei dati Per difficoltà di carattere tecnico è possibile fare riferimento a: • prof. Pierantonio Garlini (presso CSA Vicenza)tel. 0444 251173; cell. 347 4588897pierantonio.garlini@istruzionevicenza.it oppure a: • Help desk INValSI tel. 06 94185273-274-275-276-277 Fax 06 94185252-202-279 e-mail progettopilota3@invalsi.it

36. La somministrazione informatica/mista/2 Esempio di pianificazione nel caso di somministrazione informatica Ipotesi: • Laboratori = 1\6 classi • PC per laboratorio = 12-14

37. La somministrazione informatica/mista/3 • Condizioni per svolgere l’eventuale recupero della prova: • compilazione sospesa per un cattivo funzionamento dell’apparato informatico locale • compilazione rimandata per l’assenza del 50% degli studenti di una classe • Chi svolge il recupero: • Una o più classi intere • Quando svolgere il recupero: • Dopo l’ultima sessione di compilazione delle prove oggettive di scienze

38. Il campione statistico a somministrazione cartacea INValSI ha già reso note le classi selezionate (vedi http://www.invalsi.it/Pilota3/pp3/index.htm, poi Classi campionate) • La somministrazione delle prove sarà cartacea • La scuola riceverà comunque il materiale cartaceo per tutte le classi, e potrà scegliere se somministrare le prove a tutte le classi oppure solo quella selezionata da INValSI per ogni livello • Tuttavia, solo quella selezionata da INValSI risulterà parte del campione statistico

39. Ruolo e compiti del referente di istituto/1 • Sensibilizzazione personale scolastico e famiglie (presentazione PP3 e suoi obiettivi; esempi risultati PP2) • Sensibilizzazione studenti ad una partecipazione consapevole (riservatezza e non anonimato) • Coordinamento della compilazione del Questionario di sistema • Responsabilità della somministrazione delle prove

40. Ruolo e compiti del referente di istituto/2 Per il QUESTIONARIO DI SISTEMA: • Coordina le attività della compilazione del questionario • Preleva il Questionario e il Manuale di compilazione dal sito Invalsi • Costituisce il Gruppo di discussione • Distribuisce copia cartacea del Questionario a tutti i membri del Gruppo • Pianifica le date per i necessari incontri del Gruppo • Stabilisce la data in cui registrare on line le risposte • Compila, entro il 31 marzo 2004, il Modulo di osservazioni per permettere il monitoraggio delle attività che hanno portato alla compilazione del Questionario

41. Ruolo e compiti del referente di istituto/3 • In base al tipo di Istituto, il Gruppo di discussionepuò essere costituito da: • il Dirigente scolastico • due allievi (per le scuole superiori) scelti tra i rappresentanti di classe o di Istituto • due genitori scelti tra i rappresentanti di classe o di Istituto • il DSGA e un rappresentante del personale ATA (per quanto di loro competenza e in particolare per le scuole statali) • tre Docenti di discipline diverse

42. Ruolo e compiti del referente di istituto/4 • Per la SOMMINISTRAZIONE DELLE PROVE: • Sceglie, assieme al Dirigente scolastico, i colleghi somministratori • Informa adeguatamente i somministratori sulle procedure, garantendo che ci siano le stesse condizioni di misura >>> Manuale del referente di istituto >>> Manuale del somministratore • E’ responsabile di tutti i materiali • Controlla i materiali ricevuti dall’INValSI via corriere e li conserva in luogo sicuro

43. Ruolo e compiti del referente di istituto/5 • Applica le etichette con i codici sulle copertine di ciascun fascicolo • Compila Elenco classi e Elenco studenti • Conserva una copia degli elenchi • Coordina le attività di somministrazione delle prove oggettive nelle date indicate dall’Invalsi • Pianifica eventuale attività di recupero • Stende una relazione guidata • Riconsegna i materiali (via corriere)

44. Ruolo e compiti del referente di istituto/6 Elenchi studenti • Obbligo di partecipare per tutti gli studenti presenti il giorno della prova • Assicurare che siano ‘esclusi’ solo gli studenti che rientrano fra i casi previsti • Si consiglia di far partecipare alle prove anche gli studenti cui è stato assegnato un codice di esclusione (per non turbare la loro sensibilità e non discriminarli) Esclusioni: non verranno elaborati i dati di alcune categorie di studenti, da segnalare con il relativo codice esclusione: • Studenti disabili fisici • Studenti disabili psichici • Studenti di lingua madre diversa dalla lingua delle prove, >>> esempio Elenco classi e studenti PP3

45. Ruolo e compiti del somministratore E’ scelto tra gli insegnanti che non sono della classe, possibilmente non della materia interessata, indicativamente a rotazione tra gli insegnanti in servizio il giorno della somministrazione Ha il ruolo fondamentale di assicurare la correttezza della somministrazione.In particolare: • assicura la necessaria assistenza agli studenti distribuendo i materiali e fornendo le spiegazioni per la compilazione delle prove • se necessario, richiama gli studenti all’impegno e vigila affinché le prove siano da tutti compilate autonomamente • non fornisce, in alcun modo, alcun tipo di aiuto in merito alle risposte

46. Il monitoraggio delle attività Un monitoraggio sull’andamento degli incontri provinciali di coordinamento verrà effettuato dall’Invalsi tramite: • osservazione sul campo: personale dell’INValSI parteciperà ad alcuni degli incontri programmati a livello regionale e provinciale. • somministrazione telematica di un questionario (uno per ciascuna tipologia di referente: regionale, provinciale, coordinatore di istituto) a partire dalla fine di febbraio 2004. I dati che scaturiranno dall’osservazione sul campo e dalla somministrazione dei tre questionari saranno pubblicati in tempo reale sul sito Formazione PP3.

47. Il controllo di qualità Durante i giorni della somministrazione verrà effettuato, a cura della Direzione Generale, un controllo di qualità per verificare come vengano attuate le procedure, con lo scopo di assicurare la maggiore affidabilità ai dati che verranno raccolti per l’elaborazione a livello nazionale. Il controllo di qualità sarà condotto tramite personale appositamente incaricato che effettuerà visite a un campione di scuole.

48. Materiali e documentazione di riferimento http://www.invalsi.it/Pilota3/pp3/index.htm • Manuali per referenti di istituto e somministratori • Questionario di sistema (Parti 1 e 2) e Manuali per la compilazione • Esempi di prove e risultati PP2 (http://www.invalsi.it/pilota2/) • Nominativi referenti regionali • Informazioni su incontri provinciali • Bacheche per Comunicazioni urgenti e Forum • Materiale vario • … Altro materiale sul sito dell’USR Veneto, area Progetto Pilota: http://www.istruzioneveneto.it/pilota/menupilota.shtml

49. Riferimenti a livello provinciale Per ogni attività legata al PP3 è possibile rivolgersi anche a: • (riferimento referente c/o CSA) • (riferimento docente esterno) • (riferimento docente esterno)