Criteri e tecniche per la misurazione delle prove “oggettive” Maurizio Tiriticco

1. Criteri e tecnicheper la misurazionedelle prove “oggettive”Maurizio Tiriticco misurazione 2007

2. Valutazione degli apprendimenti iniziale - livelli di partenza o prerequisiti formativa conclusivaOggetti della valutazione: una o più prove qualità degli apprendimenti Ieri - Valutazione con 10 voti decimali di meritoOggi – a) misurazione con punteggi non di merito e b) valutazione da attribuire al punteggio conseguito secondo criteri dati c) accertamento e certificazione delle competenze alla conclusione di un ciclo misurazione 2007

3. Tipologia delle prove * non strutturate tradizionali * strutturate anni 70 e 80 * semistrutturate anni 90 misurazione 2007

4. Probabilità di rispondere esattamente ad un test misurazione 2007

5. Attribuzione di punteggi grezzi ad un test S/M con item a 4 scelte: la prova più frequente Alcune ipotesi di 10 item senza pesi Ipotesi 1 2 3 4 5 La soglia di accettabilità è da stabilire misurazione 2007

6. Test S/M di 10 item con 4 scelte ciascuno, somministrato a 10 alunni Punteggi attribuiti: 4 risposta esatta 1 astensione 0 risposta errata Massimo teorico 40 x ciascun alunno 400 x il gruppo Limite di accettabilità??? 24 = norma = voto 6 30 = test facile 20 = test difficile Item alunni 1 2 3 4 5 6 7 8 9 10 1 4 4 1 4 0 4 4 4 4 1 30 2 4 4 1 4 0 1 4 4 4 1 27 3 4 1 1 4 0 0 1 4 4 1 20 4 0 1 0 4 0 4 1 4 4 0 18 5 0 0 0 0 0 0 0 0 0 0 0 6 4 1 1 0 4 1 1 4 4 4 24 7 4 4 4 4 4 4 4 4 4 4 40 8 4 1 1 1 0 4 1 1 1 4 18 9 4 4 1 1 0 4 4 0 1 1 20 10 4 1 1 4 4 0 4 0 4 1 23 32 21 11 26 12 22 24 25 30 17 220 Se il Test S/M è di 30 item con 4 scelte ciascuno, il punt. max = 120 misurazione 2007

7. La misurazione – Punteggi relativi a due prove oggettiveattribuzione di punteggi grezzi alle provepunteggio da 1 a…. nesempio da 1 a 100 – costituiscono il minimo e massimo teorico raggiungibile distribuzione dei punteggi di due prove, A e B, somministrate a 16 alunniA ….45, 48, 58, 60, 65, 65, 65, 68, 68, 76, 77, 78, 80, 83, 89, 93…………...B…………….58, 58, 58, 60, 68, 69, 70, 73, 73, 80, 89, 91, 99, 100, 100, 100 limite di accettabilità, a discrezione del testista: 70qui ci si potrebbe fermare, ma… …consideriamo altri valoriMedia: sommatoria dei punteggi diviso il loro numeroA 1120 : 16 = 70 B 1246 : 16 = 77,87Mediana: il punteggio che occupa la posizione centrale A = 68 B = 73Moda: il punteggio più frequente A = 65 B = 58 e 100Gamma: punt. max – min + 1 A 93 – 45 + 1 = 49 B 100 – 58 + 1 = 43sono valori utili per elaborare i punteggi misurazione 2007

8. Per l’elaborazione dei punteggi grezzi servono altri valori Sigma: radice quadrata della somma di ogni punteggio meno la media elevato al quadrato diviso il numero delle provePunto Z di una prova: singolo punteggio meno la media diviso il sigmaPunto T di una prova: punto Z moltiplicato 10 + 50Comparare dei punteggi tra loro in valori assoluti non è corretto La comparazione va fatta solo se prima si è compiuta l’elaborazioneRisulterà che un 8 non è eguale ad un altro 8!!! misurazione 2007

9. Attenzione!UN NUMERO NON INDICA SEMPREUNA REALTA’ OGGETTIVA!Il medesimo punteggio raggiunto da 2 candidati a 2 concorsi non è “eguale” se un candidato vince e l’altro no perché i posti del suo concorso sono pochi!!! Il posto n. 55 su un vagone di seconda classe è proprio il cinquantacinquesimo? No! In effetti è il ventinovesimo! La camera 320 dell’hotel x non è la trecentoventesima!Sappiamo solo che è al terzo piano! 3 litri non sono eguali a 3 galloni! misurazione 2007

10. Esempio di elaborazioneAda e Bice, in due gruppi di 10 alunni prendono 8 in una prova, ma… …vediamo i voti di Ada e di Bice nei 2 gruppi di 10 alunni…gruppo di Ada 4 5 5 5 6 6 6 6 6 8 …gruppo di Bice8 9 9 9 9 9 9 9 10 10media della distribuzione di Ada 57 : 10 = 5,7media della distribuzione di Bice 91 : 10 = 9,1sigma della distribuzione di Ada 1, 00sigma della distribuzione di Bice 0,53Punto Z di Ada 8 – 5,7 : 1 = 2,30 Punto Z di Bice 8 – 9,1 : 0,53 = 2,07 Punto T di Ada 2,30 + 10 x 50 = 73 Punto T di Bice 2,07 + 10 x 50 = 29Ergo! L’8 di Ada non è eguale all’8 di Bice! Vale di piùùùù! misurazione 2007

11. Analisi degli itemindice di difficoltà, DF, di un itemnumero delle risposte errate diviso il numero totale delle risposte difficoltà massima – DF = 1 tutte le risposte sono errate difficoltà medio/max – DF = 0,75 difficoltà media – DF = 0,50 difficoltà medio-min – DF = 0,25 difficoltà inesistente – DF = 0indice di discriminatività, DS, di un itemserve a valutare se un item è in grado di distinguere gli alunni migliori dai peggiori Numero delle risposte esatte dei migliori (1/3 del gruppo) meno il numero delle risposte esatte dei peggiori (1/3 del gruppo) diviso 1/3 del gruppo. Gli esiti vanno da un +1 (DS positiva) a un –1 (DS negativa) misurazione 2007

12. LE PROVE SEMISTRUTTURATELe prove semistrutturate sono un mix di prove strutturate e di prove aperte. Concretamente, l’insegnante elabora un testo di 2, 3 o 4 cartelle su un dato tema studiato dagli alunni. Il testo, nel suo sviluppo, contiene a finestra dei quesiti chiusi e aperti (ad esempio 4 quesiti chiusi e 6 aperti). Per ciascun quesito aperto, si indica quale lunghezza minima-massima debbano avere le singole risposte (in genere da 80 a 100 parole). Per la misurazione si procede così: a) per i quesiti a risposta chiusa vale ciò che si è detto per i test; b) per i quesiti a risposta aperta, si stabilisce un punteggio min/max in relazione alla conformità o meno della risposta ad una risposta criterio formulata ed attesa dall’insegnante. Ad esempio: 0 = risposta omessa, 1 = basso, 2 = medio, 3 = alto. Ovviamente si può scegliere anche una scala diversa, ma non oltre i 5 punti. In ordine al massimo teorico raggiungibile complessivamente, si stabilisce anche la soglia di accettabilità. misurazione 2007

13. Esempio di misurazione di una prova semistrutturata5 quesiti test (ipotesi 1, vedi slide n. 5): min. 0, max 5 7 quesiti a risposta aperta (ipotesi 0,1,2,3) min. 0, max 21totali: min. 0, max 26soglia di accettabiltà: 16oppure 20, prova difficile o 12, prova facile misurazione 2007

14. La misurazione negli esami di Stato misurazione 2007

15. Griglia di misurazione di una prova scritta di italiano I N D I C A T O R I LIVELLI B M A 1. Punteggiatura 1 2 3 2. Ortografia 1 2 3 3. Morfosintassi 1 2 3 4. Proprietà lessicale 1 2 3 5. Aderenza allo stimolo 1 2 3 6. Coerenza Organicità 1 2 3 7. Chiarezza espositiva Fluenza 1 2 3 8. Competenza nell’analisi 1 2 3 9. Competenza nella elaborazione personale 1 2 3 10. Flessibilità Fluidità Creatività 1 2 3 Livello di accettabilità: 20 - Massimo teorico: 30 I singoli risultati si rapportano ai quindicesimi richiesti dalla norma misurazione 2007

16. Prima prova scritta – Tipologia A – Analisi del testo Prima prova scritta – Tipologia B1 – Articolo di giornale misurazione 2007

17. Prima prova scritta – Tipologia B2 – Saggio breve Prima prova scritta – Tipologie C e D – Tema tradizionale misurazione 2007

18. TERZA PROVA SCRITTA Tipologia E – Casi pratici e professionali, non più di 2 misurazione 2007

19. TERZA PROVA SCRITTA Tipologia F – Un progetto misurazione 2007

20. COLLOQUIO PLURIDISCIPLINARE – edizione attuale 1 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto misurazione 2007

21. COLLOQUIO PLURIDISCIPLINARE – edizione a. s. 2008-2009 1 ÷ 4 = Basso; 5 = Medio; 6 = Medio/Alto; 7 = Alto misurazione 2007

22. fine misurazione 2007