Metodologia della valutazione decimale: strumenti, tecniche e strategie

1. Istituto Comprensivo “Pacinotti” San Cesario s/P (MO) Metodologia della valutazione decimale: strumenti, tecniche e strategie dott. Barbara Turella San Cesario s/P (MO) – 8-9 settembre 2009

2. 1 incrementare la competenza nel costruire prove di verifica degli apprendimenti con particolare riguardo agli aspetti valutativi 2 3 favorire la costruzione di una metodologia valutativa che consenta di passare dalla valutazione della singola prova alla valutazione complessiva facilitare l’individuazione di obiettivi formativi preventivamente connessi con la necessaria valutazione degli apprendimenti Obiettivi dell’intervento formativo:

3. Competenza e compiti Raccolta di un insieme di evidenze osservabili e misurabili che attestino la padronanza del soggetto rispetto alla competenza attesa. Valutazione della competenza Valutazione delle conoscenze Valutazione delle abilità • Prove di verifica (più o meno strutturate) • Compiti autentici • Realizzazione di manufatti o prodotti • Selezione di lavori significativi per testimoniare il percorso di apprendimento e i risultati raggiunti

4. La validità Consiste nel grado di corrispondenza tra la misura (rilevazione quantitativa o qualitativa) e ciò che si vuole misurare (fenomeno, processo, dato). • La validità di una misurazione richiede: • un costrutto teorico che definisce e traduce la competenza nelle singole componenti, chiarendo le loro relazioni e la loro ampiezza. • la selezione delle componenti che intendiamo valutare • la definizione dei compiti, delle domande e delle prove che attivano le componenti selezionate • la costruzione di criteri di assegnazione del punteggio e di una scala di misura adatta alla misurazione

5. La validità • Validità di contenuto • Riscontro della significatività degli elementi da sottoporre a verifica; dovrebbero essere centrali e utili per la valutazione • Selezione degli elementi da sottoporre a verifica come rappresentativi della competenza da valutare • Validità rispetto ad un criterio • Concorrente: misure simultanee degli stessi elementi • Predittiva: se disponiamo di un criterio con cui confrontare la valutazione a distanza di tempo • Validità apparente • Controllo degli aspetti qualitativi ed emotivi in relazione all’adeguatezza degli stimoli rispetto ai destinatari

6. L’affidabilità Consiste nel grado di precisione con cui si può effettuare la misurazione (reliable = che dà affidamento) Una misura affidabile presenta alti livelli di: - concordanza tra valutatori [r >.80] (basso livello di interpretabilità) - concordanza tra misurazioni ripetute (forme parallele, test-retest, split-half, ecc.) - precisione (dello strumento e del valutatore) - costanza del valutato (negli allievi si può incrementare aumentando le misurazioni)

7. L’affidabilità • Check-list per la valutazione della precisione nella misurazione • Precisione dello strumento • Lo stimolo che propone (consegne, formato, ecc.) è uguale per tutti? • Gli stimoli offrono diversi livelli di risposta/soluzione? • La scala di misura permette la registrazione “oggettiva” delle risposte? • Precisione del valutatore • Usa uno strumento strutturato per la verifica/misurazione? • Nel caso di strumenti non strutturati, la registrazione è sistematica? • Ci sono livelli interpretativi nella somministrazione o presentazione dello stimolo? • Ci sono livelli interpretativi nell’attribuzione del punteggio? • Costanza del valutato • Il tipo di stimolo può essere condizionante • Le modalità di somministrazione possono condizionare la verifica? • Circostanze casuali che inficiano la rilevazione • Ci sono dimensioni ambientali o personali che possono condizione la prestazione?

8. L’affidabilità • Check-list per la valutazione dei compiti • Il compito: • richiede l’applicazione di concetti, principi e abilità fondamentali appresi a nuovi concetti? • incoraggia un progresso dell’apprendimento? • implica processi di livello più elevato della semplice ripetizione della conoscenza appresa? • è aperto a più soluzioni possibili? • è sfidante? • è inserito in un contesto reale? • ha un valore significativo in sé? • esige lo sviluppo e la ricostruzione della conoscenza appresa? • è parte del processo di apprendimento? • integra conoscenze e abilità? • sviluppa una maggior comprensione di concetti e di principi? • fornisce chiare indicazioni riguardo a ciò che deve essere eseguito? • è appropriato agli studenti a cui è proposto, è realizzabile in rapporto alle fonti richieste, è chiaro? • mantiene un buon equilibrio tra la precisione delle richieste e le diverse possibili alternative? • è in linea con gli standard e gli obiettivi del curricolo scolastico? • dispone di criteri che rendono possibile e chiara la sua valutazioni?

9. L’oggettività della valutazione Lichtner (2002): l’equivoco risiede nell’equazione “quantitativo=oggettivo”. “Bisogna chiedersi come sono stati generati quei dati che poi elaboriamo. Tutto dipende dalla formulazione dei quesiti, dal tipo di alternative poste, che condizionano il comportamento che rileviamo. E la messa a punto di queste condizioni è satura di elementi soggettivi, frutto di scelte che a volte sono addirittura idiosincratiche. Se l’elaborazione quantitativa dei dati raccolti è “oggettiva”, certamente non è tale la procedura che ha “generato” i dati”. (Lichtner, 2002, pp. 97-98) Misurabili Non misurabili Significativi Risultati Non significativi

10. I compiti: prove strutturate (test) • Forniscono uno stimolo e modalità di risposte di tipo chiuso • Sono oggettive quando è possibile predefinire le risposte corrette per i singoli quesiti • Possono essere prove di classe o prove standardizzate • Operativamente: • Definire la forma del quesito o item: domande a scelta multipla, vero/falso, ecc. o problema, analisi di caso ecc. • Strutturare lo stimolo: circoscrivere il campo delle possibili risposte (per es. numero di alternative o serie di punti da seguire nell’esecuzione del compito) • Individuare “a priori” la risposta corretta ovvero formulare i criteri di attribuzione del punteggio • Tipi di quesiti • Soluzione di problemi • Analisi di casi • Vero/falso • Scelta multipla • Corrispondenza • Completamento

11. I compiti: prove strutturate (test) Esercitazione per disciplina (stabilito il livello) Scegliere la competenza da valutare Individuare prestazioni rappresentative della competenza prescelta Strutturare un test con item che discriminino la presenza/assenza della competenza Assegnare un peso agli item e stabilire i criteri di attribuzione del punteggio Calcolare il punteggio Stabilire il criterio con cui valutare i punteggi ottenuti

12. I compiti: prove non strutturate Come si individuano gli indicatori? Gli indicatori sono validi rispetto a ciò che vogliamo valutare? Gli indicatori consentono un adeguato accordo tra valutatori? Le misurazioni sono affidabili? Definire l’ampiezza/costrutto dell’oggetto della valutazione Selezionare gli indicatori possibili Stabilire l’ampiezza e la ripartizione della scala di punteggi o voti da considerare Prevedere l’uso di aggettivi o espressioni per marcare le singole fasce dei valori di scala Concordare ed usare collegialmente gli insiemi di indicatori per addestrarsi nel loro uso Indici di accordo I = 100 x accordi/ accordi + disaccordi r = 2p – 100 (nei casi di 2 valutatori p = percentuale di accodo)

13. I compiti: prove non strutturate L’elaborazione degli indicatori Metodo intuitivo: i singoli esperti del settore o della competenza possono predisporre una lista di descrittori che può sia essere discussa e condivisa collegialmente sia essere sottoposta a verifica empirica Metodi qualitativi: si procede alla raccolta sistematica di dati per definire ciò che si intende valutare; successivamente si “campionano” i descrittori rispetto alle prestazioni Metodi quantitativi: l’osservazione e l’interpretazione degli indicatori avvengono attraverso l’analisi statistica (molto sofisticata come l’analisi discriminante, lo scaglionamento multidimensionale, ecc.) Esercitazione per disciplina (stabilito il livello) Scegliere la competenza da valutare Individuare prestazioni rappresentative della competenza prescelta Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso) Riconoscere gli indicatori sottesi Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio Calcolare il punteggio Stabilire il criterio con cui valutare i punteggi ottenuti

14. I compiti: prove non strutturate Griglia di valutazione del colloquio

15. I compiti: prove non strutturate Griglia di valutazione di quesiti a risposta singola su scala unitaria Griglia di valutazione di quesiti a risposta singola con indicatori ponderati

16. I compiti: prove non strutturate Griglia di valutazione per elaborati scritti

17. I compiti autentici • Le forme più tradizionali di valutazione, sia con prove strutturate che non strutturate, tendono a essere basate retroattive, basate cioè sull’accertamento di quanto appreso, piuttosto che proattive orientando l’allievo verso il miglioramento dell’apprendimento • Le forme tradizioni di valutazione si basano quasi esclusivamente su fattori estrinseci di motivazione (voto, successo, competizione, ecc.) piuttosto che su fattori intrinseci (interesse, curiosità, piacere, ecc.) • L’apprendimento accertato con prove tradizionali tende a basarsi su una conoscenza scolastica scarsamente trasferibile e applicabile a contesti di vita reale Si definisce compito autentico un problema complesso e aperto posto agli studenti come mezzo per dimostrare la padronanza di qualcosa • Con i compiti autentici possono essere valutate tre dimensioni: • le conoscenze dichiarative e procedurali • i processi cognitivi (analisi, riflessione, creatività, collaborazione, decisione, ecc.) • i processi metacognitivi, motivazionali e attribuzioni

18. I compiti autentici • CARATTERISTICHE DEI COMPITI AUTENTICI • Prevedono un contesto di realtà, diretto o simulato • Utilizzano stimoli che sollecitano l’impiego di processi cognitivi complessi e l’integrazione degli apprendimenti • Risultano in grado di favorire l’interesse e di motivare gli studenti ad un impiego efficace del proprio sapere, delle proprie risorse cognitive, sociali ed emotive in relazione al compito Operativamente: • I compiti devono essere autentici e significativi • L’insieme dei compiti deve rappresentare un campione rappresentativo per effettuare generalizzazioni • I criteri di valutazione devono essere centrati sulla natura dei compiti stessi e sull’insieme di conoscenze, abilità e disposizioni che intendono evidenziare per consentire una valutazione autentica • Il contesto in cui si inseriscono le prove deve essere realistico e piacevole riducendo le limitazioni di tempo e di accesso alle risorse

19. I compiti autentici Esercitazione per disciplina (stabilito il livello) Scegliere la competenza da valutare Individuare prestazioni rappresentative della competenza prescelta Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso) Riconoscere gli indicatori sottesi Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio Calcolare il punteggio Stabilire il criterio con cui valutare i punteggi ottenuti

20. I punteggi e la valutazione 1) Analisi dei quesiti Indice di facilità/difficoltà (buono 0.30< i <0.70) Pc = Nc/N (Pc = proporzione di risposte corrette; Nc = n. risposte corrette; N = n. di risposte totali) Discriminabilità (buono 0.20< d <0.40) d = Esup –Einf /N (Esup = punteggio max; Einf = punteggio min; N = numero di soggetti) 2) Pesi nella correzione Calcolo delle risposte giuste senza omissioni Calcolo delle risposte considerando la probabilità del caso (penalizzazione dell’errore) P = (E – S/n-1) K (E = n. risposte esatte; S = n. risposte errate; n = n. alternative; K = peso dell’item) 3) Ranghi percentili Rango percentile = (n. stud. con punteggio più basso + ½ stud. stesso punteggio/N stud.) x 100 Suddivisione in quartili (fasce di punteggio) 4) La mediana Collocare i punteggi in ordine decrescente e quantificare le frequenze per punteggio Mediana = (n. soggetti + 1)/2 in corrispondenza di quel soggetto individuare il punteggio

21. z = punto standard x = punteggio grezzo x = media della distribuzione S = scarto quadratico medio d.s. = dev. standard I punteggi e la valutazione 5) Calcolo della media e deviazione standard Un test offre prestazioni omogenee quando la deviazione standard è contenuta entro il 20% della media Media della distribuzione Scarto quadratico medio/dev. standard 6) Standardizzazione dei punteggi Consente di confrontare e valutare le prestazioni dello stesso soggetto in più compiti e tra soggetti Si può utilizzare la standardizzazione in punti T (aggiunge una costante – spesso 50 – per eliminare i valori negativi ( T = 50 + 10 z)

22. I punteggi e i voti Dopo aver calcolato media e deviazione: • Distribuire i punteggi in fasce in funzione della distanza (dev. standard) dalla media (es. fasce pentenarie) e poi convertire i giudizi (scala di aggettivi) in voti • Es. distribuzione pentenaria • A superiori a xm + 1,5 d.s. Ottimo 8 • B compresi tra xm + 1,5 d.s.e xm + 0,5 d.s. Buono 7 • C compresi tra xm - 0,5 d.s. e xm + 0,5 d.s. Sufficiente 6 D compresi tra xm - 0,5 d.s. e xm - 1,5 d.s. Quasi sufficiente 5 E inferiori a xm – 1,5 d.s. Non sufficiente 4 • Trasformare i punteggi grezzi in voti attraverso proporzioni (riferimento a criteri assoluti) • xg : xm = voto : media scala dei voti oppure xg : xmax = voto : votomax • N.B. La media della scala dei voti è: 6 se si usano i voti dal 4 all’8 • 5,5 se si usano i voti da 1 a 10 • 5 se si usano i voti da 0 a 10 • Trasformare i punteggi standardizzati in voti (riferimento a norma) • (Pgrezzo – xgrezzo)/dev.st. = (voto – media scala voti)/1 • Voto = media scala voti + punteggio standardizzato

23. Le scale di misura

24. I criteri della valutazione • Criteri assoluti (Confronto tra prestazione e obiettivi attesi) • In questo caso la valutazione di ciascuna prova è effettuata in modo indipendente dall’andamento generale delle prove svolte dagli allievi. • Per esempio si può dare il voto massimo solo se mancano del tutto gli errori o se ve ne sono soltanto in una certa misura; o si dà un giudizio di insufficienza solo per la constatazione di un certo tipo di risposta, o per il fatto che a una certa domanda non è stata data risposta; o ancora si sottrae punteggio per ogni errore accertato. • Criteri relativi (Confronto tra prestazioni di un soggetto e quelle di altri soggetti) • In questo caso la valutazione di ciascuna prova è effettuata in modo dipendente dall’andamento generale delle prove svolte dal gruppo di allievi cui si fa riferimento. • Per esempio si può attribuire il punteggio ad una prestazione utilizzando una “prestazione criterio” (riferimento approssimativo). Altrimenti si può calcolare la media o la distribuzione dei punteggi attraverso cui “riaggiustare” la misurazione delle singole prove. • Criteri delle possibilità e del cambiamento (Confronto tra prestazioni dello steso soggetto) • In questo caso la valutazione di ciascuna prova è effettuata riferendosi alle possibilità del soggetto e alle variazioni del suo rendimento • Per esempio si può considerare che in una prova il soggetto non ha reso quanto avrebbe potuto , o che ha fatto quanto nelle sue possibilità. Si possono anche considerare le variazioni (progressi o regressi) rispetto alle prestazioni dello stesso soggetto nel tempo, senza considerare una misura assoluta.

25. La valutazione analitica • Si tratta di giudizi per discipline che possono essere costruiti: • considerando i diversi elementi di misura utilizzati: tipi di verifiche, osservazioni di comportamenti cognitivi, analisi del trend delle prestazioni, ecc.; • “pesando” i singoli elementi che concorrono alla valutazione rispettandone la specificità; • definire i livelli della scala prevista per il giudizio • Gli elementi considerati per la valutazione possono essere: • risultati centesimali delle verifiche; insieme dei dati, media, moda; • progresso rispetto al livello di partenza; • standard delle prestazioni stabilite in base alle caratteristiche della disciplina; • osservazione dei comportamenti cognitivi.

26. La valutazione globale per disciplina • La valutazione globale delle prestazioni risulta più attendibile se: • si aumenta la numerosità delle verifiche • si incrementa la differenziazione delle verifiche • si attribuiscono pesi diversi alle verifiche • Operativamente: • Media aritmetica dei punteggi delle verifiche • Media pesata dei punteggi delle verifiche • Riferimento alle prestazioni complessive del gruppo • Riferimento all’andamento delle prestazioni del soggetto

27. La valutazione sintetica Si tratta di un giudizio globale che dovrebbe descrivere il grado di raggiungimenti rispetto a specifici obiettivi e descrittori e che dovrebbe, almeno in parte, poggiare sui singoli giudizi analitici per disciplina. • In genere il giudizio sintetico fa riferimento a: • comportamento disciplinare • livello di sviluppo emotivo e sociale • partecipazione alle attività • metodo di studio • impegno • profitto o livello di apprendimento • Per far ciò i docenti dovrebbero collegialmente: • individuare e concordare una serie di indicatori comuni; • esplicitare la misurabilità degli indicatori individuati in ciascuna delle diverse discipline e fornire il dato analitico al gruppo di colleghi coinvolti; • sintetizzare i vari giudizi in una formulazione globale, chiara e comprensibile ai diversi destinatari, capace di esprimere anche le eventuali divergenze di giudizio.

28. Grazie Dott. Barbara Turella Dottore Magistrale in Psicologia dello Sviluppo e dell’Educazione – Psicoterapeuta Dottore di Ricerca in Psicologia Cognitiva – Perfezionata in Psicologia Scolastica Via del Campo, 27 – 00172 Roma Tel. 3393322719 e-mail barbara.turella@aliceposta.it