Indagine TIMSS 2007

1. Indagine TIMSS 2007 Trends in International Mathematics and Science Study di Anna Maria Caputo

2. IEAInternationalAssociation for the Evaluation of Educational Achievement • associazione internazionale indipendente di centri di ricerca (circa 62 paesi); • fondata nel 1958 da un gruppo di studiosi (Bloom, Thorndike, Husén, ecc…); • associazione legale nel 1966 (T. Husén) alla quale partecipavano 15 paesi; • con lo scopo di condurre ricerche comparative internazionali nel campo della valutazione.

3. Ricerche IEA • The Six-subject Study (1970-1971); • Written composition (1983-1984); • Comprensione della lettura: Reading Literacy (1985), PIRLS (2001, 2006); • Educazione Civica (1999, 2009); • Information Technology: Comped (1989, 1992), SITES (1999-2009); • Matematica e Scienze.

4. Indagini IEA Matematica e Scienzepassato... • prima indagine sulla Matematica (FIMS) nel 1964 (12 paesi); • prima indagine sulle Scienze (FISS) nel 1973-’74 (19 paesi); • seconda indagine sulla Matematica (SIMS) nel 1980-’82 (20 paesi); • seconda indagine sulle Scienze (SISS) nel 1983-’84 (26 paesi); • terza indagine sulla Matematica e le Scienze (TIMSS) nel 1994-’95 (45 paesi); • TIMSS-Repeat nel 1998-’99 (38 paesi (26 paesi al TIMSS)); • TIMSS 2003 nel 2002-2003 (49 paesi complessivamente).

5. presente e futuro... • TIMSS 2007 (elaborazione edanalisi dei dati nazionali) & TIMSS Advanced 2008 (elaborazione ed analisi dati internazionale); • TIMSS 2011 (revisione framework, costruzione strumenti); • ciclo quadriennale di indagini: 1995, 1999, 2003, 2007, 2011, 2014, …; • livelli scolastici indagati...

6. TIMSS

7. TIMSS 1995 - Obiettivi ambiziosi • definizione di un curricolo ‘virtuale internazionale’; • analisi curricolare ambiziosa; • prove di matematica e di scienze a largo raggio che comprendevano anche prove in laboratorio; • questionari per studenti, insegnanti e dirigenti scolastici (1500 domande); • studio dei casi (video) in Giappone, Stati Uniti, Svizzera.

8. TIMSS 1999 (TIMSS-R) • prima indagine di trend della IEA; • scopo più mirato: • enfasi sulle misure di trend; • soltanto l’ottavo anno di scolarità (8/8, 4/8); • definizione di indicatori rilevanti per la politica scolastica; • finanziata dal governo USA e dalla World Bank.

9. TIMSS 2003 – Indagine di trend popolazioni indagate: due (quarto ed ottavo anno di scolarità); ridefinizione framework matematica e scienze per entrambe le dimensioni (domini dei contenuti e domini cognitivi); misure di trend per tutte le variabili (apprendimento, contesto); definizione di benchmark teorici anche per le prossime indagini: avanzato (625), alto (550), intermedio (475), basso; finanziata dalla World Bank per i paesi del terzo mondo.

10. TIMSS 2007 • misurare l’andamento dell’apprendimento in matematica e scienze di due popolazioni: • gli studenti frequentanti il 4° anno di scuola (il maggiore numero di studenti di 9 anni); • gli studenti frequentanti l’8° anno di scuola (il maggiore numero di studenti di 13 anni); • studiare gli indicatori al passare del tempo • monitorare i curricoli dei paesi partecipanti.

11. Ciclo Indagine IEA • domande; • quadro di riferimento concettuale; • piano di campionamento e campionamento; • raccolta dati; • elaborazioni ed analisi; • conclusioni.

12. Domande guida • Che cosa gli studenti dovrebbero apprendere? • Chi fornisce istruzione? • Come è organizzata l’istruzione? • Dove ha luogo l’istruzione? • Quando ha luogo l’istruzione? • Che cosa hanno appreso gli studenti? • Cambiamenti fra il 1994-’95, 1998-’99, 2002-’03 e 2006-’09.

13. Scopo del TIMSS • comparare i sistemi educativi dei paesi partecipanti in termini di… • curricoli, • insegnamento (contenuti, pratiche didattiche, ecc.), • apprendimento (contenuti ed abilità); • che cosa gli studenti apprendono e il contesto dove avviene.

14. TIMSS 2007 • esaminare e valutare le differenze nel rendimento scolastico in Matematica e Scienze (comparazioni orizzontali, verticali e longitudinali) ; • popolazione: scuola primaria (IV), scuola secondaria di I grado (III); • raccolta dati nell’a.s. 2006-’07 (maggio); • prova sul campo nell’a.s. 2005-’06 (aprile).

15. Definizione popolazione 1 italiana TIMSS 2007 • Tutti gli studenti che frequentano la classe IV della scuola primaria, la quale ha la maggiore presenza di studenti di 9 anni a maggio (popolazione: 555.976 studenti, nessuna esclusione).

16. Definizione popolazione 2 italiana TIMSS 2007 • Tutti gli studenti che frequentano la classe III della scuola secondaria di I grado, la quale ha la maggiore presenza di studenti di 13 anni a maggio (popolazione: 602.185, nessuna esclusione).

17. Organizzazione TIMSS 2007 • coordinamento internazionale (International Study Center) al Boston College (staff di circa 20 persone con due direttori); • coordinamento nazionale affidato al centro nazionale (per l’Italia INValSI con uno staff di 4 persone con il NRC); • commissioni .

18. Relazione fra gli strumenti TIMSS 2007 e la mappa concettuale Questionari a livello di Sistema Questionario Scuola Questionario Studente Contesto locale, di territorio e di scuola Contesto sociale generale ed educativo Background personale Curricolo raggiunto Curricolo attuato Curricolo proposto 1. Fascicoli test 1. Questionario insegnanti 1. Analisi curricolare 2. Questionari esperti 3. Rassegna item

19. Mappe concettuali del curricolo • 2 mappe: una per la matematica e una per le scienze; • definite attraverso 2 dimensioni: • dimensione dei contenuti specifici per disciplina (domini di contenuti) e per livello indagato; • dimensione cognitiva, ovvero prestazioni attese descritto in termini di tipi di prestazioni o comportamenti che ci si potrebbero aspettare dagli studenti a scuola (domini cognitivi).

20. Matematica – Domini dei contenuti4° anno di scolarità Numero (numeri naturali, frazioni e decimali, espressioni numeriche, sequenze e relazioni); Figure geometriche e misure (rette ed angoli, figure piane e solidi, posizione (sistemi non formali di coordinate) e movimento (assi di simmetria, riflessione e rotazione)); Visualizzazione dati (lettura ed interpretazione, organizzazione e rappresentazione).

21. Matematica – Domini dei contenuti8° anno di scolarità Numero (numeri naturali, frazioni e decimali, interi, rapporto, proporzione, percentuale); Algebra (sequenze, espressioni algebriche, equazioni/formule e funzioni); Geometria (figure geometriche, misure geometriche, posizioni (piano cartesiano) e movimento (simmetria, traslazione, riflessione e rotazione)); Dati e probabilità (organizzazione e rappresentazione dei dati, interpretazione dei dati, probabilità (incertezza)).

22. Matematica – Domini cognitivi • conoscenza (ricordare, riconoscere, eseguire calcoli, recuperare, misurare, classificare/ordinare); • applicazione (scegliere, rappresentare, modellizzare, implementare, risolvere problemi di routine); • ragionamento (analizzare, generalizzare, sintetizzare/integrare, giustificare, risolvere problemi non di routine).

23. Scienze – Domini dei contenuti4° anno di scolarità Scienze della vita (caratteristiche e processi degli esseri viventi; cicli di vita, riproduzione ed ereditarietà; interazioni con l’ambiente; ecosistemi; salute dell’uomo); Scienze fisiche (classificazione e proprietà della materia; fonti di energia, calore e temperatura; luce e suono; elettricità e magnetismo; forze e moto); Scienze della Terra (struttura, caratteristiche fisiche e risorse della Terra; processi, cicli e storia della Terra; la Terra nel sistema solare).

24. Scienze – Domini dei contenuti8° anno di scolarità Biologia (caratteristiche, classificazione e processi degli organismi; cellule e loro funzioni; cicli di vita, riproduzione ed ereditarietà; diversità, adattamento e selezione naturale; ecosistemi; salute dell’uomo); Chimica (classificazione e composizione della materia; trasformazione chimica); Fisica (stati fisici e trasformazione della materia; trasformazioni di energia, calore e temperatura; luce; suono; elettricità e magnetismo; forze e moto); Scienze della Terra (struttura e caratteristiche fisiche della Terra; processi, cicli e storia della Terra; risorse della Terra, uso e conservazione; la Terra nel sistema solare e nell’Universo).

25. Scienze – Domini cognitivi conoscenza (ricordare/riconoscere, definire, descrivere, illustrare con esempi, uso di strumenti e procedure); applicazione (confrontare/contrapporre/classificare, utilizzare modelli, mettere in relazione, interpretare informazioni, trovare soluzioni, spiegare); ragionamento (analizzare/risolvere problemi, integrare/ sintetizzare, ipotizzare/prevedere, progettare/ pianificare, trarre conclusioni, generalizzare, valutare, giustificare). Indagine scientifica (aspetti: formulare domande e ipotesi, progettare indagini, rappresentare dati, analizzare e interpretare dati; trarre conclusioni e svolgere spiegazioni).

26. Strumenti per misurare l’apprendimento (1) • 14 fascicoli di prove ’07 + 4 fascicoli per trend ’06, ma ogni studente completa un solo fascicolo; • ogni fascicolo suddiviso in due parti; • stesso tempo di risposta per ogni fascicolo: • per la IV primaria, 72 minuti (36+36+intervallo), • per la III media, 90 minuti (45+45+intervallo); • item suddivisi in 28 blocchi (14 di matematica e 14 di scienze);

27. Strumenti per misurare l’apprendimento (2) • in ogni blocco item per 22,5 minuti di valutazione per la III media e 18 minuti di valutazione per la IV primaria; • 4 blocchi per fascicolo (2 blocchi di matematica e 2 di scienze); • nei fascicoli dispari i quesiti di matematica precedono quelli di scienze, viceversa nei fascicoli pari; • 2 blocchi per fascicolo contengono item dei precedenti TIMSS (non resi pubblici) per consentire le misure di trend mentre 2 blocchi per fascicolo contengono nuovi item di rimpiazzo;

28. Strumenti per misurare l’apprendimento (3) • I blocchi sono combinati in modo che gli studenti rispondono a sufficienti item per ottenere misure affidabili di trend in ambedue le discipline; • in III media permesso l’uso della calcolatrice tascabile; • ogni fascicolo contiene item: a scelta multipla e a risposta aperta circa nella stessa proporzione; • i fascicoli presentano le stesse difficoltà; • i fascicoli contengono sia item di matematica che di scienze;

29. Strumenti per misurare l’apprendimento (4) • ogni fascicolo è composto da: • da item “sicuri” delle precedenti indagini TIMSS; • da item nuovi e innovativi di problem solving; • da item di rimpiazzo (equivalenti) degli item delle precedenti indagini resi pubblici; • gli item di problem solving prevedono l’uso di materiale di tipo manipolativo (carte con i numeri, righello, carte con figurine geometriche, ecc.)

30. Strumenti per misurare l’apprendimento (5) • i fascicoli per la IV primaria contengono complessivamente 353 item: • 179 item di matematica e 174 di scienze; • riuniti in 28 gruppi diversi; • I fascicoli per la III media contengono complessivamente 429 item: • 215 item di matematica e 214 di scienze; • riuniti in 28 gruppi diversi.

31. Questionari di contesto (1) • intendono raccogliere informazioni nei vari sistemi scolastici: • sulle modalità di organizzazione dell’insegnamento di matematica e scienze; • sulle relazioni possibili fra intervento della scuola e prestazione degli studenti.

32. Questionari di contesto (2) • Questionario Scuola (rivolto al Dirigente scolastico) fornisce informazioni sul personale, sulle risorse, sugli studenti e sui loro comportamenti, sulle attività didattiche e sul clima nella scuola.

33. Questionari di contesto (3) • Questionario Insegnante • per la scuola primaria rivolto all’insegnante di matematica e di scienze; • per la scuola media rivolto agli insegnanti di Scienze matematiche, chimiche, fisiche e naturali fornisce informazioni sulla formazione (scolastica e professionale), sui metodi di insegnamento e sull’atteggiamento verso l’insegnamento della matematica e delle scienze.

34. Questionari di contesto (4) • Questionario Studente fornisce variabili di sfondo rispetto alle quali analizzare la misura dell’apprendimento (punteggio); • è suddiviso in sezioni riguardanti il background dello studente (età, sesso, livello culturale e socioeconomico della famiglia, storia scolastica, ecc.), opinioni ed atteggiamenti riguardo alla matematica e alle scienze; • esamina in particolare i fattori di successo, la percezione dell’importanza del successo, l’influenza dei compagni di classe e degli insegnanti.

35. ▲ Il livello di apprendimento del paese è significativa­mente più alto della media internazionale. ● Il livello di apprendimento del paese non è significa­tivamente diverso dalla media internazionale.

36. Matematica 4° grado- distribuzione livelli italiani apprendimento per area geografica • cinque livelli: nord ovest (508 (4,4)); nord est (525 (5,9)); centro (507 (6,3)); sud (508 (8,6)); sud e isole (483 (8,9)) • livello medio migliori: 659 (10,5); • livello medio peggiori: 362 (6,4) (tra Colombia e Algeria); • livello massimo nel sud (792 (20,2)) seguito dal nord est (759 (18,2)); • differenza migliori - peggiori minore (303 (21,3)) nel sud e isole; • tre livelli medi: nord est; no, centro e sud; sud ed isole; • unico curricolo dal 1985 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007)

38. Matematica 8° grado- distribuzione livelli italiani apprendimento per area geografica • cinque livelli: nord ovest (491 (5,2)); nord est (506 (7,5)); centro (489 (3,2)); sud (468 (6,9)); sud e isole (446 (8,4)); • livello medio migliori: 651 (5,0); • livello medio peggiori: 357 (6,0) (fra Kuwait e Botswana); • livello massimo nel nord ovest (734 (6,5)) seguito dal nord est (625 (5,1)); • differenza migliori - peggiori minore (299 (7,8)) nel sud e isole; • quattro livelli medi variabili; • unico curricolo dal 1979 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007).

40. Scienze 4° grado- distribuzione livelli italiani apprendimento per area geografica cinque livelli: nord ovest (541 (4,9)); nord est (556 (5,4)); centro (536 (5,8)); sud (532 (8,8)); sud e isole (507 (8,7)) livello medio migliori: 662 (9,5); livello medio peggiori: 444 (7,0) (tra Ucraina e Iran); livello massimo nel centro (776 (22,8)) seguito dal sud (773 (19,4)); differenza migliori - peggiori minore (222 (23,5)) nel sud; tre livelli medi: nord est; no, centro e sud; sud ed isole; unico curricolo dal 1985 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007)

42. Scienze 8° grado- distribuzione livelli italiani apprendimento per area geografica cinque livelli: nord ovest (509 (4,5)); nord est (527 (7,1)); centro (506 (3,7)); sud (477 (6,1)); sud e isole (462 (8,0)); livello medio migliori: 658 (5,4); livello medio peggiori: 356 (6,3) (Botswana); livello massimo nel nord est (746 (6,8)) seguito dal sud (726 (5,5)); differenza migliori - peggiori minore (290 (7,9)) nel sud e isole; quattro livelli medi variabili; unico curricolo dal 1979 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007).