Quali sono gli effetti del percorso di formazione PON M@tabel ?

1. Quali sono gli effetti del percorso di formazione PON M@tabel ? Valutazione di una innovazione didattica mediante esperimento controllato Ottobre 2009

2. Perché valutare le ricadute di PON M@t.abel sugli studenti ? Le caratteristiche di PON M@tabel La metodologia adottata per la valutazione: uno studio randomizzato Cosa si misura La struttura della presentazione Il processo di randomizzazione e la dimensione del campione Identificazione degli effetti a 1, 2 e 3 anni Calendario delle attività Per ulteriori informazioni: http://www.invalsi.it/invalsi/ri/matabel/

3. I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica… Perché valutare le ricadute di PON M@t.abel sugli studenti ? Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006

4. … e troppi quelli poveri di competenze Perché valutare le ricadute di PON M@t.abel sugli studenti ? Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006

5. Obiettivi di servizio nel Mezzogiorno per il periodo 2007 – 2013 Il Quadro Strategico Nazionale 2007-2013, nell’ambito del quale viene finanziato anche il PON Istruzione, prevede una nuova attenzione per l’istruzione quale fattore essenziali per contribuire allo sviluppo, alla crescita della produttività, al reddito individuale e collettivo e alla mobilità sociale. Gli interventi finanziati nel periodo 2007-2013 si pongono tre obiettivi principali: - Ridurre la percentuale dei giovani che abbandonano prematuramente gli studi: al più il 10%     - Ridurre la percentuale di 15-enni con scarse competenze in lettura secondo OCSE-PISA: al più il 20%  - Riducendo la percentuale di 15-enni con scarse competenze in matematica: al più il 21% … è sempre più importante capire “cosa funziona” Perché valutare le ricadute di PON M@t.abel sugli studenti ?

6. M@tabel: percorso di formazione e innovazione didattica Matematica. Apprendimenti di Base con e-learning Formazione nazionale rivolta in questa versione agli insegnanti delle Regioni PON (Calabria, Campania, Puglia, Sicilia). Scarso rendimento in matematica (PISA) Le caratteristiche di PON M@tabel Nuova didattica in classe da parte degli insegnanti Problema risolvibile con nuove modalità di insegnamento centrate sull’applicazione delle nozioni a casi concreti Formazione degli insegnanti Miglior atteggiamento e rendimento degli studenti in matematica

7. Le domande e il significato del termine “valutazione” Cosa ne pensano gli insegnanti? Cambiano le loro modalità di insegnamento e alcuni atteggiamenti? In che misura incide sulle competenze in matematica e sugli atteggiamenti degli studenti? La metodologia adottata ….. NON si valutano le scuole, NON si valutano gli insegnanti, NON si valutano i tutor, NON valutano gli studenti. Si valuta la proposta formativa Mat@bel+ (e con diversi “se”)

8. Come funziona Mat@bel La formazione è “blended” e strutturata in quattro fasi: 1.incontri introduttivi in presenza con il tutor; 2.incontri on line e scelta delle unità didattiche; 3.sperimentazione in classe di 4 attività didattiche, con assistenza on-line del tutor e compilazione di un diario di bordo; 4.incontro finale, consegna del diario di bordo e del questionario finale da parte degli insegnanti. Le caratteristiche di PON M@tabel

9. Alcune caratteristiche di M@tabel rafforzate dal PON Istruzione 2007-2013 Le unità didattiche 28 unità rivolte alla scuola secondaria di primo grado costituite da una parte introduttiva rivolta al docente, una sorta di “sceneggiatura” che dettaglia le attività da fare in classe, i relativi documenti di supporto scaricabili, indicazioni metodologiche e spunti di approfondimento disciplinare, suggerimenti su attività addizionali, elementi di prova di verifica per valutare l’effettiva comprensione da parte degli studenti, una biblio/sitografia. L’approccio alla base delle unità enfatizza la componente applicativa degli insegnamenti di matematica (come OCSE-PISA). Le caratteristiche di PON M@tabel Gli insegnanti sono chiamati a “testare” le unità e a redigere un diario di bordo indicando difficoltà e punti di forza del lavoro svolto. La collaborazione on line e a scuola La discussione on line, con la classe virtuale e con il tutor è centrale e verte proprio su difficoltà incontrate e modi con cui si sono superate.

10. Misurare quali effetti sugli studenti? L’ apprendimento/competenza in matematica Prove INVALSI rilevate su un campione di classi: per la prima media, prove del SNV, per la seconda e terza media, prove collegate (sempre mediante scale di Raach) L’atteggiamento verso la matematica (e la scuola) Il numero di assenze (rilevate presso le segreterie scolastiche) Il rendimento scolastico complessivo (rilevate presso le segreterie scolastiche e/o MIUR) Il gradimento della matematica (questionari specifici) Etc…. La metodologia adottata ….. accompagnati da un insieme vasto di informazione sui contesti scolastici e sui rispettivi territori, e sulle caratteristiche economico-sociali degli studenti.

11. La metodologia adottata: uno studio randomizzato Gli studi randomizzati vengono utilizzati in campo educativo in tutto il mondo per capire come funzionano programmi, progetti, interventi, politiche …. Il modello analitico di uno studio randomizzato si basa su due pilastri: 1. suddivisione dei candidati al trattamento in due gruppi: trattati e controlli; 2. assegnazione casuale dei candidati ai due gruppi. Le differenze post trattamento tra i due gruppi sono considerabili come effetto del trattamento. La metodologia adottata

12. La metodologia adottata: uno studio randomizzato • Le scuole del I ciclo interessate a partecipare al piano formativo PON M@t.abel+ sono state divise mediante sorteggio in due gruppi: • scuole che partecipano da subito (A.S. 2009/10) • scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11). • L’estrazione mediante sorteggio è necessaria per creare • due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essere • plausibilmente attribuita alla sperimentazione del piano PON M@t.abel+ La metodologia adottata

13. La metodologia adottata: uno studio randomizzato • Lo studio randomizzato riguarda solo le scuole / i docenti della secondaria di primo grado (la proposta educativa omogenea, è un nodo critico nel percorso scolastico …è la prima volta che facciamo questo tipo di valutazione!) • Tutte le scuole e i docenti verranno coinvolti nello studio, sia coloro che partecipano a M@tabel 2009/2010, sia quelli che vi partecipano nel 2010/2011: • - i docenti, per capire se il percorso formativo ha ricadute sui metodi e le modalità di insegnamento; • - gli studenti, per capire se questi metodi migliorano le loro competenze • - le scuole, per raccogliere dati sul contesto • ….. E anche i tutor, per capire se il percorso formativo è stato svolto come previsto, per aiutare nella valutazione …. La metodologia adottata

14. Come si confrontano i due gruppi per stimare gli effetti di PON M@tabel? La metodologia adottata

15. Stima degli effetti di un anno di coinvolgimento in M@tabel La metodologia adottata confrontando i punteggi medi ottenuti ai test di apprendimento dagli studenti delle scuole sorteggiate per implementare M@t.abel+ il primo anno con i punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare M@t.abel+ l’anno successivo

16. I confronti per ottenere la stima dell’effetto di due anni: “effetto esperienza” Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente: La metodologia adottata …. Può essere eventualmente esteso al terzo anno

17. Le principali minacce alla solidità dell’esperimento • mancata partecipazione ai corsi di un gran numero di insegnanti; • abbandono dei corsi da parte di un gran numero di insegnanti; • rifiuto a partecipare alle rilevazioni da parte degli insegnanti; • mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale (occorre almeno sapere cosa è stato fatto, a quel punto). • ….. Serve la collaborazione di tutti per ridurre i danni! La metodologia adottata

18. Dimensione del campione e potenza del disegno (minimum detectable effect) Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Nel caso in cui si riescono a seguire 100 scuole (K): 50% trattate e 50% controlli (P) – tenendo conto di eventuali “cadute” tra gli insegnanti originariamente iscritti; dato che vi sono tra le scuole iscritte una media di 4 docenti (J), con una classe per docenti e una media di 19 studenti per classe (stima prudenziale - N) Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) Varianza spiegata dai predittori raccolti (R2): -> stima pessimistica (10%) MDES 0,208 -> stima ottimistica (40%) MDES 0,2 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona… Dimensione campionaria e potenza del disegno

19. Perché raccogliere tanti dati oltre ai risultati delle prove di apprendimento sugli studenti? Raccolta di informazioni su contesto, scuola, insegnanti e studenti con tre obiettivi: 1.testare la “fortuna” avuta con la randomizzazione; 2.aumentare la precisione delle stime; 3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti. La metodologia adottata

20. Calendario di massima dei prossimi appuntamenti con la valutazione  Autunno 2009 – breve raccolta di dati presso le scuole sul contesto e per individuare in quali classi insegnano i docenti PON M@t.abel 2009/2010 e 2010/2011 – comunicazione ai tutor delle classi in cui suggerire che venga effettuata la sperimentazione in classe delle 4 attività (solo per i docenti di PON M@t.abel 2009/2010 ) – prima rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare prima dell’avvio delle sperimentazioni in classe) Maggio 2010 – rilevazioni sugli studenti delle classi del campione sopraindividuato tramite prove del SNV / INVALSI (prima, seconda e terza media) – completamento del percorso PON M@t.abel 2009/2010 con diario di bordo e questionario finale (rivolto a docenti e a tutor) – seconda rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare) – eventuali interviste in profondità a tutor e insegnanti Calendario delle attività

21. Un primo “effetto” della valutazione di M@tabel …. Siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante. Questo si è tradotto in una razionalizzazione della logica dell’intervento e di orientamento alla raccolta dei dati necessari per la valutazione. Le unità didattiche– l’intensità del trattamento Almeno 18 ore complessive di trattamento in 6 settimane nell’anno scolastico. Tutor con ruolo attivo di promozione e controllo. Invito ad usare la piattaforma anche dal secondo anno in poi e comunicazione assidua. Un primo “effetto” della valutazione di M@tabel? La collaborazione a scuola – l’intensità del trattamento 2 Invito nel bando a far partecipare tutti gli insegnanti di matematica della scuola, concretamente applicato poi nella decisione di osservare solo scuole in cui i partecipanti saranno due o più. Il monitoraggio più mirato Rafforzamento del monitoraggio: non solo il diario di bordo e i dati di log della piattaforma, difficilmente utilizzabili, ma anche questionari rivolti agli insegnanti e ai tutor nei quali si raccolgono informazioni utili su cosa viene fatto davvero.