I modelli Predittivi

1. I modelli Predittivi Modelli predittivi: insieme di tecniche il cui obiettivo è costruire modelli di dati al fine di predire il comportamento di nuovi insiemi di dati; Caratteristiche Prevedere nuovi casi: Classificazione (DECISIONS), variabile target categorica (binaria, nominale o ordinale) Ordinamento (RANKINGS), obiettivo “ordinare” rispetto alle variabili input le osservazioni (escredit score), può essere ricondotto ad un modello di classificazione definendo una soglia e dividendo le osservazioni in due gruppi > e < Previsionale (ESTIMATES), approssimazione della variabile target in funzione dei valori delle variabili input 2. Selezione variabili Input: in funzione della Ridondanza e dell’Irrilevanza 3. Ottimizzazione del modello: trovare un giusto equilibrio tra underfitting e overfittingdividendo il data set in due partizioni - traning e validation set

2. I modelli Predittivi: Traning e Validation data set Considerando il progetto precedentemente deifinito selezionare da Sample Data Partition ed eseguire il nodo (analizzare il risultato) Nella determinazione delle dimensioni dei dataset si consideri che un traning ampio implica un modello più stabile ma ne diminuisce la capacità di generalizzare i risultati Un buon compromesso può essere Traning 50% Validation 50% Test 0% I dataset Test viene usato per valutare uno specifico modello

3. I modelli Predittivi Più comuni Specifici per talune applicazioni Per sviluppare più modelli predittivi

4. Modelli ad Albero: Modello di previsione Gli alberi di decisione costituiscono il modo più semplice di classificare degli “oggetti” in un numero finito di classi. Essi vengono costruiti suddividendo ripetutamente i records in sottoinsiemi omogenei rispetto alla variabile target. La suddivisione produce una gerarchia ad albero, dove i sottoinsiemi (di records) vengono chiamati nodi e, quelli finali, foglie. In particolare, i nodi sono etichettati con il nome delle variabili indipendenti, gli archi (i rami dell’albero) sono etichettati con i possibili valori della variabile, mentre le foglie dell’albero sono etichettate con le differenti modalità della variabile target.

5. Modelli ad Albero esempio

6. Modelli ad Albero: Modello di previsione Per effettuare previsioni si identificano “regole” legate ai valori delle variabili di input Dato un valore iniziale Root node si sviluppa gerarchicamente un albero che si dirama in funzione delle variabili input rispetto alle quali la variabile target muta di valore in modo significativo Ogni nodo interno effettua un test su un attributo; Un nodo (finale) foglia ha una sola connessione

7. Modelli ad Albero: Selezione variabili Il modello inizialmente seleziona una variabile di input rispetto alla quale divide il data set in due rami, a sinistra i casi il cui valore della variabile target è più basso e a destra quelli per i quali è più alto. Così facendo si ottiene una tabella a doppia entrata dove le colonne indicano la direzione (destra/sinistra) e le righe specificano il target (0 1 se categoria o >< se continua) Per valutarne la significatività si ricorre al test del Chi-quadro, in particolare per database molto numerosi è preferibile Logworth=-log(p value) Per default la soglia è Logworth >=0.70 Si procede poi in modo analogo da ciascuno nodo creato Vedi pagina 147- 154 file LWAAEM71.pdf per approfondimenti

8. Modelli ad Albero: Selezione variabili - esempio Acquista No Yes Acquista No Yes MASCHIO FEMMINA INDEPENDENTI ORIGINALI Gradi di libertà = (r-1)*(c-1)=1 Pr {c2>42.67}= 6.47985E-11 numerosi Logworth = -log10(p-value) = 10.19

9. Modelli ad Albero costruzione Model Decision Tree e connettere Data Partition con nodo Decision Tree E’ possibile utilizzare il modello sia in versione autonoma (è sufficiente eseguire il nodo Decision Tree) che interattiva, quest’ultima permette di gestire le diverse opzioni del modello

10. Modelli ad Albero: interattivo

11. Modelli ad Albero: interattivo Con il tasto destro del mouse selezionare il nodo origine (blu) e “Suddividi nodo - Split Node “ Variabili input ordinate in modo decrescente rispetto al logworth

12. Modelli ad Albero: interattivo E’ possibile decidere di modificare le soglie rispetto alle quali l’algoritmo ha deciso di suddividere il data set Selezionare l’editor delle regole (Edit Rule) sulla prima variabile Gift Count 36 Months La soglia identificata è 2.5, cioè i casi con 0,1,2 Gift negli ultimi mesi sono nel ramo di sinistra, casi con >=3 Gift nel ramo di destra

13. Modelli ad Albero: interattivo Supponiamo di lasciare invariata la soglia Applied Il modello assegna a tutti i casi nel ramo sinistro un valore previsto per il Target B uguale a 0.43 e uguale a 0.56 per tutti i casi nel ramo destro

14. Modelli ad Albero: interattivo Operiamo in modo analogo sui due rami. Cosa emerge dalla nuova classificazione ?

15. Modelli ad Albero: interattivo - modifica soglie split Supponiamo di voler cambiare il valore in corrispondenza del quale effettuare lo split di una variabile Selezioniamo il ramo di sinistra della variabile Gift Count 36 Months, tasto destro  Split Node, selezioniamo la variabilie Median Home Value Region  Edit Rule. Si provi a modificare le soglie oppure le regole relative ai dati mancanti Inserire 70.000 in New split point Add Branch  selezionare Branch 1  Remove Branch In generale: inserire la nuova soglia e quindi rimuovere la soglia che non si desidera considerare

16. Modelli ad Albero: automatico – Maximal Tree Dal nodo origine selezionare Train Node, l’albero è creato fino al raggiungimento delle regole stabilite ( vedi slide 34)

17. Modelli ad Albero: Maximal Tree – valutazione Selezionare View quindi Subtree Assessment PlotTrain Node Si evidenzia come il data set trainer evidenzi una situazione di Overfitting, il modello a 15 foglie sembra riclassificare al meglio il data set ma nella realtà risulta inaffidabile considerando il data set di validazione

18. Modelli ad Albero: Ottimizzazione Modello Il processo attraverso il quale si procede, al fine di ottenere un modello ottimale, è definito di “pruning” (sfogliamento) Si procede costruendo dei modelli via via più complessi considerando il dataset di addestramento e usando quello di validazione per identificare il modello ottimale In particolare si procede togliendo una “foglia” all’albero, ottenendo dei modelli che dovranno essere tra loro confrontati (model fit statistic vedi slide 18). Quello migliore è scelto e si procede al suo “sfogliamento”. Il processo si arresta quando sono stati considerati tutti i sotto-alberi possibili. A questo punto viene scelto la sequenza con il rating migliore Il modello più semplice con la valutazione più alta

19. Modelli ad Albero: Ottimizzazione Modello - rating • E’ quindi necessario definire cosa si intende per rating dei modelli • Il grado di Validation Assestment è funzione: • della scala rispetto alla quale è misurata la variabile obiettivo • del tipo di previsione • Nel nostro caso, variabile target binaria in funzione del tipo ti previsione si ha: • Classificazione: minimizzazione dei falsi positivi, falsi negativi • Ranking: minimizzare discordanza (valore 1 con ranking minore di valore 0) • Stima: minimizzare l’errore quadrato, differenza tra obiettivo e previsione

20. Modelli ad Albero: Ottimizzazione del Modello Partendo dal modello ottenuto con la classificazione automatica si selezioni Use Frozen Tree su Yes (“congeliamo” il Maximal tree), si valuti quindi il risultato

21. Modelli ad Albero: Ottimizzazione del Modello Obiettivo è quello di valutare il modello a 15 foglie così ottenuto con riferimento al dataset di validazione ViewModelSubtree Assessment Plot. Average Square Error Per ciascuna foglia è calcolato la discordanza tra valore stimato e reale E’ evidente l’effetto overfitting dopo il 4/5 livello La precisione del modello diminuisce al crescere della sua complessità a partire da tali livelli

22. Modelli ad Albero: Ottimizzazione del Modello ViewModelMisclassification Rate. Anche in questo caso si evidenzia come la minor errata classificazione si ha con 4 o 5 livelli

23. Modelli ad Albero: automatico – Maximal Tree Un albero a 4 foglie può essere ottenuto con diferenti combinazioni, si provi ad identificarle sull’abero totale

24. Modelli ad Albero: Pruning del Modello Rinominiamo come Maximal Tree il modello calcolato e inseriamo un altro nodo per la costruzione di modelli ad Albero

25. Modelli ad Albero: Pruning del Modello Nel nuovo nodo consideriamo le opzioni SubTree per il controllo dell’attività di pruning • Method, specifica come costruire il sottoalbero in termini di metodi di selezione. • Si possono utilizzare i seguenti metodi: • Valutazione = viene scelto il sottoalbero più piccolo con il migliore indice di valutazione • Più grande = seleziona l'albero completo – MaximallTree • N = seleziona il sottoalbero più grande con al massimo n foglie

26. Modelli ad Albero: Pruning del Modello • AssessmentMeasure: definisce la regola rispetto alla quale selezionare l’albero migliore. • Decisione, impostazione predefinita seleziona l'albero che ha il profitto medio più alto e la perdita media più bassa se è definita una matrice di profitto o di perdita. Altrimenti è scelto l’albero con la minore errata classificazione • AverageSquareError, se il target è continuo • Errata classificazione, se il target è categorico • Il metodo Lift valuta l'albero in base alla previsione delle prime n% osservazioni classificate. E’ necessario utilizzare la proprietà Frazione per specificare la percentuale per il primo n% dei casi.

27. Modelli ad Albero: Pruning del Modello Considerando il grafico Misclassification Rate, l’albero a 5 foglie è quello che presenta il tasso di errata classificazione migliore

28. Modelli ad Albero: Pruning del Modello Il processo parte dall’albero a 15 foglie e prova a “sfogliare” identificando il miglior albero 14-foglia, e così via. Migliore è definita in ogni punto, per esempio, otto, nella sequenza come l'albero a otto foglia con il più basso livello di errata classificazione. Miglior Albero a 5 foglie

29. Modelli ad Albero: Pruning del Modelloaltre misurazioni di Assessment Supponendo di voler classificare non in donatori e non donatori ma stimando la probailità di essere donatore o meno, si tratta di una modello previsionale di Stima quindi Assessment Measure=Average Square Error Inseriamo un nuovo modello ad Albero e rinominiamolo Probaility Tree con Assessment Measure=Average Square Error

30. Modelli ad Albero: Pruning del Modello altre misurazioni di Assessment Anche in questo caso l’albero migliore è quello con 5 foglie

31. Modelli ad Albero: Pruning del Modello altre misurazioni di Assessment L’albero ottenuto è diverso…… Infatti la logica di costruzione del’albero totale è la stessa (massimo logworth) quello che cambia è la misurazione con la quale si selezionano i modelli in fase di sfogliamento

32. Modelli ad Albero: Criteri di valutazione del modello Trre Map, indica la misura relativa di ciascuna foglia Tree Map, permette di confrontare i dati di Traning con quelli di Validation, ideale a coppie dovrebbero essere uguali. Altezze diverse indicano diverse numerosità nelle foglie

33. Modelli ad Albero: Criteri di valutazione del modello Variable Importance, il grado di importanza è legato alla varibilità nella variabile target riconducibile (spiegata) a (da) ciascuna variabile input relativamente alla variabile con maggiore logworth. Gift Amount Lastspiega il 52,4% della varianza spiegata da Gift Count 36 Months

34. Modelli ad Albero: Criteri di valutazione del modello Cumulative Lift, tutte le osservazioni vengono ordinate in modo decrescente rispetto al valore previsto, viene selezionata una frazione dei dati (i decili). La proporzione di casi appartenenti al target 1 è confrontata con l’analoga proporzione overall. Un buon modello avrà valori alti nei primi decili sia per il dataset target che validation Nel caso specifico il primo 20% dei casi selezionati come probabilità più alta di essere donatori hanno una probabilità del 26% in più di essere donatori rispetto ad un qualunque altro 20% scelto casualmente

35. Modelli ad Albero: Criteri di valutazione del modello Fit Statistcs, queste misure sono utili per confrontare fra di loro diversi modelli. Solitamente le due misure più utilizzate sono Average Square Error e Misclassification Output, fornisce informazioni relativamente al modello creato, nel caso di modelli ad Albero: varable importance, tree leaf report, model fit statistics, classification information and score rankiings

36. Modelli ad Albero: Opzioni costruzione Albero La costruzione dell’Albero può essere opportunamente guidata considerando alcuni parametri: Il numero di divisione da fare per ogni split (numero rami) Maximum Branch Le metriche per confrontare le diverse divisioni Splitting Rule Criterion Il metodo per sfogliare l’albero (vedi slide 24-25) Sub Tree Method Le regole per interrompere la crescita dell’albero Tree size Option

37. Modelli ad Albero: Opzioni costruzione Albero Maximum Branches Se si modifica il numero di rami per ciascun livello, al fine di limitare il numero di possibili split che dovrebbero essere considerati si pone un limite conExhaustive property . Quando tale numero è superato un algoritmo euristico viene implementato al posto del criterio esaustivo precedentemente descritto L’algoritmo parte considerando tutti gli split possibili anche se superiori al limite indicato, considera poi tutti gli accorpamenti che abbiano una valore di logworth migliore così da ricondurre a binari i vari split, si arresta quando non possono essere effettuati nuovi raggruppamenti

38. Modelli ad Albero: Opzioni costruzione Albero Splitting Rule Criterion E’ possibile modificare anche il criterio con cui vengono confrontati i diversi split. Per target categorici, Chi quadro, Entropia e Gini Per Target continui, Variance and ProbF logworth

39. Modelli ad Albero: Opzioni costruzione Albero Subtree Method Vedi slide 22-23

40. Modelli ad Albero: Opzioni costruzione Albero Tree size Options Cambia il valore minimo di logworth da considerare Utile con database molto grandi Aumentandolo si evitano i nodi orfani Se si vogliono alberi grandi utilizzando il chi quadro come criterio di split