Analisi dei Dati Università Carlo Cattaneo Emanuele Borgonovo

1. Analisi dei DatiUniversità Carlo CattaneoEmanuele Borgonovo

2. Capitolo I

3. Introduzione • Processo Stocastico: un processo stocastico è un processo che è costituito da eventi la cui realizzazione non è deterministica, ma caratterizzata da incertezza • Esempio: i tempi di arrivo dei clienti in un grande centro commerciale o il numero di clienti che arriva al centro commerciale nell’intervallo dt attorno al tempo t.

4. Elementi introduttivi di Teoria della Probabilità

5. Probabilità • E’ possibile definire la Probabilità? • Sì, ma ci sono due scuole • La prima dice che la probabiltà è una porprietà oggettiva degli eventi (Scuola Frequentista) • La seconda dice che la Probabilità è una misura “soggettiva”della verosimiglianza degli eventi (De Finetti)

6. Gli Assiomi di Kolmogorov U B A

7. C A B D E Aree e rettangoli? • Supponete di saltare dentro U a caso. Chiamate P(A) la probabilità di saltare in A. Quanto vale? • Sarà l’area di A diviso l’area di U: P(A)=A/U • In questo caso P(U)=P(A)+ P(B)+ P(C)+ P(D)+ P(E) U

8. Legge della somma delle probabilità • Dati n eventi non mutuamente esclusivi, in generale la probabilità dell’unione di detti n eventi sarà la somma delle probabilità degli eventi singoli, cui si sottrarrà la somma delle probabilità delle doppie intersezioni, si sommeranno le probabilità delle triple intersezioni e così via. • In termini di aree

9. Legge della somma delle probbilità in termini di aree U • 2 eventi • 3 eventi B AB A U B C AB A

10. A4 A3 A1 A2 IL teorema della probabilità Totale U • Teorema probabilità totale: dati N eventi mutuamente esclusivi (A1, A2,…,AN) e esaustivi, la probabilità di un altro evento E in U è data da: E

11. Esempio • Ad una lotteria, si gioca con una scatola che contiene cappelli eleganti e sportivi in egual proporzione. Il gioco è il seguente. Si estrae un cappello. Se è elegante si ha diritto a tirare una moneta. Se esce testa, si estrae un altro cappello. Non si ha diritto ad altre estrazioni. Qual è la probabilità di vincere due cappelli eleganti? • Soluzione: Applichiamo il teorema della probabilità totale a P(2 cappelli eleganti): • P(2 cappelli eleganti)=P(II cap. el.|1 estrazione)*P(1estrazione)+P(II cap. el.|II estrazione)*P(II estrazioni). • Chiaramente P(2 cappelli|1 estrazione)=0, quindi: • P(II cappelli elegante)=P(II cap. el.|II estrazione)*P(IIestrazione). • P(II estrazione)= P(II estrazioni|I sprt)*P(I sprt)+P(II estrazione|I eleg)*P(I eleg) • Ora: se il primo è sportivo non si ha diritto a seconda estrazione. • Osserviamo poi che: P(II estrazione| I eleg)= P(testa) =1/2 • Quindi: P(II estrazione)=1/2·1/2=0.25 • Inoltre: P(II cap. el .)=P(II cap. el.|II estrazione)*P(II estrazione)=1/2*0.25=0.125 • Per esercizio calcolare: • La probabiltà di uscire con un cappello • La probabilità di uscire con un cappello elegante e con uno sportivo • Ripetere gli stessi calcoli se I cappelli sono in proporzione 2/3 sportivi/eleganti

12. Funzione di Partizione • La funzione di partizione (cumulative distribution) di una variabile casuale risponde alla definizione di essere la probabilità che il valore della variabile casuale sia inferiore ad un valore di riefrimento. • Scriviamo: FX(x)=P(X<=x) • Per una variabile discreta: • Per una variabile continua deve esistere una funzione f(u) tale che: • La funzione f(u) è detta densità di probabilità di X

13. Relazione tra F(x) ed f(x) • Se f(x) è continua, allora vale: • Esempio. Sia 0<T< una variabile casuale caratterizzata da una distribuzione esponenziale, ovvero f(t) dt=e- tdt è la probabilità che T abbia un valore compreso tra t e dt. • Qual è la probabilità che T<t? Soluzione • P(T<t)=F(t)=

14. Valore atteso • Il valore atteso di una variabile aleatoria continua è definito da: • Esempio: • Per una variabile discreta: • Esempio: calcolare il valore atteso della variabile aleatoria in Tabella a fianco

15. Varianza • La varianza esprime lo scostamento quadratico medio dal valor medio. E’ definita da: • Notiamo la relazione tra V[X] e E[X2]. Si ha: • E[X2] è detto momento di ordine 2 o secondo momento della distribuzione f(x).

16. Skewness • E’ il parametro che misura il grado di asimmetria di una distribuzione. • La definiamo come momento centrale del III ordine: • Se la distribuzione è simmetrica la skewness è nulIa. • Di sotto la skewness delle distribuzioni più comuni

17. ..alla distribuzione di Poisson • P è detta distribuzione di Poisson •  prende il nome di rateo o tasso della distribuzione • Significato: probabilità di avere k eventi, dato il tasso .

18. Momenti della distribuzione di Poisson • Quindi:

19. La distribuzione Beta • La distribuzione beta della variabile X, con ax  b è definita come segue: • (q,r) è detta funzione beta. • Momenti della distribuzione:

20. Grafico per a=-10, b=10, q=2,r=3 q=4,r=3 Grafico per a=-10, b=10, q=3,r=3 (simmetrico) La distribuzione Beta (2)

21. La distribuzione  • Una variabile continua  () segue una distribuzione  se la sua densità di probabilità è data da: • Dove: •  (parametro di forma), (parametro di scala)>0 e • () è la funzione , una funzione notevole, che generalizza il concetto di fattoriale ai numeri non interi. () è definita come segue: • I parametri  (parametro di locazione) e sono legati al valore medio ed alla varianza di  dalle seguenti relazioni:

22. Grafici della distribuzione 

23. Capitolo VI:Statistica Multivariata

24. Distribuzioni multivariate • Consideriamo un fenomeno casuale in cui si combinino due variabili. Ad esempio, I ricavi di un supermercato derivano dai clienti che entrano nel supermercato e dal tipo di acquisti che i clienti effettuano. Modellizziamo il problema chiamando X la variabile aleatoria relativa al numero di clienti che entrano nel supermercato e Y quella relativa al valore dell’acquisto. Chiaramente quanto si venderà è funzione di X e Y. • F(x,y) sarà la probabilità che arrivino X<=x clienti e che acquistino per un valore pari ad Y<=y. Se a questa funzione cumulativa corrisponde una funzione densità di probabilità, scriveremo: f(x,y)dxdy la probabilità che arrivino x clienti e comperino per un valore y. • Qual è la probabilità che i clienti comperino X<=x indipendentemente da y? • Analogo ragionamento si applica alla determinazione della distribuzione marginale FY(y).

25. Distribuzioni Multivariate • Più formalmente, se xy è il nostro spazio degli eventi, dove un evento è una combinazione dei valori di xy FXY(x,y) rappresenta la probabilità che X sia minore di x e, allo stesso tempo, Y sia minore di y: • FXY(x,y)=P(Xx,Y  y). • Per soddisfare gli assiomi della probabilità deve essere: • F(, )=1 • F(, y)=FY(y), F(x, )=FX(x) • F(-, -)=0, • F(-, y)=0, F(x,-)=0 • F(, y)=FY(y)

26. Distribuzioni multivariate • Ora, logicamente ci si aspetta che Y dipenda in qualche modo da X. Infatti, più clenti arrivano più sarà facile raggiungere valori alti di Y. Ma, se per caso, in un mondo poco reale, si verificasse che Y non dipende da X, ci troveremmo di fronte al fatto che P(X<=x) è indipendente dal valore di Y. Dunque: • P(X,Y)=P(X<=x) P(Y<=y) • Quindi: F(X,Y)=FX(x) FY(y) • od anche: f(x,y)dxdy=f(x)dx f(y)dy • Diremo che X e Y sono indipendenti se: fX|Y(x|y)=fX(x)

27. Esempio • Considerate due variabilie X e Y caratterizzate dalla seguente possibile densità: • Trovate c • Sol: • X e Y sono indipendenti? • Sono indipendenti se possiamo scrivere: fX|Y(x|y) = fX(x). • Ovvero: Nel nostro caso è facile verificare che questa condizione non può essere verificata e quindi le due variabili non sono indipendenti. La ragione è legata alla presenza del termine di interazione y/x

28. Valore atteso condizionale • Si può dimostrare che: • Nel caso X e Y siano indipendenti

29. Parte II:Processi stocastici

30. Somma di un Numero Casuale di Variabili casuali • Siete i gestori di un supermercato. Ogni cliente spende Xi, dove I è il numero che indica l’i-esimo cliente. In media I clienti spendono 75EUR a testa. Il numero medio di clienti giornaliero è una variabile casuale N con valor medio 300. Quanto vi aspettate di incassare al giorno? • Soluzione. L’incasso giornaliero è dato da: • Dobbiamo quindi calcolare il valore atteso di I: • Per farlo, condizioniamo sul valore che assumerà N. Abbiamo: • Quindi ci attentiamo un incasso di 75*300=22500EUR/Giorno

31. Processi di Poisson

32. Processi di Conteggio • Consideriamo un processo stocastico, in cui siamo interessati a contare arrivi e tempi di arrivo. Per esempio gli arrivi di clienti al supermercato, di telefonate ad un centralino etc. • Denotiamo con N(t) il numero di eventi che si verificano nel tempo t, cioè nell’intervallo di tempo 0-t. N(t)=numero di eventi tra 0 e t. • Non è difficile intuire che: • N(t) è un numero intero non negativo, t • N(s)<=N(t) se s<t • N(t)-N(s) è il numero di eventi che si sono verificati nel tempo t-s. Si chiamerà incremento dei conteggi tra t e s. • Notazione: indicheremo con tk il tempo del k-esimo arrivo.

33. Processi di Conteggio (2) • Il tempo Xk=Tk-Tk-1 è il tempo di attesa tra il k-esimo e il k-1-esimo evento • Es. Supponete che il supermercato apra alle 9. Il primo cliente arriva alle 9.01 e il secondo alle 9.05. Abbiamo T1=1min, T2=5min, X2=4min • Vale che: Tn=X1+X2+…Xn • Due proprietà sono di interesse: indipendenza e stazionarietà degli incrementi • Incrementi Indipendenti: Un processo viene detto ad incrementi indipendenti, se i numeri di eventi che si verificano in intervalli di tempo disgiunti sono indipendenti tra loro: P[N(t+s)-N(t)=k|N(t’+s)-N(t’)]= P[N(t+s)-N(t)=k] • Incrementi Stazionari: Un processo viene detto ad incrementi stazionari se il numero di eventi che si verifica in un intervallo dipende solo dalla lunghezza dell’intervallo. Sia s la lunghezza dell’intervallo. In termini di probabilità si scrive: P[N(t+s)-N(t)=k]=P[N(t’+s)-N(t’)=k]

34. Processi di Poisson • Un processo di conteggio è detto processo di Poisson se verifica le seguenti proprietà: • N(0)=0 • Il processo è a incrementi indipendenti • Il processo è a incrementi stazionari e la probabilità di k eventi nel tempo t è data da: •  è detto intensità o tasso del processo

35. Distribuzione dei tempi di arrivo • Quanto dobbiamo attendere per il primo arrivo? • In termini di probabilità, scriviamo la domanda come: qual è la probabilità che X1 sia maggiore di t): P(X1>t). • La risposta è la distribuzione cumulativa di X1: P(X1>t)=P[N(t)=0]=P(; k=0)=e-t • Qual è la distribuzione di X2? • P(X2>t|X1=s)=P[N(t-s)=0|X1=s]= grazie a proprietà di intervalli indipendenti = P[N(t-s)=0]= P(;k=0)=e-(t-s) • Ne segue: • I tempi di arrivo X1,X2,...,Xn di un processo di Poisson sono variabili aleatorie indipendenti con legge esponenziale di tasso 

36. Distribuzione di Tn • La distribuzione del tempo di attesa Tn risponde alla domanda: come è distribuita la somma degli Xi? Infatti: Tn=X1+X2+…Xn • Dunque:P[Tn>t]=P[X1+X2+…Xn >t] • Si dimostra che Tn~(n, ) • Ricordiamo che I tempi di arrivo sono iid esponenziali. Utilizziamo la funzione generatrice dei momenti:

37. Esempio • Gli arrivi orari ad un supermercato sono distribuiti secondo una Poisson di media 100[1/ore]. • Qual è il tempo di attesa perchè arrivino 500 clenti? • Risposta: 5 ore

38. Processi di Poisson con selezione • Consideriamo un processo di Poisson con arrivi di tasso . • Ad ogni arrivo associamo un tasso di successo p. Per esempio successo è se un cliente compera più di tre tipi di prodotto diverso. • Indichiamo con M(t) il numero di successi ottenuti fino al tempo t. • M(t) viene detto processo di Poisson con selezione. • Si dimostra che: • M(t) e un processo di Poisson di intensità p.

39. Applicazione • Supponiamo che se un cliente compera più di tre prodotti il guadagno sia G. Se compera meno di tre prodotti si ha una perdita L. Quali sono i valori del tasso di arrivo dei clienti e della probabilità p per avere il break-even, se gli arrivi orari seguono un processo di poisson di tasso  e la probabilità che comperino più di tre prodotti è p? • Sol. Poissimo dividere il processo in due sottoprocessi di tassi p e (1-p) rispettivamente. Il valore atteso degli acquisti in un’ora è dato rispettivamente da: p e (1-p). Affinchè vi sia break even occorre che • pG= (1-p)L p/(1-p)=L/G

40. Processi di Poisson composti • Consideriamo un processo in cui gli eventi costituiscono un processo di poisson di tasso . Ogni volta che un evento si realizza, si ha una conseguenza Xi . Per esempio I clienti giungono al supermercato nei tempi ti ed ognuno spende un ammontare Xi. Quanto spendono in totale i clienti, e , dunque, quanto incassa il supermercato? • Il processo X(t) è detto processo di Poisson composto. In generale lo caratterizzeranno due distribuzioni, quella di Poisson e quella degli Xi. La distribuzione degli Xi potrà essere continua o discreta.

41. Valori Attesi • I processi che coinvolgono la somma di variabili casuali sono più facilmente trattabili in termini della funzione generatrice dei momenti. Nel nostro caso dobbiamo calcolare:

42. Valori Attesi (cont.) • Da cui, derivando la funzione generatrice dei momenti, è facile verificare che:

43. Applicazione • I clienti che arrivano al supermercato spendono secondo la seguente tabella: • Arrivano in media 100 clienti all’ora. Nell’arco di una giornata (8 ore), quanto incassa il supermercato? • Risposta: 100*8*E[euro spesi]=100*8*91.6=73280 EUR • Incertezza (vedi esempio Excel) p p EUR EUR i i 25 2% 95 5% 30 3% 100 5% 35 3% 105 4% 40 3% 110 4% 45 3% 115 4% 50 4% 120 4% 55 4% 125 4% 60 4% 130 3% 65 4% 135 3% 70 4% 140 3% 75 5% 145 3% 80 5% 150 3% 85 3% 155 3% 90 3% 160 2%

44. La rovina dell’assicuratore The compound Poisson process is very important in insurance, as a model for the arrival of claims at an insurance office. The standard model assumes that premiums arrive at a constant rate c and looks to find the probability that the surplus S(t) = S(0) + ct - X(t) ever hits 0 (ruin occurs).

45. Capitolo IX:Processi di Markov Discreti e Omogenei

46. Gestione di Magazzino • Siete i gestori di un concessionario di automobili di lusso. Avete posto per 7 auto. Il tempo di consegna delle automobili è di due giorni, per cui se ordinate l’auto al Venerdì, per il Lunedì mattina sono in vetrina. Se al Venerdì della n-esima settimana avete 2 auto o meno di 2 in vetrina, ne ordinate altre in modo da riportavi a 7. Le vendite arrivano secondo una distribuzione di Poisson con media 4 e sono pronta consegna. • Chiamiamo Xn il “numero di auto in vetrina all’inizio della n-esima settimana.” Xn è una variabile aleatoria. Infatti, dipendendo dal numero di vendite, potremmo avere 7,6,5,4,3 auto in vetrina ogni Lunedì mattina. Analizziamo come si piò descrivere il comportamento di X • Per il nostro problema, notiamo che se mettiamo sull’asse orizzontale il numero della settimana e su quello verticale le auto vendute, abbiamo un risultato del tipo:

47. Evoluzione temporale: Processi Discreti • Notiamo che il sistema procede “ a scatti nel tempo”, ovvero ogni settimana il sistema si evolve. • Tale tipo di processo è detto discreto (ovviamente dal punto di vista temporale) X X n 7 6 ..... 5 4 3 2 1 0 1 2 3 ... ... n-1 n n+1 ... t

48. Stati del sistema ed Evoluzione temporale • Chiamiamo stati del sistema (S) i valori che la variabile aleatoria X può assumere. • Nella figura della pagina precedente, si tratta dell’asse verticale. • Nel nostro caso sono 3,4,5,6,7. Abbiamo quindi 5 stati possibili. • In generale useremo la notazione S={1,2,…,N} per indicare gli stati del sistema • Dato il sistema in un determinato stato alla n-esima settimana, alla n+1-esima il sistema può rimanere ancora nello stesso stato o passare ad un altro stato la settimana successiva • Per esempio, se abbiamo 4 auto in vetrina alla 30-esima settimana (X30), e se non si presentano clienti, avremo ancora 4 auto il lunedì della n+1-esima settimana. Se vendiamo 2 auto, X31=7.

49. p23 p12 3 p33 2 1 1 p22 p31 Diagramma degli stati • E’ una rappresentazione grafica degli stati del sistema e delle transizioni che il sistema può compiere

50. Probabilità di transizione e Processi di Markov • Il sistema si muove da uno stato all’altro con della probabilità, che vengono dette probabilità di transizione. • Le probabilità di transizione rispondono alla domanda: qual è la probabilità che il sistema si muova nello stato j ad n+1 dato che al tempo n era nello stato i e nei tempi precedenti in Xn-1,…X0? • In notazione probablistica, la probabilità cercata è: • Ora, un processo viene detto Markoviano se la probabilità che il sistema passi allo stato j al tempo n+1, dato che è nello stato i al tempo n, dipende solo dal fatto che il sistema è nello stato I al tempo n e non dipende dagli stati nei quali il sistema si trovava prima di i. Ovvero, è indipendente dal modo in cui il sistema è arrivato in i. • In formule: