Processi Aleatori : Introduzione – Parte I

1. Processi Aleatori :Introduzione – Parte I Fulvio GINI Dipartimento di Ingegneria dell’Informazione: Elettronica, Informatica, Telecomunicazioni Università di Pisa E-mail: f.gini@ing.unipi.it

2. Definizione di processo aleatorio Dato un esperimento casuale di modello di probabilità assegnato, ad ogni suo risultato wi, si associ una funzione reale x(t,w)della variabile t; risulta così definito un insieme di funzioni X(t,w), detto processo aleatorio (o casuale o stocastico), che verrà indicato in breve con X(t), omettendo così la dipendenza da w

3. Rappresentazione grafica della definizione di p.a. Esempi di elettrocardiogramma in pazienti affetti da aritmia Segnali che portano informazione sono per sua natura aleatori !

4. Definizione di processo aleatorio • Nella maggior parte delle applicazioni t rappresenta il tempo • Le funzioni x(t,w) sono funzioni deterministiche, la casualità risiede solo nella presentazione di un particolare risultato dell’esperimento • Fissato il valore di w, X(t,w)è unafunzione deterministicadetta funzione campione del processo • La particolare x(t,w) che si osserva in una data prova dell’esperimento aleatorio prende il nome di realizzazionedel processo

5. Variabile aleatoria estratta da un p.a. • Qualora si fissi un determinato istante di tempo t1, ad ogni risultato wdell’esperimento viene associato il valore numerico x(t1,w) della corrispondente realizzazione in quell’istante • Si ottiene così una quantità dipendente da wcioè una v.a. indicata con X(t1) … in altre parole, fissato il valore t, il processo casuale X(t)è una v.a. che indicheremo, per semplicità con X(t)

6. N v.a. estratte da un processo aleatorio t2 • Se si fissano due istanti distinti t1 e t2 si ottengono due distinte v.a. X(t1) e X(t2), che costituiscono un sistema di due variabili aleatorie, ovvero il vettore aleatorioX= [ X(t1) X(t2) ]T • Analogamente, fissati N istanti t1 , t2 , …, tN , il processo genera un vettore di N variabili aleatorieX= [ X(t1) X(t2) … X(tN) ]T • La descrizione statistica del processo implica perciò la conoscenza della legge di distribuzione di tutti i possibili sistemi così formati

7. Definizione di processo aleatorio Riassumendo X(t,w), semplificato in X(t),può rappresentare: • un insieme di funzioni delle variabili t ed w(processo aleatorio) • una funzione deterministica della variabile t detta funzione campione del processo (w fissato, t variabile) • una variabile casuale indicata con X(t)(t fissato, wvariabile) • un numero reale (t e wfissati) • In molte applicazioni i risultati dell’esperimento sono già delle forme d’onda; in tal caso non vi è più distinzione tra risultato e funzione campione assegnatagli • Esempi: misura della tensione di rumore, segnale musicale/video trasmesso, segnale dati all’uscita di un PC Siano X(t)ed Y(t)due p.a., essi sono uguali [ e scriveremo X(t)= Y(t)] se e solo se in corrispondenza degli stessi risultati dello stesso esperimento vengono associate identiche funzioni del tempo

8. Descrizione statistica di un processo aleatorio A. Specificazione diretta Un processo X(t)si dice statisticamente determinato se sono note le sue funzioni di distribuzione (Cumulative Distribution Function, CDF): per ogni N e per ogni N-upla di istanti t1 , t2 , …, tN Nota la CDF di ordine N è possibile ricavare tutte le CDF di ordine inferiore mediante le regole marginali (non vale il viceversa) Nota: la funzione di distribuzione di ordine N del processo è ovviamente la funzione di distribuzione del vettore di v.a. X = [ X(t1) X(t2) … X(tN) ]T ottenuto fissando N istanti t1 , t2 , …, tN Nota: anche se il comportamento statistico di un processo stocastico è completamente determinato quando sono note le distribuzioni di tutti i possibili ordini, in alcune applicazioni è sufficiente conoscere alcune statistiche dei primi due ordini (descrizione in potenzadel processo)

9. Descrizione statistica di un processo aleatorio B. Specificazione in forma parametrica Un processo X(t)si dice parametrico quando può essere specificato attraverso la forma delle sue funzioni campione, che dipende parametricamente da un certo numero di variabili aleatorie: La caratterizzazione statistica completa del processo richiede la ddp congiunta dei parametri aleatori

10. Esempi di p.a. parametrici Oscillazione cosinusoidale con fase iniziale incognita Tensione costante di valore aleatorio

11. Esempi di p.a. parametrici Funzione campione del processo segnale dati binario v.a. binarie {-1,+1} segnale deterministico Modello più realistico:

12. Descrizione statistica di un processo aleatorio C. Specificazione mediante altri processi e loro trasformazioni Il processo Y(t) viene caratterizzato attraverso la descrizione statistica completa di X(t)e della trasformazione T[.] Classificazione di un processo aleatorio ampiezze continue/discrete variabile indipendente continua/discreta Si hanno quindi 4 classi: processi a valori continui e tempo-continuo, processi valori continui e tempo-discreto, ecc.

13. Descrizione statistica del primo ordine Fissato un istante t, X(t) rappresenta una variabile aleatoria (v.a.). La sua funzione di distribuzione, che dipende in generale da t, è detta funzione di distribuzione del primo ordine del processo X(t): Analogamente, si definisce la funzione densità di probabilità del primo ordine del processo X(t): Per processi discreti X(t) è una v.a. discreta, si può usare la massa di probabilità: … ed in maniera ovvia si definisce la funzione caratteristicadel primo ordine di X(t):

14. Indici statistici del primo ordine Si definiscono le seguenti statistiche del primo ordine: Funzione valor medio del processo X(t): Funzione potenza media statistica (istantanea): Funzione varianza del processo X(t): In generale sono funzioni del tempo t Nota: non necessariamente hX(t) deve coincidere con una della funzioni campione del processo X(t)

15. Interpretazione di FX(x;t) in termini di frequenza relativa • Ripetiamo N volte un dato esperimento. In ciascuna prova osserviamo una funzione del tempo x(t)(una realizzazione). Otteniamo così N realizzazioni del processo • Dati due numeri x e t, indichiamo con nt(x) il numero di realizzazioni per cui si verifica che, all’istante t, il valore della funzione è non superiore a x. Allora si ha:

16. Interpretazione di fX(x;t) in termini di frequenza relativa Analogamente, dati due numeri x e t, se indichiamo con Dnt(x) il numero di realizzazioni per cui si verifica che al tempo t, il valore della funzione x(t) è compreso tra x ed x+Dx, con Dx opportunamente piccolo, si ha:

17. Descrizione statistica del secondo ordine Dati due istanti t1e t2, consideriamo le v.a. X(t1)e X(t2); la loro funzione di distribuzione congiunta, che dipende in generale da t1e t2, è detta funzione di distribuzione del secondo ordine del processo X(t): Analogamente, si definisce la funzione densità di probabilità del secondo ordine del processo X(t): Nota:Se il processo è discreto (nelle ampiezze) si può usare la massa di probabilità congiunta … ed in maniera ovvia si definisce la funzione caratteristicadel secondo ordine di X(t):

18. Interpretazione di fX(x1,x2;t1,t2) in termini di frequenza relativa Indicando con Dnt1t2(x1,x2) il numero di realizzazioni la cui ampiezza è compresa tra x1 e x1 +D x1all’istante t1 e tra x2 e x2 +D x2all’istante t2, si ha:

19. Analisi in potenza In molti casi, ci si accontenta di studiare il processo analizzando solamente le funzioni valore medio e di autocorrelazione (ACF) La funzione valore medio di un processo X(t)è il valore aspettato della v.a. X(t); esso è in generale una funzione del tempo: È un indice statistico di ordine 1 La funzione di autocorrelazione di un processo è la correlazione (momento congiunto ordinario) delle v.a. X(t1)e X(t2); essa è funzione di t1e t2: … ordine 2

20. Funzione di Autocovarianza Al posto della funzione di autocorrelazione possiamo considerare la funzione di autocovarianza • La funzione di autocovarianza di un processo è la covarianza (momento congiunto centrale) delle v.a. X(t1)e X(t2); in generale è funzione di t1e t2: Tra autocorrelazione ed autocovarianza esiste la relazione: Nota: ponendo t1= t2 = t, l’autocorrelazione e l’autocovarianza si identificano rispettivamente con il valore quadratico medio (potenza media statistica istantanea) e la varianza della v.a. X(t):

21. Correlazione mutua ed autocovarianza mutua Siano dati due processi stocastici X(t)ed Y(t), si definiscono le seguenti funzioni: Funzione di correlazione mutua Funzione di covarianza mutua Tra le funzioni di correlazione mutua e covarianza mutua esiste la relazione:

22. Processi incorrelati, ortogonali, indipendenti Due processi stocastici X(t)ed Y(t), si dicono incorrelati se: Se si dicono ortogonali Infine, X(t)ed Y(t) si dicono indipendenti se sono indipendenti i due vettori aleatori X = [ X(t1) X(t2) … X(tN) ]T ed Y = [ Y(tN+1) Y(tN+2) … Y(t2N) ]T per ogni t1 , t2 , … , tN , tN+1, tN+2, … , t2N Questo implica che la densità di probabilità congiunta dei due vettori è il prodotto delle densità di probabilità di ciascuno dei due Se i processi sono indipendenti sono anche incorrelati, mentre non è necessariamente vero il contrario

23. Processi stazionari Stazionarietà in senso stretto • Un processo aleatorio si dice stazionario in senso strettose il suo comportamento statistico è invariante rispetto ad una traslazione dell’origine dei tempi • Questo significa che i due processi X(t)e X(t+e)hanno le stesse statistiche per ogni valore di e e per ogni ordine N, ovvero la ddp congiunta soddisfa la seguente relazione: • I processi X(t+ e)ed X(t) si dicono statisticamente equivalenti, nel senso che non sono distinguibili tramite la misurazione delle loro statistiche; ovviamente questo non vuol dire che le loro realizzazioni siano uguali

24. Stazionarietà del primo ordine • Un processo aleatorio si dice stazionario di ordine 1 se la ddp del primo ordine soddisfa la seguente relazione: Questo implica che fX(x;t)sia indipendente da t: • Il valore medio, la potenza media e la varianza di un processo stazionario (almeno) di ordine 1 sono perciò costanti (non vale il viceversa). Ad esempio:

25. Stazionarietà del secondo ordine • Un processo aleatorio si dice stazionario di ordine 2 se la ddp del secondo ordine soddisfa la seguente relazione: Questo implica che fX(x1 ,x2; t1 ,t2)dipenda solo da t = t2-t1: • La funzione di autocorrelazione di un processo stazionario (almeno) di ordine 2 è una funzione di t = t2-t1:

26. Stazionarietà di ordine N • Un processo aleatorio si dice stazionario di ordine N, se la ddp di ordine N soddisfa la seguente relazione: Questo implica che: • Un processo stazionario di ordine N lo è anche di ogni ordine minore di N ; infatti ciascuna ddp di ordine K<N si può ricavare da quella di ordine N mediante le regole marginali, ad esempio:

27. Stazionarietà in senso lato • Un processo X(t) si dice stazionario in sensolato o debolmente stazionario se il suo valore medio è costante e la sua funzione di autocorrelazione dipende soltanto da t = t2-t1: • La stazionarietà in senso lato riguarda soltanto due particolari statistiche del primo e del secondo ordine (quelle coinvolte nell’analisi in potenza) • La stazionarietà in senso lato è una condizione più debole della stazionarietà di ordine 2 • Se il processo è stazionario di ordine 2 (o maggiore di 2) lo è anche in senso lato, non vale in generale il viceversa

28. Processi congiuntamente stazionari • Due processi X(t)ed Y(t)sono congiuntamente stazionari in senso stretto se sono entrambi stazionari in senso stretto ed inoltre tutte le loro statistiche congiunte, di qualunque ordine N, coincidono con le equivalenti statistiche di X(t+ e) ed Y(t + e) • Due processi X(t)ed Y(t)si dicono congiuntamente stazionari in sensolato se ciascuno dei due soddisfa le condizioni di stazionarietà in senso lato ed inoltre la correlazione mutua dipende solo da t = t2-t1:

29. Proprietà della funzione di autocorrelazione • Proprietà 1. L’ACF di un processo reale, stazionario almeno in senso lato, è una funzione reale e pari: • RX(0) viene detta potenza media statistica (istantanea) del processo X(t): se consideriamo il processo X(t)come l’insieme delle funzioni campione che rappresentano la tensione applicata ai capi di una resistenza unitaria, x2(t,w) è la potenza istantanea dissipata dalla realizzazione associata al risultato w dell’esperimento casuale. Perciòil valore quadratico medio RX(t,t)=E{X2(t)} fornisce il valore medio (statistico) della potenza dissipata sulla resistenza unitaria all’istante t • Se il processo è stazionario almeno in s.l. RX(t,t) = RX(0)=costante è la potenza media dissipata in qualunque istante

30. Proprietà della funzione di autocorrelazione • Proprietà 2. L’ACF di un processo stazionario (almeno) in senso lato (s.s.l.) assume il valore max nell’origine: Da cui si ricava c.v.d. • Proprietà 3. Se un processo casuale Z(t) contiene una componente periodica X(t)= X(t+T0), anche l’ACF contiene una componente periodica dello stesso periodo T0

31. Proprietà della funzione di autocorrelazione • Proprietà 4. Se l’ACF di di un processo s.s.l. non contiene componenti periodiche, vale: Esempio 1 di processo la cui ACF contiene componenti periodiche: Esempio 2 di processo la cui ACF contiene componenti periodiche:

32. Proprietà della correlazione mutua • Proprietà della correlazione mutua di due processi congiuntamente stazionari almeno in senso lato: • Se Y(t)ed X(t)sono due processi congiuntamente stazionari l’autocorrelazione del processo Z(t)=X(t)+Y(t) è data dalla relazione:

33. Esempio Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l. con valor medio nullo ed ACF esponenziale bilatera e di un processo Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t) sono incorrelati Nota bene: non possiamo ottenere il valor medio di Z(t)(in valore assoluto) facendo il limite per t che tende ad infinito della ACF di Z(t), a causa della presenza della componente periodica dovuta a Y(t)

34. Significato della ACF

35. Densità Spettrale di Potenza • Dato un processo aleatorio X(t), stazionario almeno in senso lato,si definisce densità spettrale di potenza (Power Spectral Density, PSD) la seguente grandezza: dove : • La PSD si può ottenere anche come la trasformata di Fourier (FT) della funzione di autocorrelazione (Teorema di Wiener-Khintchine): • Ovviamente dalla PSD si può ricavare l’ACF mediante la trasformata inversa di Fourier:

36. Proprietà 1. Poiché l’autocorrelazione è una funzione reale e pari, anche la PSD è reale e pari: Proprietà della PSD • Proprietà 2. Il valore quadratico medio (o potenza media statistica) di un processo è legato alla PSD dalla relazione : Tale relazione giustifica il nome di densità spettrale di potenza dato a SX(f) • Proprietà 3. SX(f) è sempre positiva o nulla (Teo. di Bochner):

37. Proprietà della PSD • Proprietà 4. La presenza di componenti periodiche della ACF da luogo a righe (delta di Dirac) nella PSD • In generale, la PSD è formata da una parte continua + una parte discreta, ovvero “a righe”, la posizione delle righe è legata alle periodicità presenti nelle realizzazioni del processo • Esempio. Processo parametrico: X(t)=p(t-T), essendo T una v.a. uniformemente distribuita in [0,T0) e p(t) un segnale deterministico a potenza media finita, periodico di periodo T0 N.B. Ogni realizzazione di X(t) è periodica di periodo T0

38. ACF e PSD del processo parametrico X(t)=p(t-T)

39. Esempio: ACF e PSD Processo aleatorio: Z(t)=X(t)+Y(t), somma di un processo X(t) s.s.l. con valor medio nullo ed ACF esponenziale bilatera e di un processo Y(t) cosinusoidale con ampiezza e fasi aleatorie; inoltre X(t) ed Y(t) sono incorrelati parte continua parte discreta

40. Significato della PSD

41. Alcuni confronti … • Proprietà: le realizzazioni di un processo stazionario almeno in senso lato non possono avere durata finita e non possono avere energia finita, devono essere segnali a potenza media finita Confronto tra alcune definizioni per segnali aleatori e deterministici

42. Misura delle statistiche per l’analisi in potenza • Domanda: Come si misurano funzione valor medio e funzione di auto-correlazione avendo a disposizione N realizzazioni {xi(t)} del processo? • … e per quanto riguarda la densità spettrale di potenza, se il processo è almeno s.s.l. …..

43. Processi ergodici • Domanda: è possibile misurare certe statistiche, definite come medie d’insieme, mediante le corrispondenti medie temporali calcolate su una sola (qualsiasi) realizzazione? in generale • Risposta: La risposta è “Si” per la classe dei processi Ergodici

44. Elaborazione di segnali aleatori Il problema è: caratterizzare il processo di uscita Y(t), in maniera completa o parziale, nota che sia la descrizione statistica (completa o parziale) di X(t)e nota che sia la trasformazione T[.] operata dal sistema Nel caso di sistemi lineari è possibile ottenere la funzione valor medio e la funzione di autocorrelazione del processo di uscita in funzione delle rispettive statistiche del processo di ingresso (ovviamente saranno anche funzioni della risposta impulsiva del sistema)

45. Filtraggio lineare di segnali aleatori Calcolo della funzione valor medio Se il processo è stazionario in valor medio …. …. anche l’uscita lo è …

46. Filtraggio lineare di segnali aleatori Calcolo della funzione di autocorrelazione

47. Filtraggio lineare di segnali aleatori Calcolo della ACF - Processi stazionari almeno in senso lato Dove si è definito:

48. Filtraggio lineare di segnali aleatori Calcolo della Densità Spettrale di Potenza:

49. Processo bianco tempo-continuo Un processo tempo-continuo X(t) si definisce “bianco” quando la sua ACF e la sua PSD hanno la seguente forma: ovvero è costante per tutte le f, giustificando l’appellativo “bianco” Il valor medio è nullo: La potenza media statistica è infinita: Il significato di processo “bianco” può compreso pensandolo come il limite di un processo “bianco in banda”, per B che tende all’infinito:

50. Processo bianco in banda B