6. Catene di Markov a tempo continuo (CMTC)

1. 6. Catene di Markov a tempo continuo (CMTC) • Definizione • Una CMTC è un processo stocastico definito come segue: • lo spazio di stato èdiscreto: X={x1,x2, … }. • L’ insieme X può essere sia finito sia infinito numerabile. • L’ insieme dei tempi è continuo. • È un processo markoviano.

2. La proprietà di markovianeità implica che è uguale alla probabilità condizionata con tutti gli istanti precedenti. La differenza essenziale tra una CMTD e una CMTC sta quindi nel fatto che in una CMTCuna transizione di stato può avvenire in un qualunque istante di tempo t, mentre in una CMTD una transizione può verificarsi solo in istanti di tempo discreti.

3. L’evoluzione dinamica di una CMTC è regolata dalle funzioni di transizione. La generica funzione di transizione è definita come la probabilità di transizione da uno stato xi all’istante t1 ad uno stato xj all’istante t2: Chiaramente

4. Definiamo la matrice delle probabilità di transizione: Definiamo inoltre il vettore delle probabilità assolute all’istante t:

5. L’equazione che regola l’evoluzione dinamica della CMTC è: Segue dal fatto che per ogni j: Problema: esistono infinitematrici delle probabilitàdi transizione (una per ogni coppia t1 e t2 o equivalentemente per ogni coppia t e t).

6. Definiamo ora la matrice delle frequenze (o tassi) di transizione: Per definizione, il generico elemento qij(t) della matrice Q(t) rappresenta la frequenza di transizione dallo stato xi all’istante t allo stato xj in un istante di tempo infinitamente vicino (t+ dt). Infatti, dalla relazione sopra segue che

7. Per quanto riguarda il generico elemento qii lungo la diagonale, osserviamo invece che

8. La matrice Q(t) soddisfa quindi le seguenti proprietà: La somma degli elementi di ciascuna riga è = 0. Q(t) ha sempre un autovalore = 0 e tutti gli altri hanno parte reale  0.

9. Lo studio delle CMTC si semplifica notevolmente nel caso in cui il processo sia tempo-invariante. In questo caso la CMTC viene detta omogenea e P(t,t+t)  P(t) ossia la matrice delle probabilità di transizione dipende dalla sola differenza t, e Q(t)  Q ossia la matrice delle frequenze di transizione è costante.

10. Una CMTC viene pertanto definita come una tripla C=(X,Q(t),(0)) dove: • X : insieme degli stati, • Q(t) : matrice delle frequenze di transizione all’istante t (t0) • (0) : distribuzione di probabilità assoluta iniziale (vettore riga) N.B. Nel seguito ci limiteremo a considerare CMTC omogenee.

11. Esempio: Una macchina può trovarsi in due stati: funzionante o guasta. La frequenza con cui la macchina si guasta è pari a 0.01 giorni-1. La frequenza con cui viene riparata è invece pari a 1 giorni-1. X={x1,x2} x1 = funzionante, x2 = guasta CMTC omogenea

12. 0.01 x1 x2 1 • Ad una CMTC omogenea è possibile associare una rappresentazione grafica data da un grafo orientato e pesato G=(V,A) dove: • V = X (ad ogni stato corrisponde un vertice) • A  X  X insieme degli archi dove: • il peso del generico arco a = (xi,xj) è pari a qij; • non esistono archi da xi ad xi (cappi) Esempio precedente: x1 = funzionante, x2 = guasta

13. Equazione di evoluzione (di Chapman-Kolmogorov)

14. che in forma matriciale diventa: Equazione di Chapman-Kolmogorov (per CMTC omogenee)

15. Questa equazione è l’analogo di per le CMTD. Osservazione: l’equazione di Chapman-Kolmogorov non è sempre di agevole risoluzione (in particolare per sistemi di ordine elevato) e questo rende difficile lo studio del transitorio. Soluzione analitica:

16. Un approccio utile per la risoluzione dell’eq.ne di C.K. può essere quello di ricorrere alle trasformate di Laplace. Date le condizioni iniziali (0) e indicata con (s) la trasformata di Laplace di (t): (t) = L-1{ (s) }

17. 0.01 x1 x2 1 Esempio:

19. Distribuzione stazionaria Una distribuzione di probabilità assoluta s viene detta stazionaria se e solo se sono verificate le seguenti condizioni: Se s è una distribuzione stazionaria, ciò significa che se tale distribuzione viene raggiunta in un dato istante, allora questa rimarrà inalterata in tutti gli istanti successivi.

20. Distribuzione limite Una CMTC ha una distribuzione limite se per t , la distribuzione di probabilità assoluta tende ad un vettore costante, ossia Chiaramente anche per le CMTC vale la seguente proprietà

21. Proposizione: Se l è una distribuzione limite, allora essa è anche stazionaria. (la dimostrazione è del tutto analoga a quella vista per le CMTD)

22. Una CMTC è ergodica se e solo se: 1) esiste 2) tale limite è unico e non dipende dalla particolare distribuzione iniziale (0). Ergodicità Esistono due diverse tecniche che permettono di studiare l’ergodicità di una CMTC omogenea. Criterio grafico Criterio degli autovalori

23. Criterio degli autovalori Teorema: Una CMTC omogenea è ergodica se e solo se gli autovalori della matrice Q hanno tutti parte reale < 0, tranne uno che chiaramente è = 0. Criterio grafico Teorema: Una CMTC omogenea è ergodica se e solo se il grafo ad essa associato ammette un’unica componente ergodica.

24. 0.01 x1 x2 1 Esempio: Criterio degli autovalori: La catena è ergodica. Criterio grafico: Il grafo presenta un’unica componente ergodica.

25. La distribuzione limite può essere agevolmente calcolata tenendo conto che, essendo la catena ergodica, questa coincide con la distribuzione stazionaria. N.B. Non è stato detto nulla a proposito della classificazione degli stati in quanto è possibile ripetere esattamente le stesse definizioni viste nel caso di CMTD (tranne naturalmente che per le definizioni relative alla periodicità).

26. Processi di nascita morte (CMTC-NM) • I processi di nascita morte a tempo continuo sono delle CMTC che godono delle seguenti caratteristiche: • gli stati possono solo assumere valori interi: • X = {0, 1, 2, 3, … } • sono ammesse solole transizioni che consentono di passare da uno stato ad uno adiacente.

27. 0 1 2 0 1 2 3 1 2 3 i : tasso di nascita dallo stato i i : tasso di morte dallo stato i Anche nel caso delle CMTC-NM lo spazio degli stati rappresenta la popolazione del sistema modellato (ad es. i clienti in una coda, i veicoli in un sistema di trasporto, i messaggi in un sistema di comunicazione, … ).

28. In generale i = i (t) e i = i (t). • Se i e i sono costantial variare di t allora il processo è omogeneo (Q=cost.). • Se i = e i=per ogni i allora il processo è anche uniforme. Se i e i sono > 0per ogni i, la CMTC-NM è irriducibile in quanto tutti gli stati sono mutuamente raggiungibili.

29. La matrice delle frequenze di transizione ha la seguente struttura: Q ha chiaramente dimensione infinita se il numero degli stati è infinito.

30. Calcolo della distribuzione stazionaria (nel caso in cui il numero degli stati sia infinito):

31. Il 1° membro di un’equazione è = al 2° di quella precedente.

32. se il processo è uniforme, definiamo se questa serie converge, allora la catena è ergodica. Ciò è vero purché sia

33. Se la catena è ergodica, allora la distrubuzione limite coincide con quella stazionaria, che risulta definita come segue: Questo significa che anche nel caso delle CMTC-NM ergodiche : numero medio di utenti a regime