GOL503 Chaînes de Markov Exemples et applications Version 2011

1. GOL503 Chaînes de Markov Exemples et applications Version 2011

2. Introduction • Rappel • Utilisation des chaînes de Markov: • Modéliser des problèmescomportant des élémentsaléatoires; • Effectuerla prédiction du comportementfutur des systèmesaléatoires. • Hypothèses et conditions d’application: • Un systèmepossèdedans un nombre d’états; • Le futurn’est pas influencé par le passé; • La probabilité de transiter d’un état à un autreestindépendant du temps – supposition de stationnarité. • Note: Les chaînes de Markov, nommées en honneurd’Andreï Markov… le mathématicenrusse et non le numéro 79 des Canadiens de Montréal. A B C 2

3. Introduction • Rappel • Propriété de Markov • Étantdonnél’étatprésent du système. Les étatsfuturs et les étatspassés du systèmesontindépendants. • Xn+1, …, X0sont des variables aléatoiresreprésentant les états du système au temps n+1, jusqu’au temps 0. • xn+1, …, x0sont des valeurs des variables aléatoires. • Pour vous aider à comprendre, nous utiliserons des chaînes Markov dans un espace d’état discret: • À chaque pas de temps, le systèmepeut: • Demeurerdans son étatactuel • ou • Transitervers un étatdifférent • Probabilité de transition dépendantuniquement de l’étatprésent. 3

4. Exemples et applications • La météoselon Markov • La pluie aujourd’hui et on estime: • 40% de chance la pluie demain; • 60% de chance beau temps demain. • Beau temps aujourd’hui et on estime: • 20% de chance la pluiedemain; • 80% de chance beau temps demain. .4 .8 .6 Pluie Beau temps .2 • P est la matrice de transition du système et représentesuccinctement le graphe de transistion = 1 4

5. Exemples et applications • La météoselon Markov – prise 2 • Ensoleillé aujourd’hui et on estime: • 50% de chance d’ensoleillement demain; • 25% de chance de pluiedemain; • 25% de chance de nuagedemain. • Pluieaujourd’hui et on estime: • 50% de chance d’ensoleillementdemain; • 0% de chance de pluiedemain; • 50% de chance de nuagedemain. • Nuageuxaujourd’hui et on estime: • 25% de chance d’ensoleillementdemain; • 25% de chance de pluiedemain; • 50% de chance de nuagedemain. 5

6. Exemples et applications • La météoselon Markov – prise 2 • Supposons qu’aujourd’hui (jour 1) c’est la pluie, nous avons alors • 1 = [ 0 1 0]; (rappel: le vecteur représente [ soleil pluie nuageux]) • Pour prédire la météo de demain (jour 1), ilsuffit, toujoursselon Markov • De manièregénérale, on peutcalculer la probabilité de la météo du jour t + 1 à partir de la probabilité de la météo du jour t et ainsi de suite. • On peutdoncprédire la météo de n’importequel jour connaissant la météo du jour 0 et la matrice de transition P. 6

7. Exemples et applications • La météoselon Markov – prise 2 • Calculons la météo des jours 3, 5, 7 et 9 Soleil Pluie Nuageux Note: cettechaîne de Markov converge versune distribution stationnaireet cepeuimportel’étatintial du système. Ne me croit pas sur parole. Répéter les calculs avec des probabilitésdifférentes et vousverrez. 7

8. Exemples et applications • Coke ou Pepsi selon Markov • Pour un consommateur • Son dernier achat est du Coke • 90% de chance qu’ilachèterait encore du Coke. • Son dernierachatest du Pepsi • 80% de chance qu’ilachèterait encore du Pepsi. • Question • Unepersonneestactuellement un consommateur de Pepsi; • Quelleest la probabilitéqu’ilachèterait du Coke d’icideuxachats? 8

9. Exemples et applications • Coke ou Pepsi selon Markov • Question • Unepersonneestactuellement un consommateur de Pepsi; • Quelleest la probabilitéqu’ilachèterait du Coke d’icideuxachats? • Réponse • Quelssont les cheminspossiblesallant du Pepsi vers le Coke d’icideuxachats? • P(Pepsi  Coke  Coke) = .2  .9 • + • P(Pepsi  Pepsi  Coke) = .8  .2 = .34 9

10. Exemples et applications • Coke ou Pepsi selon Markov • Question • Chaqueconsommateurachète un cola par semaine; • 60% achète Coke et 40% achète Pepsi. • La fraction des consommateursachetant du Coke dans 3 semainesest: • Réponse Coke Pepsi 10

11. Exemples et applications • La modélisation du personnel selon Markov • Dans l’entreprise B. ing. Dynastie, les employés sont classés par 4 grades – N1 à N4. Les employés peuvent aussi: • Mériter une promotion. • Quitter son poste. Danscecas, “poste libre” estgénéré. • Rester au même grade. • Imposer unedémotion. • Ainsi, on identifier N1, N2, N3, N4 et L (poste libre) comme des étatspossibles du système. • L’entrepriseeffectuel’évaluation des sesemployés 1 fois / an. 11

12. Exemples et applications • La modélisation du personnel selon Markov • Ainsi, on identifier N1, N2, N3, N4 et L (poste libre) comme des étatspossibles du système. • En analysant les données des RH, on a les chiffressuivants: 12

13. Exemples et applications • La modélisation du personnel selon Markov • Quelle sera la probabilité des grade d’un employédans2, 5 ans et 10 ans? • L’employédébute au grade N1. • Résultats 13

14. Exemples et applications • La livraisonselon Markov • Une entreprise de location d’automobiles possède trois succursales à Montréal: • Centre-ville; • Montréal-Est; • West-Island. • Les succursales ne disposent pas nécessairementtous les véhiculesdésirés par la clientèle: • Unesuccursalepeut en contacteruneautre pour obtenir un véhicule. • Un grouped’employéssontassignés à la livraisond’automobiles aux trois (3) succursales de l’entreprise. 14

15. Exemples et applications • La livraisonselon Markov • Selon les statistiques de l’entrerpise: • Des appels sortant ou entrant de la succursale Centre-ville; • 30% des véhicules sont livrés au Centre-ville; • 30% des véhicules sont livrés à Montréal-est; • 40% des véhicules sont livrés à West-Island. • Des appels sortant ou entrant de la succursale Montréal-est; • 40% des véhicules sont livrés au Centre-ville; • 40% des véhicules sont livrés à Montréal-est; • 20% des véhicules sont livrés à West-Island. • Des appels sortant ou entrant de la succursale West-Island; • 50% des véhicules sont livrés au Centre-ville; • 30% des véhicules sont livrés à Montréal-est; • 20% des véhicules sont livrés à West-Island. 15

16. Exemples et applications • La livraisonselon Markov • Quelleest la matrice de transition P ? • Vousêtre un employéassigné à la livraison des véhicules. Vousêtreprésentement à la succursale de West-Island. Quelleserait la probabilité pour vous de se retrouver à Montréal-est après 2 livraisons de véhicule ? • Quelleserait la probabilité pour vous d’être à nouveau à la succursale de West-Island après 5 livraisons? • Donner la distribution stationnaire de ceproblème. • Résultats 16

17. Les chaînes de Markov… sont partout!