|
|
En 1907, Markov a entamé l’étude de phénomènes aléatoires où le résultat d’une expérience aléatoire peut influencer l’expérience suivante. Ce type de processus est appelé « chaîne de Markov ».
Un exemple : Le temps au pays d’Oz.
Le pays d’Oz connaît exactement 3 types de temps :
- Beau temps noté B
- Pluvieux noté P
- Neigeux noté N
Les règles d’évolution du temps au pays d’Oz sont immuables et ne souffrent aucune exception ; ainsi :
1. S’il fait beau, il ne fera pas beau le lendemain et il y a autant de chances qu’il pleuve ou qu’il neige le lendemain.
2. S’il pleut ou s’il neige, il y a une chance sur deux qu’il fasse le même temps le lendemain et une chance sur quatre qu’il fasse beau le lendemain.
Les arbres ci-dessous résument la situation :
Le processus d’évolution du temps au pays d’Oz est
assimilable à une chaîne de Markov à 3 états. Nous noterons 
l’ensemble des états
de ce processus. Cette chaîne peut également être représentée par un graphe
probabiliste :
Remarquons que dans un tel graphe, la somme des poids des arêtes issues de chaque sommet est égale à 1.
La matrice de transition de ce graphe est définie par :
On remarquera que la
somme des coefficients de chaque ligne est égale à 1, chaque ligne constitue
une distribution de probabilité sur l’ensemble des états en partant d’un état
donné.
|
|
Nous conviendrons d’interpréter cette matrice de la manière suivante :
|
Chaque ligne de la matrice de transition représente la distribution des probabilités permettant d’accéder à l’un des états suivants :
- Si le processus se trouve dans l’état P :
- La probabilité de passer à l’état P est ½.
- La probabilité de passer à l’état B est ¼.
- La probabilité de passer à l’état P est ¼.
Il est commode de représenter l’état du processus sous la
forme d’une matrice ligne (vecteur) 
avec 
. Un tel vecteur est appelé vecteur de probabilité. La
ième composante de ce vecteur représente la probabilité que le
processus se trouve dans l’état i. Si, dans notre exemple, le processus
démarre à l’état B (état initial), le vecteur de probabilité sera : 
en revanche si la
chaîne démarre par un jour pluvieux, son état initial sera 
Remarquons qu’il est à priori impossible de prévoir de manière sûre l’état dans lequel se trouvera le système dès la deuxième étape , il est donc normal de caractériser les états par des vecteurs de probabilités…