1.

3 Chaînes de Markov à temps continu

1.3.1 Définition

Un processus stochastique { } à espace d’état E discret et à temps continu est une chaîne
de Markov à temps continu si pour toute suite d’instants d'observations : , , , … , on
a:

( = / = , = ,…, = ) = ( = / = )

L’état futur du système ne dépend que de l’état présent ,et non pas de ce qui s’est passé
auparvant (propriété de Markov)

1.3.2 Homogénéité

Une chaine de Markov à temps continu est dite homogène si :

( = / = )= ( − )⟺ ( = / = )= ( )

C'est-à-dire que la probabilité que le processus passe de l’état i à l’état j dans un intervalle de
temps donné ne dépend que de la longueur de cet intervalle de temps et non pas des instants.

1.3.3 Temps de séjour dans un état

Supposons qu’une CMTC homogène est dans l’état i à l’instant t=0. On suppose qu’aucune
transition n’a eu lieu pendant les t unités de temps suivantes (le système est toujours dans
l’état i). On veut savoir quelle est la probabilité que le système soit toujours dans l’état i, s
temps après t (de t à t+s).

On pose la variable aléatoire qui indique le temps de séjour dans l’état i avant une
transition vers un autre état.

La propriété sans mémoire des CMTC homogènes implique :

( > + / > )= ( > )

On remarque que la variable aléatoire est sans mémoire et comme nous le savons la loi
exponentielle est la seule loi continue à avoir cette propriété, donc suit la distribution
exponentielle de paramètre

Ce qui veut dire que si le système passe un certain temps dans un état i, la distribution du
temps restant jusqu’à la prochaine sortie de i est la même quelle que soit le temps déjà passé
dans l’état i.

Démonstration :

( > + / > )= ( = , ≤ ≤ + / = , 0≤ ≤ )
 = ( = , ≤ ≤ + / = ) éé

= ( > ) é é ′ℎ é é é

Ainsi, une CMTC possède les propriétés suivantes :

-le temps passé par un état i a une distribution exponentielle de taux (ou paramètre) qui
représente la vitesse avec laquelle le processus sort de l’état i. Ainsi, ( ) = représente le
temps moyen passé dans l’état i avant de transiter vers un autre état.

- lorsque le temps de séjour dans l'état i se termine, le processus transite vers un autre état j
avec probabilité (probabilité de choix de la destination vers laquelle le système va se
diriger aprés avoir quitté l'état i) on suppose aussi que le processus quitte l'état i, sa
destination sera un état différent de i (i ne revient pas à lui même) ( = 0), nous avons ainsi
:

=1

Remarque :
Lorqu’un état i est quitté, le prochain état visité ne dépend ni du temps passé dans i, ni du
chemin par lequel on est arrivé dans i

Nous avons défini maintenant, la variable aléatoire qui représente le temps de séjour dans
l’état i avant une transition quelconque. Nous nous interessons maintenant au temps de séjour
dans l’état i avant une transition vers un état spécifique disons j
On pose la variable aléatoire qui indique le temps passé dans i avant une transition vers j

Cette variable aléatoire à une distribution exponentielle de taux qu’on appelle taux de
transition de i vers j

Ainsi le système passe en moyenne unités de temps dans i avant de transiter vers j
La variable aléatoire implique les résultats suivants :
- =∑
- ( )=
∑
 - = ⟺ =

1.3.4 Générateur infinitésimal

A une CMTD nous avons associé une matrice P, dite matrice des probabilités de transition, dont
l’élément est la probabilité de se rendre dans l’état j en quittant l’état i. De même, nous pouvons
associer à une CMTC une matrice Q dite générateur infinitésimal, dont l’élément est le taux de
transition de l’état i vers l’état j (i≠j). Les éléments diagonaux sont choisis par définition égaux
à l’opposé de la somme des autres éléments de la ligne

Ainsi les éléments de du générateur infinitésimal sont :

= ∀ ≠

=−

tel que

( )= + ( )= + ( ) ∀ ≠

( )=1− + ( )=1+ + ( )

( )= ( )= ( + = | = ) ∶ elle représente la probabilité de transiter de l'état i

vers l'état j dans un intervalle de temps très petit de longueur dt

On a donc :

La somme de chaque ligne est nulle

Le générateur infinitésimal est en quelque sorte l’équivalent de la matrice de transition d’une

CMTD.

Considérons par exemple, la matrice de transition P d’une CMTD et le générateur

infinitésimal Q d’une CMTC
 0.5 0.2 0.3 −2 1 1
= 0.1 0.8 0.1 = 1 −1 0
0.3 0.1 0.6 2 1 −3
Concernant la matrice P, si par exemple le système est dans l’état 1, il y’a 50% de chance
qu’il y reste à la prochaine étape, 20 % de chance de transiter vers 2 et 30 % de chance de
transiter vers l’état 3.

Maintenant, si on prend le générateur infinitésimal Q, par exemple si le processus est dans

l’état 1, il y’a approximativement 1-2dt de chance de rester dans l’état 1( ( )),
approximativement 1×dt de chance de transiter vers 2 et approximativement 1×dt de chance
de transiter vers 3,

Exemple

Soit Q le générateur infinitésimal d’une CMTC

−2 1 1
= 1 −1 0
2 1 −3
- Déterminer
- Déterminer le temps moyen passé dans l’état 1 , puis le temps moyen passé dans l’état
1 avant de transiter vers l’état 3
- Déterminer la probabilité de transition de l’état 3 à l’état 2

= =1

1 1 1
( )= = =
∑ + 2

1 1
( )= = =1
1

1
= = =
+ 3