Markovkedjor i kontinuerlig tid. Q-matrisen Vi ska betrakta en diskret stokastisk process

Armin Halilovic: EXTRA ÖVNINGAR Markovkedjor i kontinuerlig tid

Markovkedjor i kontinuerlig tid. Q-matrisen

Vi ska betrakta en diskret stokastisk process X(t) i kontinuerlig tid t[0,). Om en fysisk process kan befinna sig i olika tillstånd som vi betecknar med Ek då

k t

X( ) betyder att processen är i tillstånd Ek vid tidpunkten t . Mängden av alla möjliga tillstånd { Ek} kallas tillståndsrummet.

),...) ( ), ( ( )

(t p₁ t p₂ t p 

där p_i(t)P(X(t))i) är en sannolikhetsvektor.

Uttrycket

] ) (

| ) (

[X t t j X t i

P   

betecknar övergångssannolikheten ( transition probability) att systemet som är i tillståndet Ei vid tidpunkten t befinner sig i Ej vid nästa tidpunkt tt.

Definition.

Markovkedja ( i kontinuerlig tid) är en diskret stokastisk process med kontinuerlig tid som uppfyller Markov-villkoret:

För )t_k [0, och t₀ t₁ t₂ t_n, t_k [0,)

P[X(t_n1) j|X(t_n)i,...,X(t₁)i₁,X(t₀)i₀]P[X(t_n1) j|X(t_n)i]. Minneslösheten: Markovegenskapen ( Markov –villkoret) betyder att

övergångssannolikheten ]P[X(t_n1) j|X(t_n)i beror endast av ”nu-läge” dvs situationen vid tidpunkten t och inte av vägen till detta tillstånd. Vi säger att processen är minneslös. _n Definition. En Markovkedja är tidshomogen om övergångssannolikheten

] ) (

| ) (

[X t t j X t i

P    = p_ij( t ) beror ej av tiden t utan bara av t ( och tillstånd Ei, E_j) .

Vi betraktar ( i den här kursen) tidshomogena Markovkedjor.

Övergångsmatrisen P beror av t :















































) ( ) ( ) (

) ( ) ( ) (

) ( ) ( ) ( )

(

33 32

31

23 22

21

13 12

11

t p t p t p

t p t p t p

t p t p t p t P

samt

) ( ) ( )

(t t p t P t p    

( ekv1)

För att härleda en differentialekvation för p(t), subtraherar vi p(t) från båda leden i (ekv1) och

 



 









t t p t P t p t

t p t t

p( ) ( ) ( ) ( ) ( )



t I t t P t p

t p t t p





 







 ( )

) ) ( ( )

(  



( där I är en enhetsmatris) . Om t 0 får vi följande viktiga ekvation :

t I t t P

p t

p t 



 

 

) lim ( ) ( )

( 0



 ekv 2

























































1 ) ( )

( )

(

) ( 1

) ( )

(

) ( )

( 1

) ( 1 )

(

33 32

31

23 22

21

13 12

11

t p t p t

p

t p t

p t p

t p t

p t

p

t t

I t

P .

Vi betecknar

t I t Q P

t 



 





) lim (

0 ( om gränsvärdet existerar ) och får Q

t p t

p ( ) ( )

  (ekv 3)

Anmärkning: Summan av elementen för varje rad i Q-matrisens är lika med 0 eftersom 1

)

11(t 

p + p₁₂(t)+p₁₃( +....= t)

 + (1 p₁₁(t)+p₁₂(t)+p₁₃( +....) = –1+1= 0 t)

3. I vår kurs antar vi vidare att

) ( )

( t q t o t

p_ij   _ij    , för i , j där ( ) 0

 

 t t

o om t0

Då har Q -matrisen ,

t I t Q P

t 



 





) lim (

0 konstanta element



























33 32 31

23 22 21

13 12 11

q q q

q q q

q q q

Q , där

  0

k

q

ik för alla i.

ik



q

kallas övergångsintensitet från tillstånd E till _i E _k

Eftersom

  0

k

q

ik för alla i har vi









i k

ik

ii q

q vilket ger

 

 

 





 

 

 











 



















3 3 32

31

23 2

2 21

13 12

1 1

) (

) (

) (

k k k

k k

k

q q

q

q q

q

q q

q

Q

.

Matrisen Q kallas intensitetmatrisen.

Exempel 1. (Från diagrammet till matrisen)

En Markovkedja i kontinuerlig tid med tre tillstånd E1, E2 och E3 har övergångsintensiteter som visas i nedanstående diagram. Bestäm matrisen Q.

Lösning: Först bestämmer vi elementen utanför diagonalen genom att ange motsvarande intensiteter från diagrammet:

Ekvationen för den transienta sannolikhetsvektorp(t) : Q

t dt p

t p

d( ) ( )



Ekvationen för den stationära sannolikhetsvektorn p : 0

 Q p

Beteckningar:

Sannolikhetsvektor : ),...) 0 ( ), 0 ( ( ) 0

( p₁ p₂

p 

 är en startsannolikhetsvektor (initialvektor) ),...)

( ), ( ( )

(t p₁ t p₂ t

p 

 är en transient ( tidsberoende) sannolikhetsvektor (här i

X P t

p_i( ) ( _t) )



















* 100 20

50

* 12

0 10

*

Q .

Därefter bestämmer vi diagonalelementen så att summan av element i en rad blir 0, alltså

























120 100

20

50 62 12

0 10 10 Q

Exempel 2. En Markovkedja i kontinuerlig tid med två tillstånd E1, E2 och övergångsintensiteter  (från E1 till E2) och  (från E2 till E1)

μ λ

Ε1 Ε2

har övergångsmatrisen 



 







 







Q  .

===============================================================

Övningar

Uppgift 1.

Ett system har i genomsnitt 5 fel per år. Reparationstiden är exponentialfördelad och systemets reparationstid är i genomsnitt 1 månad. Vid t=0 är systemet i funktion.

Vi betecknar )

1(t

p = sannolikheten för att system fungerar vid tidpunkten t och )

2(t

p = sannolikheten för att system inte fungerar vid tidpunkten t.

a) Rita grafen med övergångsintensiteter (tidsenhet=1 år).

b) Bestäm Q-matrisen.

c) Bestäm den stationära sannolikhetsvektorn, dvs lös ekvationen p Q 0. d) Bestäm den transienta sannolikhetsvektorn, dvs lös systemet p(t) p(t)Q

  med

avseende på p(t)(p₁(t),p₂(t))

e) Bestäm sannolikheten att systemet är i funktion vid tidsmoment t= 1,5 år.

Tips.

Felintensitet 5 fel per år.

Betjäningsintensitet

år år månad

stid reparation

12 12

1 1 1

1

1   

 

dvs  12 reparationer per år.

Lösning:

a)

b) 



 







 

12 12

5 Q 5

c) Låt p (x,y)

vara den stationära sannolikhetsvektorn d v s den sannolikhetsvektor som satisfierar 0

 Q

p .

Då gäller

i) x y1

(detta gäller eftersom p (x,y)

är en sannolikhetsvektor) , och

ii) (0,0)

12 12

5 ) 5

,

(  



 





 y 

x

Vi får systemet:

x y1 (ekv 1) 0

12

5  

 x y (ekv 2) 5x y12 0 (ekv 3)

Ekvation tre är proportionell med ekv 2 och därför bestämmer vi x, y från de första två ekvationer och får :

17

12

x ,

17

 5

y .

Svar c) Den stationära vektorn är p (12/17,5/17) d)

Vi substituerar p(t)(p₁(t),p₂(t))

i ekvationen p(t) p(t)Qoch får





 







 



 12 12

5 )) 5

( ), ( ( )) ( ), (

(p₁ t p₂ t p₁ t p₂ t ) ( 12 ) ( 5 )

( _{1 2}

1 t p t p t

p   (ekv a) )

( 12 ) ( 5 )

( _{1 2}

2 t p t p t

p   (ekv b) samt

1 ) ( )

( ₂

1 t  p t 

p ( ekv c)

(ekv c gäller eftersom (p₁(t),p₂(t) är en sannolikhetsvektor.)

) ( 1 )

( ₁

2 t p t

p  

som vi substituerar i (ekv a) för att få en differentialekvation med 1 obekant funktion p₁(t):

)) ( 1 ( 12 ) ( 5 )

( _{1 1}

1 t p t p t

p   

Efter förenkling har vi följande ekvation med konstanta koefficienter:

12 ) ( 17 )

( ₁

1 t  p t 

p (*)

Motsvarande karakteristiska ekvation till homogena delen är 17

0

17  

 r

r

och därmed är

t

h Ce

Y  ^17 den allmänna lösningen till den homogena delen.

En partikulär lösning får vi med hjälp av ansatsen A

y_p  ( eftersom högerledet i (*) är 12, dvs en konstant) Substitutionen av y_p  i (*) gör A

17 / 12 12

17

0 A A Alltså 17y_p 12/ Därför

17 / 12 )

( ¹⁷

1 t Y_h y_p Ce^{ t}  p

Begynnelsevillkoret: Enligt antagande är systemet i funktion vid t=0. Därför .

1 ) 0

1(  p

Alltså Ce⁰ 12/171C5/17 och 17

12 17

) 5

( ¹⁷

1 t  e^{ t} p

För att få p₂(t) använder vi p₂(t)1 p₁(t) och får p₂ t e ^17t 17

5 17 ) 5

(   ^

Svar d) 



 



  



 p t p t e^{ t} e^{ t}

p _{1 2} ^{17 17}

17 5 17 , 5 17 12 17

)) 5 ( ), (

 (

Svar e) p₁(1.5)0.706

Uppgift 2. Ett system har i genomsnitt 4 fel per år. Tidsavståndet mellan fel är exponentialfördelad. När ett fel uppstår då börjar reparationen. Reparationstiden är exponentialfördelad och systemets reparationstid är i genomsnitt 1 månad.

Vid t=0 är systemet i funktion.

Bestäm sannolikheten att systemet är i funktion vid tidsmoment t= 2.1 år.

Tips.

Felintensitet 4 fel per år.

Betjäningsintensitet

år år månad

stid reparation

12 12

1 1 1

1

1   

 

 

Svar: p₁ t   e^{ t16}  4

1 4 ) 3

( p₁(2.1)0.75

Uppgift 3. Ett system har i genomsnitt 3 fel per år. Tidsavståndet mellan fel är

exponentialfördelad. Reparationstiden är exponentialfördelad och systemets reparationstid är i genomsnitt 1 månad.

Vi betecknar )

1(t

p = sannolikheten för att system fungerar vid tidpunkten t, och )

2(t

p = sannolikheten för att system inte fungerar vid tidpunkten t.

Vi antar att sannolikheten för att systemet är i funktion vid t=0 är p₁(0)0.5 och därför p₂(0)0.5.

a) Bestäm intensitetsmatrisen Q och motsvarande system med 2 diff.

ekvationer.

b) Lös systemet med avseende på p₁(t) och p₂(t) (du ska lämna in hela lösningen, inte bara svar)

c) Bestäm sannolikheten att systemet är i funktion vid tiden t = 10 månader.

Tips.

Felintensitet 3 fel per år.

Betjäningsintensitet

år år månad

stid reparation

12 12

1 1 1

1

1   

 

dvs  12 reparationer per år.

Svar: a)

3,  12



 







 



 







 

12 12

3 3





 Q 

) ( 12 ) ( 3 )

( _{1 2}

1 t p t p t

p  

p₂(t)3p₁(t)12p₂(t) p₁(0)0.5

b) p₁ t e ^15t 10

3 5 ) 4

(   ^ p₂ t e ^15t 10

3 5 ) 1

(   ^

c) p₀(10månader) p₀(10/12år)0.8

Uppgift 4. Ett system har i genomsnitt 4 fel per år. Tidsavståndet mellan fel är

exponentialfördelad. Reparationstiden är exponentialfördelad och systemets reparationstid är i genomsnitt 1 månad.

Vi betecknar )

(t

p = sannolikheten för att system fungerar vid tidpunkten t, och

Vi antar att sannolikheten för att systemet är i funktion vid t=0 är p₁(0)0.6 och därför p₂(0)0.4 .

a) Bestäm intensitetsmatrisen Q och motsvarande system med 2 diff.

ekvationer.

b) Lös systemet med avseende på p₁(t) och p₂(t) (du ska lämna in hela lösningen, inte bara svar)

c) Bestäm sannolikheten att systemet är i funktion vid tiden t = 8 månader.

Tips.

Felintensitet 4 fel per år.

Betjäningsintensitet

år år månad

stid reparation

12 12

1 1 1

1

1   

 

dvs  12 reparationer per år.

Svar:

a)  4,  12



 







 



 







 

12 12

4 4





 Q 

) ( 12 ) ( 4 )

( _{1 2}

1 t p t p t

p  

p₂(t)4p₁(t)12p₂(t) p₁(0)0.6

b) ^{p1(t)0.750.15}

e

^{16t p2(t)0.250.15}

e

^16t

c) p₀(8/12)0.75

Uppgift 5. Ett system har tre tillstånd E1, E2 och E3 med övergångsintensiteter enligt nedanstående diagram.

a)Bestäm Q- matrisen.

b) Beräkna den stationära sannolikhetsvektorn.

E2

E1 E3

5 3

2

a)

























2 0 2

3 3 0

0 5 5

Q

Lösning b) Låt )p (x,y,z

vara den sökta stationära sannolikhetsvektorn.

Vektorn p (x,y,z)

får vi genom att lösa ekvationen  pQ 0 dvs

) 0 , 0 , 0 ( 2 0 2

3 3 0

0 5 5 ) , ,

( 





















 z y

x .

Genom att utföra matrismultiplikation och därefter identifiera komponenter får vi följande 3 ekvationer:

0 2

5  

 x z (ekv1) 0

3

5x y (ekv2) 0

2

3y z (ekv3) (ekv3 är beroende av ekv1 och ekv2) Den fjärde är normeringsekvationen

1



y z

x (ekv4) Vi ignorerar ekv3 och löser systemet

0 2

5  

 x z (ekv1) 0

3

5x y (ekv2)

1



y z

x (ekv4)

Från ekv 1 får vi z5x/2 som vi substituerar i andra två ekv ( z finns den här gången endast i ekv4)

Vi har 0 3

5x y (ekv2) 2 1

5 

 x

y

x (ekv4)

Från ekv2 får vi y=5x/3 som vi substituerar i ekv 4 och får

2 1 5 3

5  

 x x

x . Vi multiplicerar ekvationen med 6 och får .

31 / 6 6

15 10

6x x x x Från y=5x/3 har vi y=10/31 Slutligen z5x/2 ger z= 15/31 Svar: b) (6/31, 10/31, 15/31)

Uppgift 6. Ett system har tre tillstånd E₁, E₂ och E3med övergångsintensiteter enligt nedanstående diagram.

a)Bestäm Q- matrisen.

b) Beräkna den stationära sannolikhetsvektorn.

Svar:

a)









 Q

b) (15/7

Uppgift nedanst a)Bestäm b) Beräk

Svar:

a)









 Q

b) (260/









0 3

5 0

8 8

79, 24/79, 40

t 7. Ett sys tående diagr m Q- matris kna den stat









0 20

13 10

3 3

/329, 60/329 E1

8









 3 5 0

0/79)

stem har tre ram.

sen.

tionära sann









 20 3 0

9, 9/329) E2

3

tillstånd E₁

nolikhetsvek 5

1, E₂ och E

ktorn.

E3

3 med övergångsintenssiteter enliggt