TENTAMEN I SF1904 MARKOVPROCESSER ONSDAGEN DEN 1 JUNI 2016 KL 08.00–13.00.
ENGLISH VERSION FOLLOWS AFTER THE SWEDISH TEXT Examinator : Jimmy Olsson tel. 790 72 01
Kursansvarig: Johan Westerborn tel. 790 71 36
Till˚atna hj¨alpmedel : Formel- och tabellsamling i Matematisk statistik, Mathematics Handbook (Beta), r¨aknare.
Inf¨orda beteckningar skall f¨orklaras och definieras. Resonemang och utr¨akningar skall vara s˚a utf¨orliga och v¨al motiverade att de ¨ar l¨atta att f¨olja. Numeriska svar skall anges med minst tv˚a siffrors noggrannhet. Tentamen best˚ar av 5 uppgifter. Varje korrekt l¨osning ger 10 po¨ang. Gr¨ansen f¨or godk¨ant ¨ar prelimin¨art 20 po¨ang. M¨ojlighet att komplettera ges f¨or tentander med 18–19 po¨ang.
Tid och plats f¨or komplettering kommer att anges p˚a kursens hemsida. Det ankommer p˚a dig sj¨alv att ta reda p˚a om du har r¨att att komplettera.
Tentamen kommer att vara r¨attad inom tre arbetsveckor fr˚an skrivningstillf¨allet och kommer att finnas tillg¨anglig p˚a studentexpeditionen minst sju veckor efter skrivningstillf¨allet.
Uppgift 1
Vi har en tidshomogen Markovkedja {Xn, n ≥ 0} med tillst˚andsrum E = {1, 2, 3, 4, 5} och
¨
overg˚angsmatris,
P =
0.4 0.3 0.2 0
0 0 0 0
0 0 0.3 0 0.7
0 1 0 0 0
0 0 0.5 0 0.5
f¨or denna uppgift r¨acker det med att skriva ner svaret.
a) Fyll i de tomma rutorna i matrisen. (1 p)
b) Vad betyder elementet p˚a platsen rad 1 kolumn 3 i matrisen P319? (2 p) c) Ber¨akna P(X1 = 3, X2 = 5, X3 = 5 | X0 = 1). (1 p) d) Dela in tillst˚anden i slutna irreducibla delm¨angder och genomg˚angstillst˚and. (2 p)
e) Ber¨akna varje tillst˚ands period. (2 p)
f) Existerar en unik station¨ar f¨ordelning? Om ja, skriv ner den, om nej, skriv ner en station¨ar f¨ordelning. B˚ade svar och f¨ordelning beh¨ovs som svar. (2 p)
En doktorand pendlar varje dag mellan de tre tillst˚anden E = {motiverad, pigg, tr¨ott} varje dag enligt en Markovkedja med ¨overg˚angsmatris
P =
0.4 0.4 0.2 0.1 0.8 0.1 0 0.4 0.6
.
a) En dag ¨ar doktoranden motiverad, hur m˚anga dagar f¨orv¨antas det ta innan doktoranden ¨ar
tr¨ott. (5 p)
b) Doktoranden definerar sin produktivitet enligt funktionen
f (k) =
4 om k = motiverad, 3 om k = pigg, 1 om k = tr¨ott.
En m˚andag ¨ar doktoranden pigg, ber¨akna summan doktorandens f¨ov¨antade produktivitet
under m˚andagen, tisdagen och onsdagen. (5 p)
Uppgift 3
En Markovprocess {X(t), t ≥ 0} med tillst˚andsrum E = {1, 2, 3} har f¨oljande intensitetsmatris
Q =
−5 3 2
1 −7 6
0 3 −3
.
a) Existerar en asymptotisk f¨ordelning? Om ja skriv ner den, om nej skriv ner en station¨ar
f¨ordelning. Gl¨om inte att motivera ditt svar! (3 p)
b) Hur m˚anga hopp f¨orv¨antas kedjan g¨ora mellan tv˚a bes¨ok i tillst˚and 3? (7 p)
Uppgift 4
I ett f¨oretag anv¨ands en dataterminal. Kunder anl¨ander enligt en Poisson-process med intensitet 1 kund/timme. ¨Arendena f¨or kunderna tar exponentialf¨ordelade tider med v¨antev¨arde 30 minuter.
Kunder som ej direkt f˚ar tillg˚ang till terminalen st¨aller sig i k¨o. Terminalen anv¨ands ju i genomsnitt bara h¨alften av tiden vilket f¨or f¨oretagsledningen verkar tillfredsst¨allande. Kunderna klagar dock
¨over att de f˚ar v¨anta orimligt l¨ange.
a) Ber¨akna f¨orv¨antad k¨otid. (4 p)
b) Man beslutar s¨atta dit ytterligare en terminal och ha en gemensam k¨o till de tv˚a termina-
lerna. Hur stor blir nu f¨orv¨antad k¨otid? (6 p)
Uppgift 5
En maskin best˚ar av tre komponenter, A, B, och C. D¨ar A och B ¨ar parallellkopplade och C ¨ar seriekopplad med A och B, se schemat i bilden nedanf¨or. Komponenterna g˚ar s¨onder oberoende av varandra (och oberoende av om maskinen fungerar eller ej) med intensiteterna λA, λB och λC. D¨ar λA = λB = 4 och λC = 2. N¨ar en komponent g˚ar s¨onder repareras den med intensitet µ = 5 oberoende av vilken komponent det ¨ar. Man har tillg˚ang till 3 reperat¨orer s˚a alla tre kan repareras samtidigt.
A
B
C
St¨all upp systemet och ber¨akna sannolikheten att systemet fungerar efter l˚ang tid. Ber¨akna ocks˚a sannolikheten att komponent C ¨ar trasig efter l˚ang tid. (10 p)
Avd. Matematisk statistik
EXAM IN SF1904 MARKOVPROCESSER WEDNESDAY 1st JUNE 2016 KL 08.00–13.00.
Examinator : Jimmy Olsson tel. 790 72 01 Kursansvarig: Johan Westerborn tel. 790 71 36
Means of assistance permitted : Formel- och tabellsamling i Matematisk statistik, Mathematics Handbook (Beta), calculator.
You should define and explain your notation. Your computations and your line of reasoning should be written down so that they are easy to follow. Numerical values should be given with the precision of two decimal points. You may apply results stated in a part of an exam question to another part of the exam question even if you have not solved the first part. The number of exam questions (Uppgift) is five (5). Every correct solution gives 10 points, to pass the exam, grade E, 20 points are needed. The grade Fx (the exam can completed by extra examination) for those with 18–19 points.
Uppgift 1
We have a time homogeneous Markov chain {Xn, n ≥ 0} with state space E = {1, 2, 3, 4, 5} and transition matrix,
P =
0.4 0.3 0.2 0
0 0 0 0
0 0 0.3 0 0.7
0 1 0 0 0
0 0 0.5 0 0.5
,
for this exercise we only require the answer.
a) Fill in the blank spaces in the matrix. (1 p)
b) What does the element in row 1 column 3 in the matrix P319 represent? (2 p)
c) Calculate P(X1 = 3, X2 = 5, X3 = 5 | X0 = 1) (1 p)
d) Split the states into communicating classes. (2 p)
e) Calculate the periodicity of each state. (2 p)
f) Does a unique invariant distribution exist? If yes write it down, if no write down one invariant distribution. Both answer and distribution are needed for this part. (2 p)
Uppgift 2
A PhD student can shift between three states E = {motivatied, happy, tired} each day according to a Markov chain with transition matrix
P =
0.4 0.4 0.2 0.1 0.8 0.1 0 0.4 0.6
a) One day the PhD student is motivated, how many days does it take on average before the
PhD student is tired. (5 p)
b) The PhD student defines his productivity according to the function
f (k) =
4 if k = motivated, 3 if k = happy, 1 if k = tired.
One Monday the PhD student is happy, calculate the expect sum of the PhD student’s productivity during the Monday, Tuesday and Wednesday of that week. (5 p)
Uppgift 3
A Markov process (continuous-time Markov chain) {X(t), t ≥ 0} with state space E = {1, 2, 3}
has the following intensity matrix
Q =
−5 3 2
1 −7 6
0 3 −3
.
a) Does a unique limiting distribution exist? If yes write it down, if no write down one invariant distribution. Don’t forget to motivate your answer! (3 p) b) How many jumps do we expect the chain to make between two visits in state 3? (7 p)
Uppgift 4
In a company a computer terminal is used. Customers arrive to the terminal according to a Poisson-process with intensity 1 customer/hour. The service-times are exponentially distributed with expected value 30 minutes. Customers that cannot get access to the terminal at once form a line. The terminal is only used roughly half the time which seems reasonable for the management.
The customers do complain about having to wait unreasonably long times.
a) Calculate the expected waiting time. (4 p)
b) The company installs another terminal and uses a common line for both terminals. How
long is the expected waiting time now? (6 p)
A machine has three components, A, B, and C. Where A and B are parallel and C is in series with both A and B, see the scheme below. The components all fail independently of each other (and independently of whether the machine is working or not) with intensities λA, λB and λC, where λA= λB = 4 and λC = 2. When a component is broken it is repaired with intensity µ = 5 for all components. 3 repairmen are available to work on the machine, only one person can work on each component but they can all work simultaneously on different components.
A
B
C
Write down the system and calculate the probability that after long time the system is working.
Also calculate the probability that component C is broken after long time. (10 p)
L ¨OSNINGAR TILL
TENTAMEN I SF1904 MARKOVPROCESSER FREDAGEN DEN 21 AUGUSTI 2015 KL 08.00–13.00
Uppgift 1
a) Radsumman i matrisen ska vara 1 och de saknade elementen ¨ar d˚a 0.1 i rad 1 och 1 i rad 2.
b) Det ¨ar sannolikheten att g˚a fr˚an tillst˚and 1 till tillst˚and 3 i 319 steg.
c) Sannolikheten blir p13p35p55= 0.2 · 0.7 · 0.5 = 0.07.
d) Genomg˚angstillst˚and: {1}, slutna irreducibla delm¨angder {2, 4} och {3, 5}.
e) Tillst˚and 1,3,5 har period 1 och tillst˚and 2,4 har period 2.
f) Ingen unik station¨ar f¨ordelning existerar. En station¨ar f¨ordelning ¨ar (0, .5, 0, .5, 0).
Uppgift 2 a)
G¨or tillst˚and tr¨ott absorberande. Och ber¨akna f¨or¨antad tid till absorption givet start i motiverad.
Svaret blir 7.5 dagar.
b)
Vi vill ber¨akna E[f (X0) + f (X1) + f (X2) | X0 = pigg] vilket blir E[f (X0) + f (X1) + f (X2) | X0 = pigg]
=3 + 0.1 · 4 + 0.8 · 3 + 0.1 · 1 + 0.12 · 4 + 0.72 · 3 + 0.16 · 1
=8.7.
Uppgift 3 a)
Kedjan ¨ar ¨andlig och irreducibel d¨arf¨or existerar en unik station¨ar f¨ordelning. Vi hittar den genom att l¨osa πQ = 0 samt P3
i=1πi = 1. Det ger π = (3/50, 3/10, 32/50).
b)
Eftersom vi ¨ar intresserade av hopp m˚aste vi nu studeraden inb¨addade Markovkedjan. ¨Overg˚angsmatrisen ges av
P =˜
0 3/5 2/5 1/7 0 6/7
0 1 0
,
Den unika station¨ara f¨ordelningen f¨or hoppasmatrisen ges av ˜π = (5/72, 35/72, 32/72) och antal hopp ges av 1/ ˜π3 = 72/32.
a)
Vi har ett M/M/1 system, f¨orv¨antad k¨o-l¨angd ges av formelsamlingen och ¨ar `q = 1−ρρ2 = 12 vilket ger f¨orv¨antad k¨o-tid wq = 12 timme.
b)
Nu har vi ett M/M/2-system, f¨orv¨antad k¨o-l¨angd ges av `q = 1−ρ2ρ32 = 301 vilket ger f¨orv¨antad k¨o-tid wq = 301 timme.
Uppgift 5 Vi inf¨or tillst˚anden E = {0, 1, 2, 3, 4, 5} d¨ar
0: Alla fungerar 1: En av A o B trasig 2: B˚ade A o B trasiga 3: C trasig
4: En av A o B trasig samt C trasig 5: Alla trasiga
Detta ger intensitetsmatrisen
Q =
−10 8 0 2 0 0
5 −11 4 0 2 0
0 10 −12 0 0 2
5 0 0 −13 8 0
0 5 0 5 −14 4
0 0 5 0 10 −15
(1)
Eftersom vi har en ¨andlig och irreducibel Markovprocess ¨ar den ergodisk och vi har en unik asymptotisk f¨ordelning. Den ges av π ≈ (0.22, 0.35, 0.14, 0.09, 0.14, 0.06). Systemet fungerar i tillst˚and 0 och 1 s˚a sannolikheten att systemet fungerar ¨ar π0+ π1 = 0.57. Komponent C ¨ar trasig i tillst˚and 3,4 och 5 vilket ger sannolikheten att C ¨ar trasig π3+ π4+ π5 = 0.29.
