• No results found

Home Assignment 2

N/A
N/A
Protected

Academic year: 2021

Share "Home Assignment 2"

Copied!
2
0
0

Loading.... (view fulltext now)

Full text

(1)

Home Assignment 2

Markov Chains (273023), Return by 15 March. The purpose of the exercise is to analyze the behaviour of a complicated Markov chain.

To complete the assignment, please return a written report (max. 2 pages) by 15 March, as a pdf file by email to the lecturer.

The calculations can be done by computer or by hand. Only the main points should be included in the report, e.g. the fundamental matrix N can be given without showing how to invert I − Q.

NB: Only one pdf file for each group (1-2 persons). The pdf should be named: surname1surname2pi.pdf .

The task Let

P =

0.2 0 0 0 0 0 0 0 0 0.8

0 0 0 0 1 0 0 0 0 0

0 0 0.3 0 0 0 0 0 0.7 0

0 0 0 0 0 0.3 0 0.7 0 0

0 1 0 0 0 0 0 0 0 0

0 0 0 0.5 0 0 0 0.5 0 0

0 0 0 0 0 0 0.1 0 0 0.9

0 0 0 0.2 0 0.2 0 0.6 0 0

0 0 0.6 0 0 0 0 0 0.4 0

0 0.2 0 0 0 0 0.1 0.1 0 0.6

be the transition probability matrix of a Markov chain. Answer the following questions:

Q1: What is the period of the states 1, 2 and 3?

Q2: Does the chain has a stationary distribution? If it has, find one.

Q3: What is the expected number of times the chain visits each state if X0 = 10?

Q4: What is the expected time for the chain to hit an absorbing class if X0 = 1?

Q5: Determine limt→∞Pt(10, 8).

Q6: Determine limt→∞P2t+1(1, 2).

A suggestion for implementation Classify the states into transient and absorbing classes.

1

(2)

2

Reorganize the chain so that the transient states are first and each absorbing class has only one state to have a modified Markov chain ˜Xt

with state space ˜Ω and transition probability matrix P =˜  Q R

0 I



where I is the identity.

The periods of the states are defined as the greatest common divisor of T (x) = {t > 0 : Pt(x, x) > 0}.

If T (x) is empty, then the period is infinity.

The matrix I −Q is invertible with inverse N , the so called fundamental matrix. The expected number of times the chains visists each state and the absorption times can be calculated with the help of N . For more details, study the book of Grinstead and Snell (with link on the course home page), Chapter 11, pp. 417–420.

For Q5 (and similarly for Q6), find first the unique stationary distri- bution of the absorbing class where the state 8 belongs to (observe that the subchain, i.e. the original chain restricted to the absorbing class, is irreducible and aperiodic). Second, calculate the probability of absorption to the class with 8. And finally combine the probabilities.

References

Related documents

Stöden omfattar statliga lån och kreditgarantier; anstånd med skatter och avgifter; tillfälligt sänkta arbetsgivaravgifter under pandemins första fas; ökat statligt ansvar

46 Konkreta exempel skulle kunna vara främjandeinsatser för affärsänglar/affärsängelnätverk, skapa arenor där aktörer från utbuds- och efterfrågesidan kan mötas eller

The increasing availability of data and attention to services has increased the understanding of the contribution of services to innovation and productivity in

Generella styrmedel kan ha varit mindre verksamma än man har trott De generella styrmedlen, till skillnad från de specifika styrmedlen, har kommit att användas i större

Parallellmarknader innebär dock inte en drivkraft för en grön omställning Ökad andel direktförsäljning räddar många lokala producenter och kan tyckas utgöra en drivkraft

Närmare 90 procent av de statliga medlen (intäkter och utgifter) för näringslivets klimatomställning går till generella styrmedel, det vill säga styrmedel som påverkar

I dag uppgår denna del av befolkningen till knappt 4 200 personer och år 2030 beräknas det finnas drygt 4 800 personer i Gällivare kommun som är 65 år eller äldre i

På många små orter i gles- och landsbygder, där varken några nya apotek eller försälj- ningsställen för receptfria läkemedel har tillkommit, är nätet av