m Lšsning till system av ODEÕs m EgenvŠrdena Šr den viktigaste egenskapen i

(1)

K4 - SVD & egenvŠrden

EgenvŠrden och SVD

Har detta nŒgot egenvŠrde?

2

K4 - SVD & egenvŠrden

EgenvŠrdesproblemet

m Lšsning till system av ODEÕs

m EgenvŠrdena Šr den viktigaste egenskapen i

praktiskt taget alla dynamiska system, ofta med pŒtaglig fysisk betydelse : populationstillvŠxt, frekvenser hos vibrerande fšremŒlÉ

Det algebraiska egenvŠrdesproblemet : A n×n sšk λ och x sŒdana att

Ax = λx

K4 - SVD & egenvŠrden 3

EgenvŠrdena

Geometrisk tolkning : en egenvektor ger en rikning i vilken matrisen bara pŒverkar lŠngden, inte riktningen

Exempel 4.1 s.114

m triangulŠra (diagonala) matriser har egenvŠrdena

pŒ huvuddiagonalen 1 o 2

m symmetriska matriser har reella egenvŠrden 3 o 4

m reell, icke symmetrisk matris kan ha komplexa

egenvŠrden 5

Ett ickesymmetriskt exempel

a≠b ⇒ A ej symmetrisk a,b reella

Ax = λx ⇔ ( A - λI ) x = 0

Om matrisen ickesingulŠr finns bara x=0, alltsŒ mŒste A - λI vara singulŠr.

Karakteristiska polynomet ges av det(A - λI)x=0

λ² - ab = 0

λ = ± √ab 0 a

b 0 A =

Éexemplet

λ= ± √ab a=1, b=4 ger λ= ± 2

Om nŒgon av a,b Šr negativ λ= ± 2i

En reell matris kan alltsŒ mycket vŠl ha komplexa egenvŠrden, dessa upptrŠder alltid i konjugerade par

om α + βi Šr egenvŠrde sŒ Šr Šven α - βi egenvŠrde

(2)

7K4 - SVD & egenvŠrden

Unika?

EgenvŠrden behšver ej vara distinkta = multipelt egenvŠrde flera egenvektorer kan ha samma egenvŠrde Egenvektorerna inte unika eftersom Ax = λx ⇔ A(αx) = λ(αx) dvs αx ocksŒ egenvektor till λ. Det intressanta med egenvektorerna Šr riktningen, mycket vanligt att de normeras 8K4 - SVD & egenvŠrden

Karakteristiska polynomet

det(A - λI)x=0 Šr ett polynom av grad n En n×n matris A har alltid n egenvŠrden

Algebrans fundamentalsats varje polynom i C av grad n≥1 har exakt n nollstŠllen om varje nollstŠlle rŠknas med sin multiplicitet 9K4 - SVD & egenvŠrden

Multipelt egenvŠrde

mKan ha lika mŒnga egenvektorer som multipliciteten mmultipliciteten 1 = enkelt egenvŠrde mett egenvŠrde med fŠrre egenvektorer Šn multipliciteten = defekt egenvŠrde mmatris med fŠrre Šn n linj. ober. egenvektorer kallas defekt. 10K4 - SVD & egenvŠrden

LinjŠrt oberoende egenvektorer

Sats : LŒt x1, x2, É xk vara egenvektorer till A svarande mot de distinkta egenvŠrdena λ1, λ2 É λk DŒ gŠller att x1, x2, É xk Šr linjŠrt oberoende. Bevis : Induktionsbevis šver k. k=1 : trivialt ty x1≠0 k-1 : antag att satsen Šr sann fšr k-1 egenvektorer, dvs x1, x2, É xk-1 Šr linjŠrt ober. k : LŒt X = (x1, x2, É xk-1 ) och antag att xk linj. ber. av dessa, dvs xk =Xc fšr nŒgot c≠0. λkxk = Axk = AXc = XΛc ⇔ 0 = λkxk -XΛc =λkXc -XΛc = X (λkI - Λ) c sŠtt d = (λkI - Λ) c. Vi vet att λk ≠ λ1 É λk-1 ⇒ λkI - Λ ickesingulŠr och d≠0. SŒ Xd = 0 ⇔ x1, x2, É xk-1 linjŠrt beroende MOTS€GELSE 11K4 - SVD & egenvŠrden

Hur lšser man Ax = λ x?

mBehšvs alla egenvŠrden eller bara nŒgra fŒ? mBehšvs bara egenvŠrdena eller motsv. egenvektorer oxŒ? m€r matrisen reell eller komplex? m€r matrisen symmetrisk? m€r matrisen liten & tŠt, eller stor & gles? 12K4 - SVD & egenvŠrden

Nya begrepp fšr komplexa matriser

mA hermitsk A = AH (konjugerade transponatet) mA unitŠr AH A = AAH = I mA normal AH A = AAH

(3)

Transformationer

Vi behšver transformationer lsom reducerar matrisen till en form vars egenvŠrden och egenvektorer lŠtt tas fram lvars relation till den ursprungliga matrisen Šr kŠnd 14K4 - SVD & egenvŠrden

Transformationsmatris

Sats : LŒt A,P ∈Cn×n P ickesingulŠr DŒ Šr λ ett egenvŠrde till A med egenvektor x λ ett egenvŠrde till P-1AP med egenvektor P-1x Bevis : P ickesingulŠr ⇔ P-1x ≠ 0 λx = Ax = APP-1x ⇔ λP-1x = P-1APP-1x ⇔ λ(P-1x) = P-1AP(P-1x) dvs. λ egenvŠrde och (P-1x) egenvektor till P-1AP

⇔ 15K4 - SVD & egenvŠrden

Similaritetstranformationer

P-1AP bevarar egenvŠrdena och gšr motsvarande egenvektorer lŠtt Œtkomliga 16K4 - SVD & egenvŠrden

Specialfall : A diagonal

EgenvŠrdena = diagonalelementen Egenvektorerna Šr motsvarande egenvektorer i enhetsmatrisen Det bŠsta vore att diagonalisera med similaritetstransformationer, detta Šr dock inte mšjligt fšr alla matriser Fšr alla matriser gŠller att man med similaritetstransf. kan Œstadkomma blocktriangulŠr form Schur form Jordan form : diagonal + nŒgra el. pŒ superdiagonalen 17K4 - SVD & egenvŠrden

Metoder fšr vissa egenvŠrden

mI praktiken behšvs ofta bara en eller ett par egenvŠrden & ev. nŒgra egenvektorer Den enklaste metoden fšr att berŠkna ett egenvŠrde och en egenvektor kallas Potensmetoden Kan kompletteras med Rayleigh-kvot fšr att berŠkna egenvŠrdet till en given egenvektor 18K4 - SVD & egenvŠrden

Rayleigh kvot

approx egenvektor x till A, dŒ kan λbestŠmmas ur ekvationssys. xλ ≈ Ax λ obekant, šverbest n×1 Bilda normalekvationerna xTxλ = xTAx som har minsta kvadratlšsningen och kallas Rayleigh-kvot Potensmetoden kan snabbas upp betydligt med R-k Speciellt effektivt fšr symmetriska matriser

xTxxTAx λ =

(4)

SingulŠra vŠrdesuppdelningen

Σ = diag( σ1 , σ2 , É σr ) alla > 0 kallas AÕs singulŠra vŠrden (= roten ur egenvŠrdena till ATA U och V ortogonala, vilket medfšr

Σ 0 0 0A = U VT Σ 0 0 0|| A ||2 = || ||2 = σ1 20K4 - SVD & egenvŠrden

TillŠmpning av SVD

k || A ||2 = σmax k || A ||2 || A-1||2 = σmax/ σmin kAÕs rang = antalet sing.vŠrden ≠ 0 kLšsa linj.ekv.system eller minsta kvadrat problem Minsta norm lšsningen till Ax ≈ b ges av σiuiTb x = vi σi ≠ 0

Σ

Bevisas?Bevisas? 21K4 - SVD & egenvŠrden

ÉtillŠmpning av SVD

kPseudo-invers A+ = VS+UT Ax ≈b min. tvŒnorm-lšsning x = A+b kOrtonormala baser fšr rummen U1=R(A) V2=N(A) U2=N(AT) V1=R(AT) V1 och V2 Šr ortogonala komplement U1 och U2 Šr ortogonala komplement

Σ-1 0 0 0A+ = V UT 22K4 - SVD & egenvŠrden

SVD ger minsta norm lšsning

Sats : LŒt A (n*n) ha SVD Šr den vektor som minimerar || b - Ax ||22 och om xÕ ≠ x ocksŒ minimerar sŒ Šr || x ||2 < || xÕ ||2 Bevis : LŒt z = VTx och c = UTb

Σ-1 0 0 0x = V UTbΣ 0 0 0A = U VTdŒ gŠller att c1 c2

z1 z2z =c =dŠr z1 och c1 ∈ ℜr 23K4 - SVD & egenvŠrden

bevisetÉ

|| b - Ax ||22 = ||UT ( b - Ax ) ||22 = ||UTb -UTAV VTx ||22 = Σ 0 0 0

c1 c2

z1 z2-= || ||22 =c1 c2Σz1 0-|| ||22 = c1 -Σz1 c2|| ||22 vilken minimeras fšr c1 -Σz1 = 0, dvs z1 = Σ−1c1 z2 Šr godtycklig hŠr, men É 24K4 - SVD & egenvŠrden

Ébeviset

c1 -Σz1 c2|| ||22 minimerar bŒda

Σ−1c1 0z =Σ−1c1 z2zÕ =och || z ||22 = ||Σ−1c1||22 < ||Σ−1c1||22 + ||z2||22 = || zÕ ||22 SŒ x = Vz minimerar || b - Ax ||22 och om xÕ Šr en annan minimerare sŒ Šr ||x ||2 < ||xÕ ||2 V.S.V.

(5)

HŠrledning av SVD

mATA symmetrisk och dŠrmed pos. semidefinit xTATAx≥ 0 ty yTy ≥ 0 mDŒ Šr alla egenvŠrden ≥ 0 Kalla egenvŠrdena σ12, σ22 É σn2 dŠr σ1 ≥ σ2 ≥ É σr > 0 σr+1 = É σn = 0 och motsvarande egenvektorer v1, v2, É vr LŒt V1 = ( v1, v2, É vr ) dŒ gŠller alltsŒ ATAV1 = V1Σ2 Σ = diag( σ1 , σ2 , É σr ) 26K4 - SVD & egenvŠrden

SVD

V2 = ( vr+1 É vn ) svarande mot nollegenvŠrdena σr+12,É σn2 = 0 V = ( V1 V2 ) kan konstrueras ortogonal LŒt U1=AV1Σ−1 U1ΤU1=I VŠlj U2 sŒ att U = ( U1 U2 ) Šr ortonormal med formelmanipulation fŒr man Σ 0 0 0UΤAV =