Generaliserad Tikhonovregularisering

E^1/3δ^2/3. 2.3 Generaliserad Tikhonovregularisering

En m¨ojlig generalisering av Tikhonovfunktionalen J_α ¨ar funktionalen

Gα(x) = Gα(x; y) := ¹

2^{(kKx − yk}

2+ αhLx, xi), (24)

d¨ar x ∈ X, y ∈ Y ¨ar fixt och L ¨ar en linj¨ar operator p˚a X. Vi f¨oruts¨atter h¨ar att L ¨ar symmetrisk och str¨angt positiv. L˚at oss definiera det sistn¨amnda begreppet tillsammans med n˚agra ytterligare:

Definition 2.3.1. L˚at A vara en linj¨ar operator p˚a X. S¨att

λ_min(A) := inf

kxk=1hAx, xi

Vi s¨ager att A ¨ar positivt semidefinit om λ_min(A) ≥ 0 och str¨angt positiv om str¨ang olikhet r˚ader.

Vi s¨ager ocks˚a att en linj¨ar operator A ¨ar positivt definit om

hAx, xi > 0,

f¨or alla x 6= 0, x ∈ X. I det ¨andligt-dimensionella fallet ¨ar detta dock ekvivalent med att A ¨ar str¨angt positiv. Vidare ¨ar f¨orst˚as

inf

kxk=1hAx, xi = min

kxk=1hAx, xi.

Sats 2.3.1. L˚at B vara en linj¨ar operator p˚a X. Uttrycket

kKx − yk²+ αkBxk² (25)

kan d˚a skrivas om p˚a formen (24), f¨or n˚agon positivt semidefinit symmetrisk operator L. Omv¨ant, givet den positivt semidefinita symmetriska operatorn L existerar det en linj¨ar operator B p˚a X s˚adan att (24) kan skrivas om p˚a formen (25).

Anm¨arkning. Villkoret att B ¨ar en linj¨ar operator kan f¨orsvagas lite. Det g˚ar ocks˚a bra med en linj¨ar avbildning B : X −→ Z, d¨ar Z ¨ar ett euklidiskt rum, f¨or vilken vi liksom i beviset s¨atter L = B^∗B.

Bevis. F¨or den f¨orsta implikationen s¨att L = B^∗B. Vi har d˚a att

kBxk² = hBx, Bxi = hB^∗Bx, xi = hLx, xi.

F¨or den andra implikationen, l˚at λ1, . . . , λn vara (den ordnade) f¨oljden av egenv¨arden till L r¨aknade med multiplicitet. Eftersom L ¨ar symmetrisk ¨

ar matrisen [L] diagonaliserbar (i godtycklig ON-bas f¨or X) , med

[L] = T^tDT

f¨or n˚agon n × n-matris T , d¨ar D = diag(λ1, . . . , λn). Eftersom L ¨ar positivt semidefinit ¨ar alla egenv¨aren till L icke-negativa. Allts˚a kan vi bilda en linj¨ar operator B med

[B] =^√DT (i den givna ON-basen f¨or X). Vi f˚ar att

[B^∗B] = [B]^t[B] = T^t( √

D)²T = [L].

Allts˚a ¨ar L = B^∗B.

Nu l˚ater vi f¨or ett godtyckligt y ∈ Y

Rα(y) := argmin_x∈XGα(x)

(d¨ar argmin definieras s˚asom i f¨oreg˚aende avsnitt). V˚ar m˚als¨attning ¨ar att visa att denna definition ger en v¨aldefinierad avbildning fr˚an Y till X och att familjen {Rα}_α>0 utg¨or en linj¨ar regulariseringsstrategi f¨or K. F¨or detta utnyttjar vi en del element¨ar konvexitetsteori.

Definition 2.3.2. L˚at f : X −→ R. Vi s¨ager att f ¨ar konvex om f (θx1+ (1 − θ)x2) ≤ θf (x1) + (1 − θ)f (x2),

f¨or alla x₁, x₂ ∈ X och θ ∈ [0, 1]. Funktionen f s¨ages vara str¨angt konvex om olikheten ¨ar str¨ang n¨arhelst x1 6= x₂ och θ ∈ (0, 1).

Sats 2.3.2. Om f : X −→ R ¨ar konvex, s˚a ¨ar varje lokal minimipunkt till f global. Om f ¨ar str¨angt konvex och har ett minimiv¨arde, s˚a ¨ar minimi-punkten entydigt best¨amd.

Bevis. L˚at x0 vara en lokal minimipunkt till f . Vi har d˚a att f (z) ≥ f (x0) f¨or alla z ∈ U , d¨ar U ¨ar n˚agon omgivning till x₀. F¨or ett godtyckligt x ∈ X g¨aller att punkten z = θx0 + (1 − θ)x ligger i U , f¨or n˚agot 0 < θ < 1 tillr¨ackligt n¨ara 1. Allts˚a ¨ar

θf (x0) + (1 − θ)f (x) ≥ f (θx0+ (1 − θ)x) = f (z) ≥ f (x0),

Antag nu att f ¨ar str¨angt konvex och att x₀och x₁¨ar minimipunkter. Vi ska visa att x0 = x1. Antag det motsatta, att x0 och x1 ¨ar distinkta punkter i X. L˚at 0 < θ < 1. D˚a ¨ar

f (θx0+ (1 − θ)x1) < θf (x0) + (1 − θ)f (x1) = f (x0),

en mots¨agelse.

Den naturliga normen || · || p˚a ett linj¨art rum med skal¨arprodukt ¨ar konvex och dess kvadrat, allts˚a funktionen || · ||², ¨ar str¨angt konvex. Det-ta ¨ar enkla konsekvenser av definitionen av normen och r¨aknelagarna f¨or skal¨arprodukten. L˚at K : X −→ Y vara en injektiv linj¨ar avbildning och l˚at y ∈ Y vara fixt. D˚a ¨ar funktionen kKx − yk² str¨angt konvex. L˚at n¨amligen x1 och x2 vara distinkta pukter i X och l˚at 0 < θ < 1. Vi har att

kK(θx₁+ (1 − θ)x2) − yk² = kθ(Kx1− y) + (1 − θ)(Kx₂− y)k² < θkKx₁− yk²+ (1 − θ)kKx₂− yk²,

eftersom Kx1− y 6= Kx₂− y.

Sats 2.3.3. L˚at Gα vara skriven p˚a formen (25). D˚a ¨ar Gα str¨angt konvex om N (K) ∩ N (B) = {0}.

Bevis. Vi p˚aminner oss om att funktionen || · ||² ¨ar str¨angt konvex. L˚at nu x₁ 6= x₂ vara punkter i X och l˚at 0 < θ < 1. Vi f˚ar d˚a att

Gα(θx1+ (1 − θ)x2) = ||K(θx1+ (1 − θ)x2) − y||²+ α||B(θx1+ (1 − θ)x2)||² = ||θ(Kx₁− y) + (1 − θ)(Kx₂− y)||2 + αkθBx1+ (1 − θ)Bx2k² ≤ (θkKx₁− yk²+ (1 − θ)kKx₂− yk²) + α(θkBx₁k²+ (1 − θ)kBx₂k²) = θGα(x1) + (1 − θ)Gα(x2),

med str¨ang olikhet om Kx1 − y 6= Kx₂ − y eller Bx₁ 6= Bx₂. Detta ¨ar ekvivalent med att K(x1 − x₂) 6= 0 eller B(x1 − x₂) 6= 0, vilket ¨ar fallet eftersom x₁ och x₂ ¨ar distinkta och vi antar att N (K) ∩ N (B) = {0}.

Om K ¨ar injektiv ¨ar f¨orst˚as villkoret i satsen uppfyllt. Vi ¨ar nu redo att visa att

Sats 2.3.4. R_α ¨ar en v¨aldefinierad avbildning fr˚an Y till X.

Bevis. Vi beh¨over ett litet hj¨alpresultat f¨or detta bevis: det existerar c0> 0 s˚adant att

f¨or alla x ∈ X. Enligt antagande ¨ar L str¨angt positiv. S¨att c₀ = λ_min(L) och l˚at x ∈ X vara godtyckligt. Vi kan skriva x p˚a formen x = ax0, f¨or n˚agot a ∈ R och x0 ∈ X med kx₀k = 1. Vi har d˚a att

hLx, xi = hL(ax₀), ax0i = a²hLx₀, x0i

≥ a2c₀= a²c₀kx₀k2 = c₀kax₀k2 = c₀kxk2. Allts˚a g¨aller (26).

Av sats 2.3.3 f¨oljer att G_α ¨ar en str¨angt konvex funktional fr˚an X till R f¨or varje fixt y ∈ Y . Av sats 2.3.2f¨oljer att en eventuell minimipunkt ¨ar entydigt best¨amd. Nu g¨aller det allts˚a bara att visa att minimum faktiskt existerar, f¨or att vi ska kunna dra slutsatsen att R_α ¨ar v¨aldefinierad. (Ob-servera att str¨ang konvexitet inte implicerar att ett minimum existerar.) Av olikheten (26) f¨oljer att G_α(x) → +∞ d˚a kxk → ∞. Allts˚a kan vi v¨alja ett slutet klot B kring 0 s˚adant att G_α(x) ≥ C f¨or alla x utanf¨or B, d¨ar C ∈ R. Om ett minimum existerar ligger det allts˚a i B. Existensen av ett minimum f¨oljer h¨ar av att B ¨ar en kompakt m¨angd i X och att G_α¨ar kontinuerlig.

Sats 2.3.5. Avbildningarna Rα konvergerar punktvis mot identitetsopera-torn p˚a X, d v s,

R_αKx → x, d˚a α → 0, f¨or alla x ∈ X.

Bevis. L˚at x₀∈ X vara godtyckligt men fixt. Vi har att G_α(x; Kx₀) = kKx − Kx₀k²+ αhLx, xi

Den andra termen g˚ar mot noll, d˚a α g˚ar mot noll, och den f¨orsta termen ¨

ar oberoende av α. Eftersom kKx₀− Kx₀k2= 0 g¨aller allts˚a att lim

α→0R_αKx = lim

α→0argmin_x∈XG_α(x; Kx₀) = x₀.

Det ˚aterst˚ar f¨or oss att visa att R_α ¨ar kontinuerlig. Vi p˚aminner oss till att b¨orja med om sambandet mellan riktningsderivata och gradient (f¨or bevis h¨anvisas l¨asaren till n˚agon l¨arobok i flervariabel analys).

Sats 2.3.6. Om f : Rⁿ −→ R ¨ar differentierbar i punkten x ∈ Rn och v ¨

ar en vektor i Rⁿ, s˚a existerar riktningsderivatan δ_vf (x) av f i punkten x i riktningen v. Dessutom ¨ar δ_vf (x) = ^d dτ^{f (x + τ v)}    τ =0= h∇f (x), vi.

Sats 2.3.7. L˚at x0 ∈ Rn vara en lokal minimipunkt till funktionen f : Rⁿ −→ R och l˚at U vara en konvex minimiomgivning till x₀ f¨or f . Antag vidare att f ¨ar differentierbar i x0. D˚a ¨ar

h∇f (x₀), x − x₀i ≥ 0, (27) f¨or alla x ∈ U .

Bevis. L˚at x ∈ U vara godtyckligt. D˚a U ¨ar konvex ligger ¨aven punkten x0+ τ (x − x0) = τ x + (1 − τ )x0 i U , f¨or 0 ≤ τ ≤ 1. Eftersom x0 ¨ar ett lokalt minimum ¨ar

lim

τ →0+

f (x₀+ τ (x − x₀)) − f (x₀)

τ ^{≥ 0,}

d¨ar vi i h¨ogerledet har riktningsderivatan av f i punkten x₀ i riktningen (x − x0). Olikheten (27) f¨oljer av sats2.3.6.

Dessa satser kan genom isomorfi ¨overs¨attas till motsvarande satser f¨or allm¨anna euklidiska rum.

Sats 2.3.8. Avbildningen R_α ¨ar kontinuerlig.

Bevis. Till att b¨orja med ska vi ber¨akna gradienten till G_αf¨or ett fixt y ∈ Y . F¨or varje v ∈ X och τ ∈ R g¨aller att

G_α(x + τ v) = ¹ 2^{kK(x + τ v) − yk} 2+¹ 2^{αhL(x + τ v), x + τ vi} = ¹ 2^{(kKx − yk} 2+ τ²kKvk2+ 2τ hKx − y, Kvi) +¹ 2^{α(hLx, xi + τ hLx, vi + τ hLv, xi + τ} 2hLv, vi) = (¹ 2^{kKx − yk} 2+¹ 2^{αhLx, xi)} + τ (hKx − y, Kvi) + αhLx, vi) + τ²(¹ 2^kKvk 2+¹ 2^{αhLv, vi).}

(H¨ar har vi ˚aterinf¨ort skalfaktorn ¹₂ i det ursprungliga uttrycket f¨or den generaliserade tikhonovfunktionalen f¨or att bli av med en del 2:or som annars skulle finnas med i uttrycket f¨or gradienten.) Derivering med avseende p˚a τ ger att

δvGα(x) = hKx − y, Kvi + αhLx, vi = hK^∗(Kx − y) + αLx, vi.

Av sats2.3.6f¨oljer att

∇G_α(x) = (K^∗K + αL)x − K^∗y. (28)

L˚at nu y0 ∈ Y vara fixt och l˚at f¨oljden yn→ y₀, n = 1, 2, 3, . . .. S¨att x0 = R_α(y₀) och x_n = R_α(y_n), n = 1, 2, 3, . . .. F¨or att f¨orenkla beteckningarna s¨atter vi G₀(x) = G_α(x; y₀) och G_n(x) = G_α(x; y_n), n = 1, 2, 3, . . .. Fr˚an sats 2.3.7har vi att

h∇G_n(x_n), x₀− x_ni ≥ 0, varf¨or h∇G_n(x_n), x_n− x₀i ≤ 0, och att h∇G₀(x₀), x_n− x₀i ≥ 0.

Allts˚a ¨ar

0 ≥ h∇Gn(xn), xn− x₀i − h∇G₀(x0), xn− x₀i

= h(K^∗K + αL)(x_n− x₀), x_n− x₀i − hK^∗(y_n− y₀), x_n− x₀i ≥ αc₀kx_n− x₀k²− kK^∗(yn− y₀)kkxn− x₀k,

d¨ar den sista olikheten f¨oljer av (26) och av att hK^∗Kx, xi = hKx, Kxi. F¨oljaktligen ¨ar

kx_n− x₀k ≤ ¹ αc0

kK^∗(yn− y₀)k,

s˚a vi ser att x_n→ x₀, d˚a y_n→ y₀.

Sats 2.3.9. Avbildningen R_α ¨ar linj¨ar och kan skrivas p˚a den explicita for-men

Rα(y) = x, med

R_α= (K^∗K + αL)⁻¹K^∗. (29) Bevis. Minimipunkten till G_α(x) f¨or ett fixt y ∈ Y ges av ekvationen

∇G_α(x) = 0, vilket enligt (28) ¨ar ekvivalent med

(K^∗K + αL)x − K^∗y = 0. Detta ger l¨osningen

x^α= Rα(y) = (K^∗K + αL)⁻¹K^∗y.

L˚at oss f¨ors¨akra oss om att operatorn K^∗K + αL ¨ar injektiv. Antag att αLx + K^∗Kx = 0. Skal¨armultiplikation med x ger att

hαLx + K^∗Kx, xi = αhLx, xi + hKx, Kxi = 0, varav f¨oljer att x = 0.

Att R_α ¨ar linj¨ar framg˚ar av att vi i h¨ogerledet av (29) har en sam-mans¨attning av idel linj¨ara avbildningar.