EXAMENSARBETEN I MATEMATIK MATEMATISKA INSTITUTIONEN, STOCKHOLMS UNIVERSITET

EXAMENSARBETEN I MATEMATIK

MATEMATISKA INSTITUTIONEN, STOCKHOLMS UNIVERSITET

En introduktion till regulariseringsteori f¨ or inversa problem

av Tomas Malm

2008 - No 9

En introduktion till regulariseringsteori f¨or inversa problem

Tomas Malm

Examensarbete i matematik 30 h¨ogskolepo¨ang, f¨ordjupningskurs Handledare: Hans Rullg˚ard

2008

Abstract

The aim of the thesis is to give an introduction to regularization theory for inverse problems. Though many of the theorems presented are (with small modifications) valid for Hilbert spaces in general, the proofs given here are restricted to euclidean spaces. The methods of Tikhonov regularization and Landweber iteration are established using the concepts of singular value decomposition of a linear operator and regularizing filters. A generalization of Tikhonovs method is also studi- ed. In the last chapter of the thesis we do numerical experiments with a few examples of inverse problems which are common in applications, with the purpose of illustrating the use of regularization methods in numerical computations. For this the problems have to be suitably discretized, since they are originally given in a continuous setting.

En introduktion till regulariseringsteori f¨or inversa problem

Inneh˚ all

1 Introduktion 7

1.1 Inversa problem och regulariseringsteori . . . 7

1.2 F¨orberedande linj¨ar algebra . . . 8

2 Regulariseringsmetoder 15 2.1 Allm¨an regulariseringsteori och regulariserande filter . . . 15

2.2 Tikhonovregularisering . . . 22

2.3 Generaliserad Tikhonovregularisering . . . 27

2.4 Landweberiteration . . . 32

3 Exempel p˚a inversa problem i till¨ampningar; numeriska ex- periment med regulariseringsmetoder. 36 3.1 Avfaltningsproblemet i en dimension . . . 36

3.1.1 Numeriska experiment med avfaltningsproblemet i en dimension . . . 41

3.2 Avfaltningsproblemet i tv˚a dimensioner . . . 46

3.2.1 Numeriska experiment med avfaltningsproblemet i tv˚a dimensioner . . . 49

3.3 Tomografiproblemet och Radontransformen . . . 58

3.3.1 Numeriska experiment med tomografiproblemet . . . . 67

Jag vill passa p˚a att rikta ett stort tack till min handledare Hans Rullg˚ard och vill till¨agna uppsatsen min mamma och pappa.

1 Introduktion

1.1 Inversa problem och regulariseringsteori

Ett inverst problem kan, helt abstrakt, definieras som problemet att f¨or en given avbildning F : X −→ Y l¨osa ekvationen

F (x) = y,

f¨or ett givet y ∈ Y . Det direkta problemet best˚ar i att f¨or ett givet x ∈ X best¨amma y = F (x). Ett element¨art exempel p˚a ett inverst problem ¨ar Lagranges interpolationsproblem, vilket best˚ar i att best¨amma ett polynom p(x) som antar vissa givna v¨arden y₁, . . . , y_n ∈ R i vissa givna punkter x₁, . . . , x_n∈ R. Motsvarande direkta problem best˚ar i att f¨or ett givet poly- nom p(x) ber¨akna funktionsv¨ardena p(x1), . . . , p(xn) i vissa givna punkter x₁, . . . , x_n. I teorin s¨ages ett inverst problem vara v¨al st¨allt (eng. well-posed ) om l¨osningen (1) existerar, (2) ¨ar entydigt best¨amd och (3) ¨ar stabil, vil- ket formellt definieras som att l¨osningen x beror kontinuerligt p˚a indata y.

Annars s¨ages problemet vara illa st¨allt (eng. ill-posed ). Vad betr¨affar sta- biliteten ¨ar det f¨or numeriska ber¨akningar inte alltid nog att l¨osningen ¨ar stabil i betydelsen kontinuerligt beroende av indata. L¨osningen kan ocks˚a va- ra instabil i den mindre precist definierade bem¨arkelsen att den ¨ar ”mycket k¨anslig f¨or” perturbationer i y, s˚a att sm˚a diskrepanser i indata resulterar i stora ber¨akningsfel. N¨ar vi s¨ager att l¨osningen ¨ar instabil menar vi h¨ar instabil i n˚agon av dessa tv˚a bem¨arkelser.

M˚anga i till¨ampningar f¨orekommande inversa problem ¨ar linj¨ara, vilket inneb¨ar att de kan formuleras som en linj¨ar operatorekvation (ett ekvations- system)

Kx = y, (1)

d¨ar K : X −→ Y ¨ar en linj¨ar avbildning mellan tv˚a linj¨ara rum X och Y , typiskt tv˚a Hilbertrum. De inversa problem vi intresserar oss f¨or h¨ar ¨ar linj¨ara.

L˚at K : X −→ Y vara en linj¨ar avbildning mellan de euklidiska rummen X och Y . Fr˚an element¨ar linj¨ar algebra vet vi att rummet X kan skrivas som den direkta summan av nollrummet till K och det ortogonala komplementet till nollrummet:

X = N (K) ⊕ N (K)^⊥. (2)

Det f¨oljer att om ekvationen (1) har ˚atminstone en l¨osning, f¨or ett givet y ∈ Y , s˚a finns en entydigt best¨amd l¨osning x^∗ ∈ N (K)^⊥till ekvationen och, vidare, att alla andra l¨osningar erh˚alles genom superposition av elementen i N (K).

Vi kan allts˚a inskr¨anka s¨okandet efter en eventuell l¨osning till det inversa problemet till det ortogonala komplementet. Om K ¨ar injektiv, s˚a ¨ar f¨orst˚as

N (K)^⊥ = X. Ifall K inte ¨ar injektiv, kan vi ist¨allet betrakta restriktionen K := K|N (K)^⊥,

vilket utg¨or en injektiv avbildning. L˚at oss f¨orenkla det fortsatta resone- manget genom att g¨ora antagandet att K ¨ar injektiv p˚a hela X. L˚at K⁻¹: K(X) ⊆ Y −→ X beteckna inversen till K.

Antag nu att (1) har ˚atminstone en l¨osning, allts˚a att h¨ogerledet y ∈ K(X). I till¨ampningar, i numeriska ber¨akningar eller vetenskapliga expe- riment, kan vi inte utg˚a ifr˚an att vi har tillg˚ang till ett ”exakt v¨arde” p˚a h¨ogerledet y, utan endast ett m¨atv¨arde med n˚agon viss felgr¨ans eller felmar- ginal δ > 0. L˚at oss allts˚a anta att det givna ¨ar ett δ > 0 och m¨atdatan y^δ med

ky − y^δk ≤ δ (3)

Detta g¨or oss h¨anvisade till att ist¨allet f¨ors¨oka l¨osa den perturberade ekva- tionen

Kx^δ= y^δ. (4)

Ofta l˚ater vi x och y st˚a f¨or den exakta l¨osningen till det inversa proble- met respektive det exakta h¨ogerledet, och x^δ och y^δ f¨or deras respektive perturberade motsvarigheter.

Ett f¨orsta problem vi kan st¨ota p˚a ¨ar att (4) saknar l¨osning, allts˚a att y^δ ∈ K(X). Ett andra problem vi kan st¨/ ota p˚a ¨ar instabilitet, allts˚a att l¨osningen till det inversa problemet ¨ar k¨anslig f¨or perturbationer i h¨ogerledet, s˚a pass att l¨osningen x^δ = K⁻¹y^δ till oigenk¨annlighet avviker fr˚an den egentliga eller exakta l¨osningen x.

Det vi i b˚ada dessa fall dock kunde hoppas p˚a ¨ar att ˚atminstone kunna best¨amma en approximation x^δ ∈ X till den exakta l¨osningen x s˚adan att kKx^δ− y^δk inte ¨ar avsev¨art mycket st¨orre ¨an δ. Ett s¨att att g¨ora det vore att f¨ors¨oka best¨amma en kontinuerlig och mer stabil avbildning

R : Y −→ X

som f˚ar fungera som en approximation eller utvidgning av inversen K⁻¹. Att p˚a ett metodiskt s¨att best¨amma en s˚adan approximerande avbildning

¨ar uppgiften f¨or regulariseringsteorin, som vi ˚aterkommer till i avsnitt 3.1.

1.2 F¨orberedande linj¨ar algebra

F¨or de resultat i det h¨ar avsnittet som inte ges bevis h¨anvisas l¨asaren till n˚agon l¨arobok i linj¨ar algebra, exempelvis [3]. H¨ar f¨oruts¨attes att de linj¨ara rum X, Y, Z, . . . vi studerar ¨ar euklidiska rum, det vill s¨aga ¨andligt- dimensionella linj¨ara rum ¨over R med skal¨arprodukt h·, ·i, och allts˚a iso- morfa med Rⁿ tillsamans med standardskal¨arprodukten. F¨or att undvika tr¨ottsamma upprepningar kommer vi att l˚ata det vara underf¨orst˚att i satser

och definitioner, om inget annat s¨ages. Vi l˚ater det ocks˚a vara underf¨orst˚att att rummen ¨ar normerade, med den av skal¨arprodukten naturligt inducerade normen

kxk =phx, xi.

I detta avsnitt betecknar A, B, C, . . . linj¨ara avbildningar; beteckningen K har vi reserverat f¨or den till ett inverst problem h¨orande avbildningen.

Vi l˚ater [A] = [A]e,f beteckna matrisen f¨or avbildningen A med avseende p˚a baserna e och f f¨or X respektive Y . Vidare l˚ater vi [x] = [x]e ∈ Rⁿ st˚a f¨or koordinatvektorn (p˚a kolonnform) till ett givet x ∈ X med avseende p˚a basen e.

I standardbasen e = (e¹, . . . , e^m) f¨or Rⁿ ges det i:te elementet i e^λ, 1 ≤ i, λ ≤ n, av

e^λ_i = δiλ, d¨ar funktionen i h¨ogerledet ¨ar Kroneckers delta

δ_ab=

(1 om a = b, 0 om a 6= b.

En linj¨ar avbildning A p˚a de normerade rummen X och Y ¨ar begr¨ansad om det existerar c > 0 s˚adant att

kAxk ≤ ckxk,

f¨or alla x ∈ X. I euklidiska rum ¨ar alla linj¨ara avbildningar begr¨ansade och kontinuerliga, vilket f¨or Hilbertrum i allm¨anhet kan visas vara ekvi- valenta villkor. Dock ¨ar i det o¨andligt-dimensionella fallet inte alla linj¨ara avbildningar begr¨ansade eller kontinuerliga. F¨or givna normer p˚a X och Y definieras normen av den linj¨ara avbildningen A som

kAk := sup{kAxk : kxk ≤ 1}.

Man visar l¨att att

sup{kAxk : kxk ≤ 1} = sup kAxk

kxk : x 6= 0



= inf{c > 0 : kAxk ≤ ckxk, f¨or alla x ∈ X}.

F¨oljande r¨aknelagar g¨aller f¨or operatornormen:

(i) kAk ≥ 0, med likhet endast f¨or nolloperatorn A ≡ 0.

(ii) kλAk = |λ|kAk, f¨or alla λ ∈ R.

(iii) kA + Bk ≤ kAk + kBk, d¨ar A, B : X −→ Y . (Triangelolikheten) (iv) kAxk ≤ kAkkxk, f¨or alla x ∈ X.

(v) kBAk ≤ kBkkAk, d¨ar A : X −→ Y och B : Y −→ Z.

(vi) kA^∗k = kAk.

(vii) kA^∗Ak = kAk².

I de sista tv˚a punkterna ¨ar A^∗ den till A adjunkta avbildningen, som allm¨ant definieras f¨or kontinuerliga linj¨ara avbildningar p˚a Hilbertrum. Den- na ¨ar en sorts generalisering av matristransponaten kan man s¨aga. I fallet med euklidiska rum g¨aller n¨amligen att

[A^∗] = [A]^t, (5)

i givna ON-baser f¨or X och Y , vilket framg˚ar av beviset f¨or f¨oljande sats:

Sats 1.2.1. L˚at A : X −→ Y vara linj¨ar och l˚at y ∈ Y vara fixt. D˚a existerar ett entydigt best¨amt z ∈ X s˚adant att

hAx, yi = hx, zi, f¨or alla x ∈ X.

Bevis. Vi b¨orjar med att visa entydigheten. Antag att z, z⁰ ∈ X uppfyller villkoret. D˚a har vi att hx, zi = hx, z⁰i och allts˚a hx, z − z⁰i = 0, f¨or alla x ∈ X. Allts˚a ¨ar hz − z⁰, z − z⁰i = 0, varf¨or z − z⁰ = 0. Existensen av z f˚ar vi enkelt p˚a f¨oljande vis: l˚at e = (e1, . . . , em) vara en ON-bas f¨or X och f = (f1, . . . , fn) en ON-bas f¨or Y . F¨or givet y ∈ Y definierar vi z ∈ X enligt

[z] := [A]^t[y].

Vi har d˚a att hAx, yi = hx, zi omm h[A][x], [y]i = h[x], [z]i omm

n

X

i=1

X^m

j=1

a_ijx_j y_i =

m

X

i=1

x_iXⁿ

j=1

a_jiy_j .

Den sista likheten f¨oljer av att b˚ade aijxjyi och ajixiyj ing˚ar som termer i v¨anster- och h¨ogerled, f¨or alla i ∈ {1, . . . , m} och j ∈ {1, . . . , n}. Det vill s¨aga, alla m¨ojliga kombinationer ing˚ar i b˚ada summorna.

Av satsen f¨oljer att A^∗ ¨ar v¨aldefinierad:

Definition 1.2.1. F¨or en given linj¨ar avbildning A : X −→ Y definieras adjunkten till A eller den till A adjunkta avbildningen, A^∗ : Y −→ X, enligt f¨oljande villkor: f¨or ett givet y ∈ Y ¨ar A^∗y s˚adant att

hAx, yi = hx, A^∗yi, f¨or alla x ∈ X.

Sats 1.2.2. F¨oljande r¨aknelagar g¨aller f¨or adjunkten:

(i) (A^∗)^∗= A.

(ii) (λA)^∗ = λA^∗, f¨or λ ∈ R.

(iii) (A + B)^∗ = A^∗+ B^∗, d¨ar A, B : X −→ Y .

(iv) (BA)^∗ = A^∗B^∗, d¨ar A : X −→ Y och B : Y −→ Z.

(v) Om A ¨ar inverterbar, s˚a ¨ar ¨aven A^∗ inverterbar och (A^∗)⁻¹= (A⁻¹)^∗. Bevis. I fallet med euklidiska rum korresponderar dessa lagar uppenbarli- gen mot r¨aknelagarna f¨or matristransponaten, och ¨ar med anv¨andande av likheten (5) en omedelbar konsekvens av dem.

Definition 1.2.2. En linj¨ar operator A p˚a rummet X s¨ages vara symmet- risk eller sj¨alv-adjungerad om A^∗ = A.

Sats 1.2.3 (Spektralsatsen). Om operatorn A p˚a X ¨ar symmetrisk, s˚a existerar en ON-bas f¨or X best˚aende av egenvektorer till A. Egenvektorer h¨orande till skilda egenrum (egenv¨arden) ¨ar inb¨ordes ortogonala.

Spektralsatsen kan utvidgas till en likartad sats f¨or linj¨ara avbildningar generellt, satsen om singul¨arv¨ardesuppdelning, varur spektralsatsen erh˚alles som ett specialfall. F¨or en given linj¨ar avbildning A : X −→ Y ¨ar sam- mans¨attningen A^∗A : X −→ X (och AA^∗ : Y −→ Y ) en symmetrisk opera- tor p˚a X (respektive Y ). Detta f¨oljer av r¨aknelagarna f¨or adjunkten:

(A^∗A)^∗ = A^∗(A^∗)^∗= A^∗A.

Dessutom g¨aller att

Sats 1.2.4. Alla egenv¨arden till A^∗A och AA^∗ ¨ar icke-negativa och deras respektive positiva egenv¨arden sammanfaller.

Bevis. L˚at λ vara ett egenv¨arde till A^∗A. D˚a ¨ar

λhx, xi = hA^∗Ax, xi = hAx, Axi ≥ 0, f¨or alla x ∈ X. Allts˚a ¨ar λ ≥ 0.

Antag nu att λ > 0. Om vi kan visa att λ ¨aven ¨ar ett egenv¨arde till AA^∗ s˚a ¨ar vi klara, d˚a den omv¨anda implikationen f¨oljer av symmetrisk¨al. L˚at x0 6= 0 vara en egenvektor till A^∗A f¨or egenv¨ardet λ.

S¨att y₀ = Ax₀. F¨or det f¨orsta ¨ar y₀ 6= 0, eftersom vi annars skulle ha 0 = A^∗y₀ = A^∗Ax₀ = λx₀. F¨or det andra har vi att

AA^∗y₀= AA^∗(Ax₀) = A(λx₀) = λy₀. Allts˚a ¨ar y₀ en egenvektor till AA^∗ f¨or egenv¨ardet λ.

Definition 1.2.3. L˚at λi, i ∈ I (I ¨andlig), vara egenv¨ardena till A^∗A. Talen µ_i=√

λ_i kallas f¨or singul¨arv¨ardena till avbildningen A.

Vi p˚aminner oss om att multipliciteten f¨or ett egenv¨arde ¨ar lika med dimensionen av dess motsvarande egenrum. Av sats 1.2.4 f¨oljer att A och A^∗ har samma positiva singul¨arv¨arden. Dessutom sammanfaller multiplici- teterna f¨or dessa. Dock kan multipliciteten skilja sig ˚at f¨or singul¨arv¨ardet 0, och g¨or det i allm¨anhet, s˚avida inte X och Y ¨ar av samma dimension. Vi- dare kan ocks˚a den ena av operatorerna A^∗A och AA^∗ ha egenv¨ardet λ = 0, medan den andra operatorn inte har det, s˚a att den ena av avbildningarna A respektive A^∗ har singul¨arv¨ardet µ = 0, medan den andra inte har det.

Observera ocks˚a att

0 ≤ µ ≤ kAk

f¨or varje singul¨arv¨arde µ till A. L˚at n¨amligen x ∈ X vara en egenvektor till A^∗A f¨or egenv¨ardet λ = µ². L˚at oss anta att kxk = 1. Vi har d˚a enligt r¨aknelagarna f¨or operatornormen att

λ = kλxk = kA^∗Axk ≤ kA^∗Akkxk = kAk².

Sats 1.2.5 (Singul¨arv¨ardesuppdelning). L˚at (µ_j)_j∈J (J ¨andlig), med µ1≥ µ₂ ≥ µ₃ ≥ . . . > 0 vara den ordnade f¨oljden av positiva singul¨arv¨arden till A, r¨aknade med multiplicitet. Det existerar ON-system (x_j)_j∈J ⊂ X och (y_j)_j∈J ⊂ Y s˚adana att

Ax_j = µ_jy_j och A^∗y_j = µ_jx_j.

Den ordnade trippeln (µj, xj, yj)j∈J kallas f¨or ett singul¨arv¨ardessystem f¨or A. Varje x ∈ X har den entydigt best¨amda s˚a kallade singul¨arv¨ardesuppdelningen

x = x0+X

j∈J

hx, x_jix_j,

d¨ar x0∈ N (A) och x − x₀ ∈ N (A)^⊥. Vidare ¨ar Ax =X

j∈J

µjhx, x_jiy_j.

Bevis. Enligt spektralsatsen finns det en ON-bas f¨or X best˚aende av egen- vektorer till A^∗A. L˚at (λ_i)_i∈I (I ¨andlig), med λ₁ ≥ λ₂ ≥ λ₃ ≥ . . . ≥ 0 vara den ordnade f¨oljden av (som sagt icke-negativa) egenv¨arden till A^∗A, r¨aknade med multiplicitet, och (ei)i∈I en korresponderande bas av egenvek- torer till A^∗A. L˚at (x_j)_j∈J(|J | ≤ |I|) vara den ordnade f¨oljden av de egenvek- torer i (ei) som svarar mot positiva egenv¨arden. S¨att vidare yj = 1/pλ_jAxj. D˚a har vi att

Axj =pλ_jyj = µjyj, och

A^∗yj = A^∗(1/pλjAxj) = 1/pλjA^∗Axj =pλjxj = µjxj.

Vi ska visa att (y_j)_j∈J ¨ar ett ON-system i Y . L˚at i, j ∈ J . D˚a har vi att hy_i, y_ji = h1/pλ_jAx_i, 1/pλ_jAx_ji = 1/pλ_iλ_jhAx_i, Ax_ji

= 1/pλ_iλ_jhA^∗Ax_i, x_ji = λ_i/pλ_iλ_jhx_i, x_ji

= δ_ij

Vidare kan varje x ∈ X skrivas p˚a formen x =X

i /∈J

hx, e_iie_i+X

j∈J

hx, x_jix_j

S¨atter vi

x0 =X

i /∈J

hx, e_iie_i,

f˚ar vi singul¨arv¨ardesuppdelningen av x med x₀∈ N (A). Att x−x₀ ∈ N (A)^⊥ f¨oljer av att hx_j, x⁰i = 0 f¨or alla j ∈ J och x⁰ ∈ N (A):

hx_j, x⁰i = 1/µ_jhµ_jx_j, x⁰i = 1/µ_jhA^∗y_j, x⁰i = 1/µ_jhy_j, Ax⁰i = 0.

Sats 1.2.6. L˚at (µj, xj, yj)_j∈J vara ett singul¨arv¨ardessystem f¨or A : X −→

Y och l˚at y ∈ Y vara godtyckligt. D˚a ¨ar (µ_j, y_j, x_j)_j∈J ett singul¨arv¨ardessystem f¨or A^∗ : Y −→ X, s˚a att allts˚a:

(i)

A^∗y =X

j∈J

µ_jhy, y_jix_j.

(ii) y entydigt kan skrivas p˚a formen y = y₀+X

j∈J

hy, y_jiy_j,

d¨ar y₀ ∈ N (A^∗) och y − y₀ ∈ N (A^∗)^⊥. Vidare g¨aller att:

(iii) Operatorekvationen

Ax = y

¨ar l¨osbar, d.v.s. y ∈ A(X), om och endast om y ∈ N (A^∗)^⊥. I detta fall

¨ar

x =X

j∈J

1 µj

hy, y_jix_j (6)

en l¨osning till ekvationen.

Bevis. (i): Det g¨aller att A^∗y = z omm hAx, yi = hx, zi, f¨or alla x ∈ X. Vi har att

hAx, yi =

 X

j∈J

µ_jhx, x_jiy_j, y

=X

j∈J

µ_jhx, x_jihy, y_ji, och hx,X

j∈J

µ_jhy, y_jix_ji =X

j∈J

hx, µ_jhy, y_jix_ji =X

j∈J

µ_jhx, x_jihy, y_ji.

Allts˚a g¨aller likheten i (i).

(ii): L˚at y0 ∈ Y ges av villkoret att y = y0+X

j∈J

hy, y_jiy_j.

Applicerar vi A^∗ p˚a v¨anster- och h¨ogerled f˚ar vi att A^∗y = A^∗y₀+X

j∈J

µ_jhy, y_jix_j = A^∗y₀+ A^∗y,

varav f¨oljer att y₀ ∈ N (A^∗). Att y − y₀ ∈ N (A^∗)^⊥ f¨oljer av att hy_j, y⁰i = 0 f¨or alla j ∈ J och y⁰ ∈ N (A), vilket visas p˚a samma s¨att som i f¨oreg˚aende sats.

(iii): F¨or den f¨orsta implikationen, antag att x ¨ar en l¨osning till opera- torekvationen. L˚at y0 ∈ N (A^∗) vara godtyckligt. D˚a ¨ar

hy, y₀i = hAx, y₀i = hx, A^∗y0i = 0, och allts˚a ligger y i det ortogonala komplementet.

Omv¨ant, antag att y ∈ N (A^∗)^⊥. L˚at x ges av ekvation (6). Vi f˚ar att Ax = A X

j∈J

1

µ_jhy, y_jix_j

=X

j∈J

hy, y_jiy_j = y − y₀,

f¨or n˚agot y₀ ∈ N (A^∗). Av att y − y₀ ligger i det ortogonala komplementet och antagandet att ¨aven y g¨or det f¨oljer att y0 = 0. Allts˚a ¨ar x en l¨osning till operatorekvationen.

2 Regulariseringsmetoder

2.1 Allm¨an regulariseringsteori och regulariserande filter L˚at oss nu forts¨atta studiet av regulariseringsmetoder d¨ar vi slutade och utveckla teorin mer formellt och i detalj. Satser och bevis i detta avsnitt och avsnitten om Tikhonovregularisering och Landweberiteration ¨ar v¨asentligen h¨amtade ur kapitel 2 av [2]. Avsnittet om generaliserad Tikhonovregulari- sering anv¨ander framst¨allningen i [4]. Vi l˚ater som f¨orut K : X −→ Y vara en injektiv linj¨ar avbildning p˚a euklidiska rum.

Definition 2.1.1. En regulariseringsstrategi (f¨or K) ¨ar en familj av konti- nuerliga avbildningar

R_α: Y −→ X, α ∈ I ⊆ R⁺ s˚adan att

R_αKx → x, d˚a α → 0,

f¨or alla x ∈ X. (Med andra ord konvergerar avbildningarna R_αK punktvis mot identitetsoperatorn p˚a X.) Vi s¨ager att regulariseringsstrategin ¨ar linj¨ar om Rα ¨ar linj¨ar, f¨or varje α ∈ I.

F¨or ett givet val av α uppfattar vi

x^α,δ := Rαy^δ (7)

som en approximation till den exakta l¨osningen x.

Vi kommer h¨ar enbart ¨agna oss ˚at linj¨ara regulariseringsstrategier. F¨or detta fall f¨oljer kontinuiteten av att de regulariserande avbildningarna ¨ar linj¨ara avbildningar p˚a ¨andligt-dimensionella linj¨ara rum. Vidare kan kravet p˚a en stabilare avbildning uttryckas som s˚a att vi vill ha ett l˚agt v¨arde p˚a operatornormen, vilket framg˚ar av olikheten (8). D¨arf¨or ¨ar det ibland av intresse att uppskatta kR_αk.

Felet i approximationen (7) kan vi med utnyttjande av triangelolikheten dela upp i tv˚a termer:

kx^α,δ− xk ≤ kR_αy^δ− R_αyk + kR_αy − xk

≤ kR_αkky^δ− yk + kR_αKx − xk

≤ δkR_αk + kR_αKx − xk (8)

Detta ¨ar v˚ar grundl¨aggande feluppskattning. Observera att kR_αKx − xk = k(R_α− K⁻¹)yk utg¨or approximationsfelet f¨or det exakta h¨ogerledet y.

Felet i den regulariserade l¨osningen j¨amf¨ort med den exakta kan f¨oljaktligen delas upp i tv˚a komponenter. Det typiska ¨ar att kR_αk v¨axer d˚a α g˚ar mot

noll och krymper d˚a α g˚ar mot o¨andligheten. Den andra termen utg¨or ap- proximationsfelet f¨or det exakta h¨ogerledet och enligt definitionen av en regulariseringsstrategi g˚ar denna term mot noll d˚a α g˚ar mot noll. I det typiska fallet har vi allts˚a en situation som illustreras av graferna i figur 4 och5i avsnitt 3.1.1.

Det vi ser ¨ar att problemet att v¨alja α kvalitativt kan beskrivas som att finna j¨amvikten mellan stabilitet i l¨osningen och n¨arhet till den exakta l¨osningen i approximationen. Ett st¨orre v¨arde p˚a α kan resultera i en stabi- lare l¨osning, men en mindre trogen approximation. Omv¨ant kan ett mindre v¨arde p˚a α resultera i en n¨armare approximation, men en mindre stabil regulariserad l¨osning.

En s¨arskild strategi f¨or att v¨alja α = α(δ, y^δ), allts˚a beroende p˚a δ och y^δ, kommer vi ocks˚a att kalla f¨or en regulariseringsstrategi, underf¨orst˚att att till detta val av α korresponderar ett visst R_α. I de regulariseringsstrategier vi studerar h¨ar beror valet av α enbart p˚a δ, s˚a att allts˚a α = α(δ).

Definition 2.1.2. En regulariseringsstrategi α = α(δ, y^δ) s¨ages vara till˚aten om det f¨or varje fixt x ∈ X och y ∈ Y g¨aller att

sup{α(δ, y^δ) : ky − y^δk ≤ δ, y^δ ∈ Y } → 0 och

sup{kx^{α(δ,yδ),δ}− xk : ky − y^δk ≤ δ, y^δ∈ Y } → 0, d˚a δ → 0.

En vanlig och mycket anv¨andbar metod f¨or att konstruera klasser av

till˚atna regulariseringsstrategier ¨ar att, som man s¨ager, filtrera singul¨arv¨ardessystem.

Ett uttryck f¨or l¨osningen x till det inversa problemet Kx = y ges enligt sats 1.2.6av

x =X

j∈J

1

µ_jhy, y_jix_j. (9)

Filtreringen best˚ar nu i att i denna summa s˚a att s¨aga d¨ampa faktorerna p˚a formen _µ¹

j med hj¨alp av en funktion q(α, µ).

Definition 2.1.3. L˚at (µj, xj, yj), j ∈ J vara ett singul¨arv¨ardessystem f¨or K och l˚at q : R² −→ R (eller ˚atminstone definierad p˚a R⁺× [0, kKk]). F¨or α > 0 och y ∈ Y s¨att

R_αy :=X

j∈J

q(α, µ_j)

µ_j hy, y_jix_j. (10)

Om familjen {R_α}, α > 0, av avbildningar fr˚an Y till X utg¨or en regulari- seringsstrategi f¨or K s¨ages q vara ett regulariserande filter f¨or K.

Sats 2.1.1. L˚at (µ_j, x_j, y_j), j ∈ J vara ett singul¨arv¨ardessystem f¨or K och l˚at q : R² −→ R (eller ˚atminstone definierad p˚a R⁺× (0, kKk]) vara en funktion med f¨oljande egenskaper:

(1) |q(α, µ)| ≤ 1, f¨or α > 0, 0 ≤ µ ≤ kKk.

(2) F¨or alla α > 0 existerar c(α) s˚adant att |q(α, µ)| ≤ c(α)µ, f¨or 0 ≤ µ ≤ kKk.

(3a) q(α, µ) → 1, d˚a α → 0, f¨or fixt 0 ≤ µ ≤ kKk. (Det r˚ader allts˚a punktvis konvergens.)

D˚a ¨ar q ett regulariserande filter f¨or K och kRαk ≤ c(α), d¨ar regularise- ringsstrategin {R_α}_α>0, ges av ekvation (10). Ett val α = α(δ) ¨ar till˚atet om α(δ) → 0 och δc(α(δ)) → 0, d˚a δ → 0.

Anm¨arkning. Observera att det i (3a) understrykes att konvergensen sker punktvis. Att konvergensen ej kan ske likformigt f¨oljer av villkoret (2), eftersom detta implicerar att

q(α, µ) → 0, d˚a µ → 0, f¨or fixt α > 0.

Bevis. Vi vet att (xj)j∈J och (yj)j∈J ¨ar ON-system i X respektive Y . Allts˚a kan (yj) utvidgas till en ON-bas (yi)_i∈I f¨or Y . Vi ser ocks˚a att (xj)_j∈J ¨ar en ON-bas f¨or X, emedan N (K) = {0}. Det f¨oljer att

kyk² =X

i∈I

hy, y_ii²≥X

j∈J

hy, y_ji².

Fr˚an (2) och definitionen av R_α har vi att kR_αyk² =X

j∈J

q(α, µj)² 1

µ²_j|hy, y_ji|²

≤ c(α)²X

j∈J

hy, y_ji² ≤ c(α)²kyk².

Allts˚a ¨ar kR_αk ≤ c(α).

Vidare ¨ar

RαKx =X

j∈J

q(α, µ_j) µj

hKx, y_jix_j och x =X

j∈J

hx, x_jix_j.

Dessutom ¨ar hKx, y_ji = hx, K^∗y_ji = µ_jhx, x_ji. Det f¨oljer att kR_αKx − xk²=X

j∈J

q(α, µ_j) µj

µ_jhx, x_ji − hx, x_ji2

=X

j∈J

(q(α, µ_j) − 1)²hx, x_ji². (11)

L˚at nu x ∈ X vara fixt och l˚at  > 0. Enligt (3a) existerar α₀ > 0 s˚adant att (q(α, µ_j) − 1)² < ²

kxk², f¨or j ∈ J och 0 < α ≤ α₀. Vi drar h¨arav slutsatsen att

kR_αKx − xk² =X

j∈J

(q(α, µj) − 1)²hx, x_ji²

< ² kxk²

X

j∈J

hx, x_ji²= ²

kxk²kxk² = ²,

f¨or alla α med 0 < α ≤ α0. Allts˚a har vi visat att RαKx → x, d˚a α → 0, f¨or alla x ∈ X.

Till det sista p˚ast˚aendet i satsen. Med den grundl¨aggande feluppskatt- ningen (8) f˚ar vi att

||x^α,δ − x|| ≤ δ||R_α|| + ||R_αKx − x||

≤ δc(α(δ)) + ||R_αKx − x|| → 0,

om δc(α(δ)) → 0, d˚a δ → 0. Det f¨oljer att detta villkor p˚a valet av α ger en till˚aten regulariseringsstrategi.

Sats 2.1.2. L˚at villkoren (1) och (2) ur f¨oreg˚aende sats g¨alla.

(i) L˚at (3a) ers¨attas av det starkare villkoret (3b) Det existerar c₁ > 0 med

|q(α, µ) − 1| ≤ c₁

√α µ . D˚a g¨aller att om x ∈ K^∗(Y ), s˚a ¨ar

kR_αKx − xk ≤ c₁√

αkzk, (12)

d¨ar x = K^∗z, f¨or n˚agot z ∈ Y .

(ii) L˚at (3a) ers¨attas av det starkare villkoret (3c) Det existerar c2 > 0 med

|q(α, µ) − 1| ≤ c₂α µ. D˚a g¨aller att om x ∈ K^∗K(X), s˚a ¨ar

kR_αKx − xk ≤ c2αkzk, (13) d¨ar x = K^∗Kz, f¨or n˚agot z ∈ X.

Bevis. Fall (i): L˚at x = K^∗z, d¨ar z ∈ Y . D˚a ¨ar hx, x_ji = µ_jhz, y_ji och ekvation (11) ger att

kR_αKx − xk² =X

j∈J

(q(α, µj) − 1)²µ²_jhz, y_ji²

≤ c²₁αX

j∈J

hz, y_ji² ≤ c²₁αkzk²,

det vill s¨aga kRαKx − xk ≤ c1

√αkzk.

Fall (ii): Visas p˚a analogt s¨att. Vi har att hx, x_ji = hK^∗Kz, x_ji = hz, K^∗Kxji, eftersom K^∗K ¨ar symmetrisk, och K^∗Kxj = K^∗(µjyj) = µj(K^∗yj) = µ²_jxj. Allts˚a ¨ar hx, xji = µ²_jhz, x_ji. Ekvation (11) ger att

kR_αKx − xk² =X

j∈J

(q(α, µ_j) − 1)²hx, x_ji²

≤X

j∈J

 c2

α µ²_j

2

(µ²_jhz, x_ji)²= c²₂α²X

j∈J

hz, x_ji²

≤ c²₂α²kzk², det vill s¨aga kRαKx − xk ≤ c2αkzk.

F¨oruts¨atter vi att K ¨ar injektiv kan villkoren p˚a x i ovanst˚aende sats f¨orenklas:

Sats 2.1.3. Om den linj¨ara avbildningen K ¨ar injektiv, s˚a ¨ar K^∗(Y ) = K^∗K(X) = X.

Bevis. Det r¨acker f¨orst˚as med att visa att K^∗K(X) = X. Eftersom K^∗K ¨ar en linj¨ar operator p˚a det euklidiska rummet X ¨ar vi klara om vi kan visa att K^∗K ¨ar injektiv. Surjektiviteten f¨oljer ju d˚a av injektiviteten. Antag allts˚a att

K^∗Kx1 = K^∗Kx2, d¨ar x₁, x₂ ∈ X. Detta inneb¨ar att f¨or alla z ∈ X ¨ar

hKx₁, Kzi = hKx₂, Kzi.

S¨atter vi z = x₁− x₂ f˚ar vi att

hK(x₁− x₂), K(x₁− x₂)i = 0

=⇒ K(x1− x₂) = 0

=⇒ x1= x2.

Det finns m˚anga exempel p˚a regulariserande filter som uppfyller egen- skaperna (1), (2) och (3a-c). Vi n¨ojer oss med att ge tv˚a f¨or oss s¨arskilt relevanta exempel:

Sats 2.1.4. F¨oljande tv˚a funktioner uppfyller villkoren (1), (2) och (3a-c) ur f¨oreg˚aende satser, och ¨ar allts˚a regulariserande filter:

(i)

q(α, µ) = µ² α + µ². Denna uppfyller villkor (2) med c(α) = 1/(2√

α). Villkor (3b) och (3c) g¨aller med c1 = 1/2 och c2 = 1 respektive.

(ii)

q(α, µ) = 1 − (1 − aµ²)^1/α, d¨ar 0 < a < 1/kKk². I detta fall g¨aller villkoren med c(α) =pa/α, c1 = 1/√

2a och c₂= 1/a.

Bevis. Att b˚ada funktionerna uppfyller egenskaperna (1) och (3a) ¨ar klart.

Fall (i): D˚a 0 ≤ (√

α − µ)² har vi att µ

α + µ² ≤ 1 2√

α, varur villkor (2) f¨oljer med c(α) = 1/(2√

α). Vidare ¨ar 1 − q(α, µ) = α

α + µ², och ur ovanst˚aende olikhet f˚ar vi att

α µ

α + µ² ≤ 1 2√

α = 1/2√ α.

Allts˚a ¨ar

α

α + µ² ≤ 1/2

√α µ ,

s˚a villkor (3b) g¨aller med c₁ = 1/2. Villkor (3c) f¨oljer, med c₂ = 1, av att α

α + µ² ≤ α µ².

Fall (ii): MacLaurinutveckling av funktionen f (t) = (1 − t)^1/α ger f (t) = 1 − t

α + R2(t)t²,

d¨ar den sista termen ¨ar Lagranges restterm. F¨or 0 ≤ t ≤ 1 ¨ar resttermen icke-negativ, varav f¨oljer att

(1 − aµ²)^1/α≥ 1 − aµ² α ,

f¨or 0 ≤ aµ² ≤ 1. Allts˚a ¨ar

1 − (1 − aµ²)^1/α ≤ 1 − (1 −aµ²

α ) = aµ² α . Vidare ¨ar

|q(α, µ)| ≤p|q(α, µ)| ≤r a αµ.

Villkor (2) f¨oljer med c(α) =pa/α.

S¨att nu

f (t) = t(1 − t)^β, β > 0.

Optimering av f (t) p˚a intervallet [0, 1] ger att funktionens maximum antas i punkten t = 1/β, vilket i sin tur ger att

f (t) ≤ f (1 β) = 1

β(1 − 1

β)^β ≤ 1 β,

p˚a det relevanta intervallet. Av detta f¨oljer att, f¨or 0 ≤ t ≤ 1/a, at(1 − at)^β ≤ 1

β =⇒

t(1 − at)^β ≤ 1 aβ, vilket ger att

µ²(1 − aµ²)^β ≤ 1

aβ, (14)

f¨or 0 ≤ µ ≤ 1/√

a. Med β = 1/α och c2 = 1/a f¨oljer (3c) av denna olikhet.

Fr˚an (14) f˚ar vi att

µ²(1 − aµ²)^2β ≤ 1 2aβ =⇒

µ(1 − aµ²)^β ≤ 1

√2aβ,

f¨or 0 ≤ µ ≤ 1/√

a, varav analogt (3b) f¨oljer med c1 = 1/√ 2a.

I de kommande tv˚a avsnitten ges ekvivalenta framst¨allningar eller formu- leringar av till dessa filter motsvarande regulariseringsstrategier, och f¨or be- vis av relevanta satser utnyttjas resultaten i detta avsnitt. Skillnaden best˚ar i att dessa framst¨allningar i sig inte formuleras i termer av filtrerade sin- gul¨arv¨ardessystem, varf¨or vi allts˚a inte ¨ar beroende av k¨annedom om vare sig singul¨arv¨ardena eller n˚agot singul¨arv¨ardessystem. Dessa enklare formu- leringar ¨ar de som senare anv¨ands i de numeriska experimenten.

2.2 Tikhonovregularisering

En vanlig metod f¨or att hantera linj¨ara ekvationssystem Kx = y utan l¨osning

¨ar att f¨ors¨oka finna en ”anpassad” l¨osning (”the best fit”) till problemet, genom att minimera uttrycket kKx − yk, eller ekvivalent kKx − yk², med avseende p˚a x ∈ X. F¨or euklidiska rum ¨ar detta problem alltid l¨osbart:

Sats 2.2.1. Minimeringsproblemet

kKx − yk (15)

¨ar l¨osbart med avseende p˚a x ∈ X f¨or varje fixt y ∈ Y . Det existerar med andra ord ett x0 ∈ X s˚adant att kKx0− yk ≤ kKx − yk, f¨or alla x ∈ X.

Varje l¨osning x₀ till minimeringsproblemet (15) ¨ar en l¨osning till ekvationen

K^∗Kx = K^∗y (16)

och omv¨ant. Om K vidare ¨ar injektiv, s˚a ¨ar detta minimum entydigt best¨amt.

Bevis. L˚at oss b¨orja med att visa att minimeringsproblemet ¨ar l¨osbart.

Fall 1. K ¨ar injektiv. S¨att

c = min_kxk=1kKxk.

Detta minimiv¨arde existerar och ¨ar st¨orre ¨an noll eftersom kKxk ¨ar kon- tinuerlig p˚a den kompakta sf¨aren {kxk = 1 : x ∈ X} och K vidare ¨ar en injektiv linj¨ar avbildning. Vi har att

kKxk = kxkkK(x/kxk)k ≥ kxkc → ∞, d˚a kxk → ∞.

Av denna observation f¨oljer att

kKx − yk → ∞, d˚a kxk → ∞.

Allts˚a kan vi v¨alja ett slutet klot B kring 0 s˚adant att kKx − yk ≥ C f¨or alla x utanf¨or B, d¨ar C ∈ R. Om ett minimum existerar ligger det allts˚a i B. Existensen av ett minimum f¨oljer h¨ar av att B ¨ar en kompakt m¨angd i X och att kKx − yk ¨ar kontinuerlig. Vi kan ocks˚a konstatera att detta minimum ¨ar entydigt best¨amt, eftersom funktionen kKx − yk² ¨ar str¨angt konvex.

Fall 2. K ¨ar ej injektiv. D˚a ers¨atter vi definitionsrummet X med del- rummet N (K)^⊥. P˚a detta delrum ¨ar K injektiv och har ett minimum, som vidare ¨ar entydigt best¨amt.

Till det andra p˚ast˚aendet i satsen. Binomialformeln f¨or linj¨ara rum med skal¨arprodukt s¨ager att

kx ± yk²= kxk²+ kyk²± 2hx, yi,

f¨or alla x, y ∈ X. Med anv¨andande av denna f˚ar vi att kKx − yk² = k(Kx0− y) + K(x − x₀)k²

= kKx₀− yk²+ kK(x − x₀)k²+ 2hKx₀− y, K(x − x₀)i.

f¨or alla x, x0∈ X. Allts˚a ¨ar

kKx − yk²− kKx₀− yk² = 2hKx₀− y, K(x − x₀)i + kK(x − x₀)k²

= 2hK^∗(Kx0− y), x − x₀i + kK(x − x₀)k². (17) Antag att x₀ satisfierar ekvation (16), s˚a att K^∗(Kx₀− y) = 0. D˚a ¨ar

kKx − yk²− kKx₀− yk² ≥ 0,

f¨or alla x ∈ X, och allts˚a ¨ar x₀ en l¨osning till minimeringsproblemet.

Antag, omv¨ant, att x₀¨ar en l¨osning till minimeringsproblemet. L˚at z ∈ X vara godtyckligt. Betrakta den r¨ata halvlinjen x = x0+ tz, t > 0. Likheten (17) ger att

0 ≤ 2thK^∗(Kx₀− y), zi + t²kKzk². Delar vi h¨ogerledet med t och l˚ater t → 0 f˚ar vi att

0 ≤ hK^∗(Kx0− y), zi,

f¨or alla z ∈ X. Detta ¨ar endast m¨ojligt om K^∗(Kx₀− y) = 0.

L˚at oss nu ˚aterigen betrakta den perturberade ekvationen (4), Kx^δ= y^δ.

Oavsett om detta problem ¨ar v¨al st¨allt eller ej kunde vi f¨ors¨oka finna en anpassad l¨osning genom att l¨osa ovanst˚aende minimeringsproblem. Det ¨ar f¨orvisso klart att kKx − yk inte ligger l˚angt fr˚an kKx^δ− y^δk, eftersom

kKx − yk − kKx − y^δk

≤ k(Kx − y) − (Kx − y^δ)k = ky − y^δk ≤ δ, f¨or alla x ∈ X. Nackdelen med detta f¨orfarande ¨ar att den resulterande l¨osningen x^δ inte n¨odv¨andigtvis ligger s¨arskilt n¨ara x, s˚a att kx − x^δk kan vara betydligt st¨orre ¨an δ. L˚at exempelvis K vara avbildningen

Kx = ax, a > 0, x ∈ R.

Detta ger

kx − x^δk = ky a−y^δ

ak = 1

aky − y^δk ≤ δ a,

vilket inneb¨ar ett alltf¨or stort spelrum f¨or felet i l¨osningen i det fall a ¨ar mycket litet.

En v¨ag ut ur detta dilemma ¨ar att s˚a att s¨aga bromsa, h¨amma, d¨ampa x^δ genom att i minimeringsproblemet l¨agga ytterligare en term till funktionalen kKx − yk², som enbart beror p˚a x.

Tikhonovs minimeringsproblem: Givet den linj¨ara avbild- ningen K : X −→ Y och ett y ∈ Y , best˚ar problemet i att finna ett x^α ∈ X som minimerar den s˚a kallade Tikhonovfunktionalen

Jα(x) = Jα(x; y) := kKx − yk²+ αkxk², x ∈ X, α > 0.

F¨or godtyckligt y ∈ Y definierar vi nu

R_α(y) := argmin_x∈XJ_α(x).

d¨ar argmin ger det argument till J_α f¨or vilket funktionen antar sitt mini- miv¨arde (eller mer generellt, m¨angden av s˚adana argument). F¨oljande sats s¨ager oss att denna definition faktiskt ger en v¨aldefinierad avbildning fr˚an Y till X f¨or varje α > 0.

Sats 2.2.2. Tikhonovfunktionalen Jα har f¨or varje α > 0 ett entydigt best¨amt minimum x^α ∈ X, vilket ocks˚a ¨ar den entydiga l¨osningen till den s˚a kallade normalekvationen

αx^α+ K^∗Kx^α = K^∗y. (18)

L¨osningen x^α till normalekvationen kan f¨oljaktligen skrivas p˚a formen x^α = Rαy, med

Rα = (αI + K^∗K)⁻¹K^∗, (19) f¨or varje α > 0.

Bevis. L˚at I =inf{J_α(x) : x ∈ X} och l˚at (x_n)^∞₁ vara en minimerande f¨oljd i X. L˚at med andra ord J_α(x_n) → I, d˚a n → ∞. Vi ska visa att (x_n) ¨ar en Cauchyf¨oljd i X. Binomialformeln kan skrivas om p˚a formen

kxk²+ kyk²= 1

2kx + yk²+ 1

2kx − yk². Med utnyttjande av denna omskrivning f˚ar vi att

J_α(x_n) + J_α(x_m) = 2J_α(1

2(x_n+ x_m)) +1

2kK(x_n− x_m)k²+ 1

2αkx_n− x_mk²

≥ 2I + 1

2αkx_n− x_mk².

V¨ansterledet i olikheten konvergerar mot 2I d˚a n, m → ∞, varav f¨oljer att kx_n− x_mk → 0, d˚a d˚a n, m → ∞. Detta visar att (x_n) ¨ar en Cauchyf¨oljd och allts˚a konvergent i X. S¨att

x^α= lim

n→∞xn.

Eftersom Jα ¨ar kontinuerlig drar vi slutsatsen att Jα(xn) → Jα(x^α), d˚a n → ∞, och allts˚a att Jα(x^α) = I. Detta visar att Jα har ˚atminstone en minimipunkt.

Ekvivalensen mellan normalekvationen (18) och Tikhonovs minimerings- problem visas p˚a samma s¨att som i beviset f¨or sats2.2.1, d¨ar vi kan utnyttja f¨oljande likhet:

Jα(x) − Jα(x^α) = 2hKx^α− y, K(x − x^α)i + 2αhx^α, x − x^αi + kK(x − x^α)k²+ αkx − x^αk²

= 2hK^∗(Kx^α− y) + αx^α, x − x^αi + kK(x − x^α)k²+ αkx − x^αk², f¨or alla x ∈ X.

Vi ska slutligen visa entydigheten av x^α. Detta g¨or vi genom att visa att den linj¨ara operatorn αI + K^∗K : X −→ X ¨ar injektiv f¨or varje α > 0.

Antag att αx + K^∗Kx = 0. Skal¨armultiplikation med x ger att hαx + K^∗Kx, xi = αhx, xi + hKx, Kxi = 0, varav f¨oljer att x = 0. Allts˚a ¨ar αI + K^∗K injektiv.

Familjen {Rα}_α>0 av avbildningar ¨ar allts˚a Tikhonovs regulariserings- strategi. Anv¨andande av resultaten i f¨oreg˚aende avsnitt ger

Sats 2.2.3. L˚at K : X −→ Y vara en linj¨ar avbildning. D˚a g¨aller att:

(i) Familjen {R_α : Y −→ X}_α>0 av avbildningar utg¨or en regulari- seringsstrategi f¨or K, med kRαk ≤ 1/(2√

α) . Varje val α = α(δ) ¨ar till˚atet om α(δ) → 0 och δ²/α(δ) → 0, d˚a δ → 0.

(ii) L˚at x = K^∗z, z ∈ Y, med kzk ≤ E f¨or n˚agot E > 0. Med valet α(δ) = c₀δ/E, f¨or n˚agot c₀> 0, f˚ar vi feluppskattningen

kx^α(δ),δ− xk ≤ 1 2( 1

√c₀ +√ c0)

√

δE. (20)

(iii) L˚at x = K^∗Kz, z ∈ X,, med kzk ≤ E f¨or n˚agot E > 0. Med valet α(δ) = c₀(δ/E)^2/3, f¨or n˚agot c₀ > 0, f˚ar vi feluppskattningen

kx^α(δ),δ− xk ≤ ( 1 2√

c₀ + c₀)E^1/3δ^2/3. (21) Bevis. (i): L˚at (µ_j, x_j, y_j)_j∈J vara ett singul¨arv¨ardessystem f¨or K. Vi ska visa att

x^α= R_αy =X

j∈J

µj

α + µ²_jhy, y_jix_j. (22)

Detta g¨or vi genom att s¨atta in h¨ogerledet i denna ekvation i v¨ansterledet till ekvation (18). Till att b¨orja med har vi att

K^∗K

 X

j∈J

µ_j

α + µ²_jhy, y_jix_j



= K^∗

 X

j∈J

µ_j

α + µ²_jhy, y_jiKx_j



=X

j∈J

µ²_j

α + µ²_jhy, y_jiK^∗y_j

=X

j∈J

µ³_j

α + µ²_jhy, y_jix_j. Allts˚a ¨ar enligt singul¨arv¨ardessatsen

αX

j∈J

µj

α + µ²_jhy, y_jix_j+ K^∗K

 X

j∈J

µj

α + µ²_jhy, y_jix_j



=X

j∈J

αµ_j

α + µ²_jhy, y_jix_j +X

j∈J

µ³_j

α + µ²_jhy, y_jix_j

=X

j∈J

µjhy, y_jix_j = K^∗y.

Med

q(α, µ) = µ²

α + µ², α, µ > 0, ser vi f¨oljaktligen att R_α har representationen

Rαy =X

j∈J

µ_j

α + µ²_jhy, y_jix_j =X

j∈J

q(α, µ_j) µj

hy, y_jix_j, (23)

f¨or alla y ∈ Y . Funktionen q ¨ar det regulariserande filtret i sats 2.1.4del (i).

Av den satsen och sats2.1.1f¨oljer att {Rα}_α>0 ¨ar en regulariseringsstrategi med kR_αk ≤ 1/(2√

α) och att valet α = α(δ) ¨ar till˚atet om α(δ) → 0 och δc(α(δ)) = δ/(2pα(δ)) → 0 d˚a δ → 0. Det senare ¨ar f¨orst˚as ekvivalent med att δ²/α(δ) → 0 d˚a δ → 0.

(ii): Den allm¨anna feluppskattningen (8), sats2.1.2del (i) och sats2.1.4 del (i) ger tillsammans att

kx^α(δ),δ− xk ≤ δkR_αk + kR_αKx − xk ≤ δ

2pα(δ)+1 2

pα(δ)kzk

≤ δ

2pα(δ)+1 2

pα(δ)E = 1 2

 1

√c₀ +√ c0

√

δE.

(iii): Med sats 2.1.2 del (ii) ist¨allet f¨or del (i) f˚ar vi i analogi med ovanst˚aende fall att

kx^α(δ),δ− xk ≤ δkR_αk + kR_αKx − xk ≤ δ

2pα(δ)+ α(δ)kzk

≤ δ

2pα(δ)+ α(δ)E =

 1 2√

c₀ + c0



E^1/3δ^2/3.

2.3 Generaliserad Tikhonovregularisering

En m¨ojlig generalisering av Tikhonovfunktionalen J_α ¨ar funktionalen Gα(x) = Gα(x; y) := 1

2(kKx − yk²+ αhLx, xi), (24) d¨ar x ∈ X, y ∈ Y ¨ar fixt och L ¨ar en linj¨ar operator p˚a X. Vi f¨oruts¨atter h¨ar att L ¨ar symmetrisk och str¨angt positiv. L˚at oss definiera det sistn¨amnda begreppet tillsammans med n˚agra ytterligare:

Definition 2.3.1. L˚at A vara en linj¨ar operator p˚a X. S¨att λ_min(A) := inf

kxk=1hAx, xi

Vi s¨ager att A ¨ar positivt semidefinit om λ_min(A) ≥ 0 och str¨angt positiv om str¨ang olikhet r˚ader.

Vi s¨ager ocks˚a att en linj¨ar operator A ¨ar positivt definit om hAx, xi > 0,

f¨or alla x 6= 0, x ∈ X. I det ¨andligt-dimensionella fallet ¨ar detta dock ekvivalent med att A ¨ar str¨angt positiv. Vidare ¨ar f¨orst˚as

kxk=1inf hAx, xi = min

kxk=1hAx, xi.

Sats 2.3.1. L˚at B vara en linj¨ar operator p˚a X. Uttrycket

kKx − yk²+ αkBxk² (25)

kan d˚a skrivas om p˚a formen (24), f¨or n˚agon positivt semidefinit symmetrisk operator L. Omv¨ant, givet den positivt semidefinita symmetriska operatorn L existerar det en linj¨ar operator B p˚a X s˚adan att (24) kan skrivas om p˚a formen (25).

Anm¨arkning. Villkoret att B ¨ar en linj¨ar operator kan f¨orsvagas lite. Det g˚ar ocks˚a bra med en linj¨ar avbildning B : X −→ Z, d¨ar Z ¨ar ett euklidiskt rum, f¨or vilken vi liksom i beviset s¨atter L = B^∗B.

Bevis. F¨or den f¨orsta implikationen s¨att L = B^∗B. Vi har d˚a att kBxk² = hBx, Bxi = hB^∗Bx, xi = hLx, xi.

F¨or den andra implikationen, l˚at λ1, . . . , λn vara (den ordnade) f¨oljden av egenv¨arden till L r¨aknade med multiplicitet. Eftersom L ¨ar symmetrisk

¨ar matrisen [L] diagonaliserbar (i godtycklig ON-bas f¨or X) , med [L] = T^tDT

f¨or n˚agon n × n-matris T , d¨ar D = diag(λ1, . . . , λn). Eftersom L ¨ar positivt semidefinit ¨ar alla egenv¨aren till L icke-negativa. Allts˚a kan vi bilda en linj¨ar operator B med

[B] =√ DT (i den givna ON-basen f¨or X). Vi f˚ar att

[B^∗B] = [B]^t[B] = T^t(

√

D)²T = [L].

Allts˚a ¨ar L = B^∗B.

Nu l˚ater vi f¨or ett godtyckligt y ∈ Y

Rα(y) := argmin_x∈XGα(x)

(d¨ar argmin definieras s˚asom i f¨oreg˚aende avsnitt). V˚ar m˚als¨attning ¨ar att visa att denna definition ger en v¨aldefinierad avbildning fr˚an Y till X och att familjen {Rα}_α>0 utg¨or en linj¨ar regulariseringsstrategi f¨or K. F¨or detta utnyttjar vi en del element¨ar konvexitetsteori.

Definition 2.3.2. L˚at f : X −→ R. Vi s¨ager att f ¨ar konvex om f (θx1+ (1 − θ)x2) ≤ θf (x1) + (1 − θ)f (x2),

f¨or alla x₁, x₂ ∈ X och θ ∈ [0, 1]. Funktionen f s¨ages vara str¨angt konvex om olikheten ¨ar str¨ang n¨arhelst x1 6= x₂ och θ ∈ (0, 1).

Sats 2.3.2. Om f : X −→ R ¨ar konvex, s˚a ¨ar varje lokal minimipunkt till f global. Om f ¨ar str¨angt konvex och har ett minimiv¨arde, s˚a ¨ar minimi- punkten entydigt best¨amd.

Bevis. L˚at x0 vara en lokal minimipunkt till f . Vi har d˚a att f (z) ≥ f (x0) f¨or alla z ∈ U , d¨ar U ¨ar n˚agon omgivning till x₀. F¨or ett godtyckligt x ∈ X g¨aller att punkten z = θx0 + (1 − θ)x ligger i U , f¨or n˚agot 0 < θ < 1 tillr¨ackligt n¨ara 1. Allts˚a ¨ar

θf (x0) + (1 − θ)f (x) ≥ f (θx0+ (1 − θ)x) = f (z) ≥ f (x0), vilket ger att f (x) ≥ f (x₀). D¨arav f¨oljer globaliteten.

Antag nu att f ¨ar str¨angt konvex och att x₀och x₁¨ar minimipunkter. Vi ska visa att x0 = x1. Antag det motsatta, att x0 och x1 ¨ar distinkta punkter i X. L˚at 0 < θ < 1. D˚a ¨ar

f (θx0+ (1 − θ)x1) < θf (x0) + (1 − θ)f (x1) = f (x0), en mots¨agelse.

Den naturliga normen || · || p˚a ett linj¨art rum med skal¨arprodukt ¨ar konvex och dess kvadrat, allts˚a funktionen || · ||², ¨ar str¨angt konvex. Det- ta ¨ar enkla konsekvenser av definitionen av normen och r¨aknelagarna f¨or skal¨arprodukten. L˚at K : X −→ Y vara en injektiv linj¨ar avbildning och l˚at y ∈ Y vara fixt. D˚a ¨ar funktionen kKx − yk² str¨angt konvex. L˚at n¨amligen x1 och x2 vara distinkta pukter i X och l˚at 0 < θ < 1. Vi har att

kK(θx₁+ (1 − θ)x2) − yk² = kθ(Kx1− y) + (1 − θ)(Kx₂− y)k²

< θkKx₁− yk²+ (1 − θ)kKx₂− yk², eftersom Kx1− y 6= Kx₂− y.

Sats 2.3.3. L˚at Gα vara skriven p˚a formen (25). D˚a ¨ar Gα str¨angt konvex om N (K) ∩ N (B) = {0}.

Bevis. Vi p˚aminner oss om att funktionen || · ||² ¨ar str¨angt konvex. L˚at nu x₁ 6= x₂ vara punkter i X och l˚at 0 < θ < 1. Vi f˚ar d˚a att

Gα(θx1+ (1 − θ)x2) = ||K(θx1+ (1 − θ)x2) − y||²+ α||B(θx1+ (1 − θ)x2)||²

= ||θ(Kx₁− y) + (1 − θ)(Kx₂− y)||² + αkθBx1+ (1 − θ)Bx2k²

≤ (θkKx₁− yk²+ (1 − θ)kKx₂− yk²) + α(θkBx₁k²+ (1 − θ)kBx₂k²)

= θGα(x1) + (1 − θ)Gα(x2),

med str¨ang olikhet om Kx1 − y 6= Kx₂ − y eller Bx₁ 6= Bx₂. Detta ¨ar ekvivalent med att K(x1 − x₂) 6= 0 eller B(x1 − x₂) 6= 0, vilket ¨ar fallet eftersom x₁ och x₂ ¨ar distinkta och vi antar att N (K) ∩ N (B) = {0}.

Om K ¨ar injektiv ¨ar f¨orst˚as villkoret i satsen uppfyllt. Vi ¨ar nu redo att visa att

Sats 2.3.4. R_α ¨ar en v¨aldefinierad avbildning fr˚an Y till X.

Bevis. Vi beh¨over ett litet hj¨alpresultat f¨or detta bevis: det existerar c0> 0 s˚adant att

hLx, xi ≥ c₀kxk², (26)