# Regularization of singular least squares problems

N/A
N/A
Protected

Share "Regularization of singular least squares problems"

Copied!
18
0
0

Full text

(1)

## Regularization of singular least squares problems

### WWW:

http://www.control.isy.liu.se

### Email:

[email protected]

REGLERTEKNIK

### mous ftp at the address

ftp.control.isy.liu.se

2019.ps.Z

(2)

Abstract

Keywords

## 1 Introduction

x

0

x

kAx;bk

2

kxk2

A2RN n

N n

x



x

kAx;bk 2

2

2kxk22





x

x0

x;x0

x

0

### 1

(3)

10−12 10−10 10−8 10−6 10−4 10−2 100 10−8

10−6 10−4 10−2 100 102 104 106 108

kx

 ;x0k2

|

kx

k2

;;

### ) as functions of .

2.2 2.25 2.3 2.35 2.4 2.45 2.5 2.55 2.6 2.65 2.7

101 102

kAx~;bk2

k~xk2

L

A

x0

Ayb

kAx;bk2

kxk2





L

kx

k2

kAx

;bk2



L



kx

 ;x0k2

A



b



x

x0

x





L

kAx

;bk2kx

k2



x

0



:

;5

L



x

(4)

x0

x ;x0

x

kx

;xk2=kxk2

x

 2 ;+

kx

;x0k2 

x

x0

A

A



A

r <n

b

Ax0

e

e 2

AT

A 2R

(N+n) n

A



A







b



A

A

U1 U2



S

1



V T

1

V T

2



U1S1V1T

S1

s1  sr

si

i

A

U1 U2

V1 V2

N

n

n

AT

Kk

V1V1T

A

(5)

K

?

I;Kk

V2V2T

x

0

Ay

Ay

A

Ay

V1S1;1U1T

x0

Kkx0

x0

AT

n

An

A

x

LS

x0

K?

2 Rn

QR

A

R

n ;r

n;r

K?

n;r

x0

QR

2

A

A

A



A





A

I



x



Ay

An

A

>



>

2

x

x0

A

A

A



A

E

(6)

:

;16

E 2

R

( N+n) n

A

A



U1 U

2 U

3

2

4

S

1

S2

3

5

 V

1T

V T

2



U1S

1V

1T

U2S

2V

2T

S1

r

A

S2

n ;r

U1 U

2 U

3

V1 V

2

N

n

n

x



Ay

An

A



x

x0

E

U1

A T

 U

1

V1S1

ETU1

i

si

V1

isi

ETU1

i

si;

V1

i

X1T

i

X1

A

ETU1

X1TS1

ETU2

E

E

E

U1S1X1

s1 U2X2

X1

X2

si



x

x0

x



;x

0

Kkx

;x0

K?x



(7)

A

Kk

K?

kx

;x0k22

kKkx

;x0k22

kK?x

k22

x

x



V1 V

2

 S

1

S2



;2

 V

1T

V T

2

 A

T



V

1S

1;2V

1T

V2S

2;2V

2T



;

V

1 S

2

1 V

T

1 x

0

ET

A T





AT

ET

V1S12V1Tx0

ET

x0

V1S1;1 U1T

E

E T



U1S1X1

s1 U2X2

T

X1TS12V1Tx0

s1X2T

U2T

kU2Tk22

kek2

x0

K

kx

;x0

V1h

V1TV

1

S1;2

V1TV1

S12;IiV1Tx0

V

1

V1TV

1

S1;2 h

V1TX1T

S12V1Tx0

s1

V1TX2T

U2T

i

V

1

V1TV

2

S2;2h

V2TV1

V2TX1T

S12V1Tx0

s1

V2TX2T

U2T

i

K

?x



V2

V2TV

1

S1;2h

V1TV1

V1TX1T

S12V1Tx0

s1

V1TX2T

U2T

i

V

2

V2TV

2

S2;2h

V2TV1

V2TX1T

S12V1Tx0

s1

V2TX2T

U2T

i

A

V1 V

2

si

i

r

(8)

K k

K

?

K k K

?

x



x

0

x

S1

S2

x

S1V

1

S2V

2

Kk

V1V

1T

K?

V2V

2T

A

Kk

K?

S1;2

S2;2



=2



E

V T

1 V

1 V1TV

2 V2TV

1

V2TV

2

S1

S2

## 4 SVD of perturbed matrices

A

A

V1 V

2

V1 V2



I ;P T

P I



I

PTP

;1=2

I

PPT

;1=2



P 2R( n;r) r

(

Q

S1

E11

;

22

E22

P

21

E21

; QE12P

P

S1

E11T

;

T22

E22T

Q

E12T ;P

T21

E21T

Q

(9)

Q2R( N+n;r) r

2j

U2T

I

TVj

Eij

UiTEVj

T2j2j

I

T2122

I

U2

I

U2

T

I

V1 V2

V T

1 V

1

I

PTP

;1=2 V1TV

2

;PT

I

PPT

;1=2

V T

2

V

1

P

I

PTP

;1=2 V2TV

2

I

PPT

;1=2

i

S1

i;

I

QTQ

1=2

S1

E11

E12P

I

PTP

;1=2

i

S2

i;

I

QQT

;1=2

22

E22;QE12

I

PPT

1=2

i

X

i

X

 sr

P

Q

P  V T

2 X

T

1

Q 21S1;1



B C

kB;Ck2

V T

1

V

1

I V T

2

V

2

I

V2TV

1

;

V1TV

2

T  V2TX1T

i

S1

=si 

2=

s2i

i

S2



i

(

Q

S1

E11

;

22

E22

P

21

E21

P

S1

E11T

;

T22

E22T

Q

E12T

S1

(

QS

1

;

22

E22

P

21

E21

P

E12TS1;1

T22

E22T

QS1;1

QS 2

1

;

22

E22

T22

E22T

Q



21S1

22 E12T

E21S1

E22E12T

QS 2

1

;

2

22T22Q

21

E21

S1

(10)



 sr

Q 

21

E21

S1;1 



21S1;1

P  E T

12 S

;1

1

T22

E22T

21

E21

S1;2  E12TS1;1

T2221

E

P 

V2TX1TS1U1T

s1 X2TU2T

U1

S1;1

V2TX1T

P

A

I

QTQ

1=2  I

QTQ=

I

2S1;2=

I

QQT

1=2  I

QQT=

I

221S1;2T21=

T2121

I

I

PTP

1=2  I

PTP=

I

2X1

V2V2T

X1T=

I

I

PPT

1=2  I

PPT=

I

2V2T

X1TX1

V2=

I

I

QTQ

1=2S1

I

PTP

;1=2 

I

2S1;2=

S1

I

QQT

;1=222

I

PPT

1=2 

I

221S1;2T21=

22

22

T2122

i

S1

=si 

2=

s2i

i

S2



S1

T2222

I



2I

### 9

References

Related documents

46 Konkreta exempel skulle kunna vara främjandeinsatser för affärsänglar/affärsängelnätverk, skapa arenor där aktörer från utbuds- och efterfrågesidan kan mötas eller

Exakt hur dessa verksamheter har uppstått studeras inte i detalj, men nyetableringar kan exempelvis vara ett resultat av avknoppningar från större företag inklusive

The increasing availability of data and attention to services has increased the understanding of the contribution of services to innovation and productivity in

Av tabellen framgår att det behövs utförlig information om de projekt som genomförs vid instituten. Då Tillväxtanalys ska föreslå en metod som kan visa hur institutens verksamhet

Närmare 90 procent av de statliga medlen (intäkter och utgifter) för näringslivets klimatomställning går till generella styrmedel, det vill säga styrmedel som påverkar

Den förbättrade tillgängligheten berör framför allt boende i områden med en mycket hög eller hög tillgänglighet till tätorter, men även antalet personer med längre än

På många små orter i gles- och landsbygder, där varken några nya apotek eller försälj- ningsställen för receptfria läkemedel har tillkommit, är nätet av

While ﬁrms that receive Almi loans often are extremely small, they have borrowed money with the intent to grow the ﬁrm, which should ensure that these ﬁrm have growth ambitions even