Zn´ azornˇ en´ı vˇ etven´ı bin´ arn´ıho stromu

4.1.3 Listy stromu – tenzory druh´ eho ˇ r´ adu

Zp˚usobem popsan´ym v pˇredchoz´ı ˇc´asti se postupnˇe dostaneme aˇz k mnoˇzinˇe matic U₍₁₎, U₍₂₎, . . . , U_(k), U_(`) ∈Rⁿ^`^×r^(`), ` = 1, . . . , k.

Pˇripomeˇnme, ˇze pro hodnoty r_` z klasického Tuckerova rozkladu a hodnosti r_(`), které z´ıskáváme pˇri hierarchickém Tuckerovˇe rozkladu plat´ı

r_`=r_(`)=rank(T^{`}),

jelikoˇz hodnosti Tuckerova jádra jsou dány jednoznaˇcnˇe. Dále také zˇrejmˇe plat´ı R(U_`^′) = R(U_(`)).

4.1.4 Pˇ r´ıklad rozkladu tenzoru osm´ eho ˇ r´ adu

Pˇr´ıklad 2. V tomto pˇr´ıkladu postupnˇe pouˇzijeme vztah (4.6) k ilustraci postupu pˇri HTD tenzoru T ˇrádu k = 8 = 2³, viz také obrázek 4.2. Zˇrejmˇe plat´ı

vec(T ) = T^{1,...,8} = (U₍₅₋₈₎⊗U₍₁₋₄₎) ⋅B₍₁₋₈₎, kde B₍₁₋₈₎=vec(Σ₍₁₋₄₎) a U₍₅₋₈₎=V₍₁₋₄₎, viz (4.2) a (4.8), a kde

U₍₁₋₄₎ = (U₍₃₋₄₎⊗U₍₁₋₂₎) ⋅B₍₁₋₄₎, U₍₅₋₈₎ = (U₍₇₋₈₎⊗U₍₅₋₆₎) ⋅B₍₅₋₈₎,

Obrázek 4.2: Ilustrace hierarchického Tuckerova rozkladu tenzoru osmého ˇrádu, kde jsme formálnˇe oznaˇcili B₍₁₋₈₎=Σ₍₁₋₄₎∈R^r⁽¹⁻⁴⁾^×r⁽¹⁻⁴⁾, viz (4.4).

kde d´ale

U₍₁₋₂₎ = (U₍₂₎⊗U₍₁₎) ⋅B₍₁₋₂₎, U₍₃₋₄₎ = (U₍₄₎⊗U₍₃₎) ⋅B₍₃₋₄₎, U₍₅₋₆₎ = (U₍₆₎⊗U₍₅₎) ⋅B₍₅₋₆₎, U₍₇₋₈₎ = (U₍₈₎⊗U₍₇₎) ⋅B₍₇₋₈₎.

Potom, s vyuˇzit´ım asociativity Kroneckerova souˇcinu, po dosazen´ı plat´ı vec(T ) = (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗U₍₃₎⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗B₍₁₋₄₎) ⋅B₍₁₋₈₎. (4.9) Matice B, nazývané také matice pˇrenosu, lze (s výjimkou koˇrene stromu) pˇrevést do tvaru tenzor˚u tˇret´ıch ˇrád˚u, tj.

B₍₁₋₄₎∈R^(r⁽¹⁻²⁾^{⋅ r}⁽³⁻⁴⁾^)×r⁽¹⁻⁴⁾ ⇐⇒ B₍₁₋₄₎∈R^r⁽¹⁻²⁾^×r⁽³⁻⁴⁾^×r⁽¹⁻⁴⁾, B₍₅₋₈₎∈R^(r⁽⁵⁻⁶⁾^{⋅ r}⁽⁷⁻⁸⁾^)×r⁽⁵⁻⁸⁾ ⇐⇒ B₍₅₋₈₎∈R^r⁽⁵⁻⁶⁾^×r⁽⁷⁻⁸⁾^×r⁽⁵⁻⁸⁾,

B₍₁₋₂₎∈R^(r⁽¹⁾^{⋅ r}⁽²⁾^)×r⁽¹⁻²⁾ ⇐⇒ B₍₁₋₂₎∈R^r⁽¹⁾^×r⁽²⁾^×r⁽¹⁻²⁾, B₍₃₋₄₎∈R^(r⁽³⁾^{⋅ r}⁽⁴⁾^)×r⁽³⁻⁴⁾ ⇐⇒ B₍₃₋₄₎∈R^r⁽³⁾^×r⁽⁴⁾^×r⁽³⁻⁴⁾, B₍₅₋₆₎∈R^(r⁽⁵⁾^{⋅ r}⁽⁶⁾^)×r⁽⁵⁻⁶⁾ ⇐⇒ B₍₅₋₆₎∈R^r⁽⁵⁾^×r⁽⁶⁾^×r⁽⁵⁻⁶⁾, B₍₇₋₈₎∈R^(r⁽⁷⁾^{⋅ r}⁽⁸⁾^)×r⁽⁷⁻⁸⁾ ⇐⇒ B₍₇₋₈₎∈R^r⁽⁷⁾^×r⁽⁸⁾^×r⁽⁷⁻⁸⁾.

Vid´ıme, ˇze dostáváme tenzor T v podobˇe zcela vyváˇzeného binárn´ıho stromu, viz obrázek 4.2.

4.2 Z´ akladn´ı vˇ eta HTD

Popsali jsme strukturu celého hierarchického Tuckerova rozkladu. Jediné, co zbývá dokázat je, ˇze plat´ı vlastnost (4.5), kterou v nepatrnˇe obecnˇejˇs´ı podobˇe formuluje vˇeta 1, viz také [19, kap. 3.1.3]. Pˇredt´ım ale uvedeme následuj´ıc´ı lemma, které bude uˇziteˇcné pro pochopen´ı d˚ukazu.

Lemma 1. Necht’ M je libovoln´a matice nad R, pak MM^†(kde M^† znaˇc´ı Moorovu–

Penroseovu pseudoinverzi) je ortogon´aln´ı projektor (viz [4, str. 15]) na R(M ).

D˚ukaz. Necht’ r = rank(M ). Uvaˇzujme ekonomický singulárn´ı rozklad matice M = U_rΣ_rV_r^T, tj. R(M ) = R(U_r)a Σ_r je regulárn´ı. Pak M^†=V_rΣ⁻¹_r U_r^T. Zˇrejmˇe plat´ı

4.2.1 D˚ ukaz z´ akladn´ı vˇ ety hierarchick´ eho Tuckerova rozkladu

Nyn´ı se dostáváme k avizované vˇetˇe.

D˚ukaz. Necht’ pro jednoduchost CL, CR obsahuj´ı po sobˇe jdouc´ı indexy, tj.

CL= {i_`₊₁, i_`₊₂, . . . , i_m}, CR= {i_m₊₁, i_m₊₂, . . . , i_r}, tj.

∣CL∣ =m − `, ∣CR∣ =r − m, ∣C ∣ = r − `.

Necht’ T^C je tozvoj tenzoru T podle multiindexuC . Jakýkoli sloupec matice T^C lze povaˇzovat za vektorizaci vec(C) nˇejakého tenzoru C ∈ Rⁿî`+1^×⋯×nîr ˇrádu r − `. Tento tenzor rozvineme do matice tak, abychom (p˚uvodn´ı) multiindexC rozdˇelili na CL a CR. Dostaneme tak maticiC{1,...,m−`}∈R(m−`)×(r−m). Sloupce matice C^C^L pˇritom mus´ı být také sloupci matice T^C^L. Tedy jsou zˇrejmˇe obsaˇzeny v R(T^C^L). (Pro snadnˇejˇs´ı porozumˇen´ı a ovˇeˇren´ı pro jednoduchý tenzor odkazujeme na pˇr´ıklad 3 uvedený pod t´ımto d˚ukazem.) Plat´ı tedy

C^C^L = T^C^L(T^C^L)^†C^C^L, viz lemma1. Analogicky plat´ı

(C^C^L)^T ≡ C^C^R= T^C^R(T^C^R)^†C^C^R. Transpozic´ı druhého vztahu a následným dosazen´ım dostaneme

C^C^L = (C^C^R)^T = (C^C^R)^T((T^C^R)^†)

viz [26, str. 39, Poznámka 3], [5] nebo [23]. Tedy libovolný sloupec vec(C) matice T^C lze napsat jako lineárn´ı kombinaci sloupc˚u matice T^C^R⊗ T^C^L. A tedy obor hodnot matice T^C je podmnoˇzinou oboru hodnot matice T^C^R⊗ T^C^L.

Pˇr´ıklad 3. Zde ukáˇzeme vlastnosti sloupc˚u matic rozvoj˚u tenzor˚u T a C, které vyuˇz´ıváme v d˚ukazu vˇety 1, na jednoduchém pˇr´ıkladu. Mˇejme tenzor

T = 1 2

Vybereme mnoˇzinu jeho index˚u CL = {1} a CR = {2}. Potom rozvoj rozvoje tenzoru T jsou

Uvaˇzujme prvn´ı sloupec matice T^{1,2}. Ten lze povaˇzovat za vektorizaci vec(C)

Obor hodnot libovolné matice je roven oboru hodnot matice levých singulárn´ıch vektor˚u, které odpov´ıdaj´ı nenulovým vlastn´ım ˇc´ısl˚um. Zˇrejmˇe tvrzen´ı z vˇety 1ihned ukazuje platnost vztahu (4.5). T^C^R, budeme tuto matici B_C nazývat matice pˇrenosu (anglicky transfer matrix).

Poznamenejme, ˇze ˇc´ısla r_C_L, r_C_R, r_C znaˇc´ı hodnosti odpov´ıdaj´ıc´ıch rozvoj˚u tenzoru T , viz (4.6)–(4.7). Matice pˇrenosu je prostˇredek, kter´y n´am umoˇzn´ı

”rozb´ıt“ tenzor do pˇredepsaného tvaru s´ıtˇe. Matici B_C m˚uˇzeme chápat jako rozvoj tenzoru B_C tˇret´ıho ˇrádu tak, ˇze

B_C = B_C^{1,2}, kde B_C ∈R^r^CL^×r^CR^×r^C, (4.15) viz (4.7) a podrobnˇeji také viz pˇr´ıklad 2. Tyto tenzory jsou tedy vrcholy tˇret´ıho stupnˇe v tenzorové s´ıti pˇredstavuj´ıc´ı HTD, viz obrázek4.2.

4.3 Shrnut´ı konstrukce hierarchick´ eho Tuckerova roz-kladu

Pˇrednˇe poznamenejme, ˇze postup pˇri hledán´ı hierarchického Tuckerova rozkladu, tak jak ho vysvˇetlujeme, je pouze náznakem výpoˇctu. Slouˇz´ı zde zejména pro po-chopen´ı struktury rozkladu a jako d˚ukaz jeho existence. Praktický výpoˇcet rozkladu a implementace pˇr´ısluˇsného algoritmu nen´ı jednoduchá. Jeden z moˇzných postup˚u výpoˇctu bude naznaˇcen v kapitole 6.

4.3.1 Vˇ etven´ı bin´ arn´ıho stromu a tzv. dimension tree

Uvˇedomme si, ˇze podmnoˇziny mnoˇziny index˚u lze vyb´ırat libovolnˇe. Právˇe zp˚usob, jakým rozdˇelujeme mnoˇzinu index˚u (a postupnˇe jej´ı podmnoˇziny), vytváˇr´ı strom odpov´ıdaj´ıc´ıho tvaru. Pro dosaˇzen´ı potˇrebného tvaru s´ıtˇe vol´ıme v kaˇzdém kroku

odpov´ıdaj´ıc´ı rozdˇelen´ı mnoˇziny index˚u tenzoru. Tomuto rozdˇelen´ı odpov´ıdá tzv. di-mension tree. Pˇr´ıklady rozdˇelen´ı mnoˇziny index˚u (konkrétnˇe ty moˇznosti vˇetven´ı, které dávaj´ı co nejv´ıce vyváˇzený binárn´ı strom) m˚uˇzemem vidˇet na obrázku4.3 pro tenzor osmého (vlevo) a sedmého ˇrádu (vpravo).

Obrázek 4.3: Struktura rozdˇelen´ı index˚u, tzv. dimension tree, tenzoru osmého ˇrádu z pˇr´ıkladu 2, pˇrevzato z [19, str.22], a tenzoru sedmého ˇrádu pˇri snaze o co nejvˇetˇs´ı vyváˇzenost s´ıtˇe.

Poznamenejme, ˇze tensor train, jehoˇz podobu m˚uˇzeme vidˇet na obrázku 3.7 uprostˇred, je rozkladem, který funguje úplnˇe stejnˇe jako HTD. Jediným rozd´ılem je zp˚usob rozdˇelován´ı mnoˇziny index˚u. Jedna z podmnoˇzin vˇzdy obsahuje pouze jeden index a z´ıskáváme pro nˇej tedy pˇr´ımo matici z klasického Tuckerova rozkladu a dalˇs´ı krok algoritmu potom mus´ıme provést vˇzdy pouze pro jednu vˇetev.

4.4 Efektivita uloˇ zen´ı dat pomoc´ı hierarchick´ eho Tuc-kerova rozkladu

Pˇri práci s tenzory jsme ˇcasto omezeni t´ım, ˇze tenzor obsahuj´ıc´ı velké mnoˇzstv´ı prvk˚u nelze kv˚uli vysokým pamˇet’ovým nárok˚um uloˇzit v poˇc´ıtaˇci. Z tohoto d˚uvodu vznikla celá ˇrada r˚uzných algoritm˚u, tenzorových rozklad˚u, umoˇzˇnuj´ıc´ı tenzor uloˇzit pomoc´ı menˇs´ıch objekt˚u s významnou úsporou pamˇeti. K nim zˇrejmˇe patˇr´ı i Tuc-ker˚uv rozklad a hierarchický Tucker˚uv rozklad. V této ˇcásti chceme porovnat, kolik pamˇeti uˇsetˇr´ıme, budeme-li s takovými rozklady pracovat.

Oznaˇcme

r = max

C ⊆{1,...,k}rank(T^C) a n = max{n₁, . . . , n_k}. (4.16) Budeme porovnávat pamˇet’ové nároky, tj. poˇcet reálných ˇc´ısel, které je potˇreba uloˇzit, abychom z´ıskali tenzor, pˇr´ıpadnˇe jeho dobrou aproximaci. Zˇrejmˇe tento poˇcet m˚uˇzeme odhadnout pomoc´ı ˇc´ısel r, n a k.

W V pˇr´ıpadˇe nerozloˇzeného tenzoru je poˇcet ukládaných reálných ˇc´ısel shora ome-zen hodnotou n^k.

W V pˇr´ıpadˇe klasického Tuckerova rozkladu ukládáme k matic s rozmˇery nejvýˇse n × r a poˇcet prvk˚u Tuckerova jádra je omezen hodnotou r^k, tedy celkem knr + r^k reálných ˇc´ısel.

W V pˇr´ıpadˇe hierarchického Tuckerova rozkladu opˇet ukládáme k matic s rozmˇery nejvýˇse n × r (listy stromu). Je-li ˇrád tenzoru mocninou dvou, tj. k = 2^ς, pak zcela vyváˇzený binárn´ı strom Tuckerova jádra obsahuje právˇe jednu matici s rozmˇery nejvýˇse r × r (která je nav´ıc diagonáln´ı; koˇren stromu) a dále k − 2 tenzor˚u tˇret´ıho ˇrádu s rozmˇery nejvýˇse r × r × r. Tedy celkem ukládáme knr + (k − 2) ⋅ r³+r² reálných ˇc´ısel.

W Také v pˇr´ıpadˇe rozkladu typu tensor train (TT) ukládáme k matic s rozmˇery nejvýˇse n × r, dále pak (k − 2) tenzor˚u tˇret´ıho ˇrádu s rozmˇery nejvýˇse r × r × r a dvˇe matice s rozmˇery nejvýˇse r ×r. Tedy celkem ukládáme knr +(k −2)⋅r³+2r² reálných ˇc´ısel.

Pamˇet’ové nároky jsou také shrnuty v tabulce 4.1 a ilustrovány na obrázku4.4.

Ze zp˚usobu konstrukce hierarchického Tuckerova rozkladu a tedy i tensor train (který se od HTD liˇs´ı pouze zp˚usobem vˇetven´ı) tak, jak jsme popsali v kapitole 4.1.1, je zˇrejmé, ˇze odhady u tˇechto dvou zp˚usob˚u rozkladu m˚uˇzeme nav´ıc upˇresnit, jelikoˇz matice v koˇreni stromu je diagonáln´ı, tj. obsahuje pouze r nenulových ˇc´ısel.

Poˇcet reálných ˇc´ıslel potˇrebných k uloˇzen´ı je potom omezen na knr + (k − 2) ⋅ r³+r ˇc´ısel pro HTD a knr + (k − 2) ⋅ r³+r²+r pro TT.

Poznamenejme dále, ˇze vztah pro pamˇet’ové nároky hierarchického Tuckerova rozkladu je odvozen pro zcela vyváˇzený binárn´ı strom tenzoru ˇrádu mocniny dvou, my ho ale budeme pouˇz´ıvat pro tenzor libovolného ˇrádu. M˚uˇzeme si to dovolit proto, ˇze TT odpov´ıdá maximálnˇe nevyváˇzenému binárn´ımu stromu, pˇriˇcemˇz vztah pro jeho pamˇet’ové nároky je odvozen pro tenzor libovolného ˇrádu a dává prakticky stejný odhad.

Tabulka 4.1: Porovnán´ı pamˇet’ových nárok˚u pˇri uloˇzen´ı tenzoru r˚uznými zp˚usoby.

pouˇzitý rozklad poˇcet ukládaných reálných ˇc´ısel

cel´y tenzor n^k

Tucker˚uv rozklad knr + r^k

hierarchick´y Tucker˚uv rozklad knr + (k − 2)r³+r² tensor train (TT) knr + (k − 2)r³+2r²

Z tabulky 4.1 vid´ıme, ˇze zat´ımco pamˇet’ové nároky (poˇcet ukládaných prvk˚u) jsou u nerozloˇzeného tenzoru exponenciáln´ı v k, pro hierarchický Tucker˚uv rozklad, pˇr´ıp. tesor train, jsou lineárn´ı v k a kubické v r. Pˇr´ıpadná úspora m´ısta samozˇrejmˇe závis´ı na tom, jak malé m˚uˇze reálnˇe být r pro daná data.

10¹ 10² 10⁴

10⁶ 10⁸ 10¹⁰ 10¹²

poˇcetukládanýchreálnýchˇc´ısel

Spotˇreba pamˇeti pˇri uloˇzen´ı tenzoru ˇr´adu k, n = 100, r = 10 cel´y tenzor

Tucker˚uv rozklad

hierarchick´y Tucker˚uv rozklad tensor train (TT)

Obrázek 4.4: Porovnán´ı pamˇet’ových nárok˚u pˇri uloˇzen´ı tenzoru r˚uznými zp˚usoby.

5 Manipulace s tenzory ve tvaru HTD

Ukázali jsme uˇz, jakým zp˚usobem lze ukládat tenzory ve tvaru s´ıtˇe. Dále nás bude zaj´ımat, jakým zp˚usobem lze s tenzory uloˇzenými ve formátu HTD pracovat dále.

Ukáˇzeme si, jakým zp˚usobem lze tenzory v HTD násobit matic´ı, sˇc´ıtat i násobit mezi sebou. Budeme se nav´ıc snaˇzit, aby výsledný tenzor byl uloˇzen opˇet v HTD a to v co nejúspornˇejˇs´ım tvaru.

5.1 Souˇ cin tenzoru s matic´ı v `-t´ em m´ odu

Prvn´ı z operac´ı, kterou pop´ıˇseme bude souˇcin tenzoru s matic´ı v daném módu `, viz definici2. Mˇejme pro jednoduchost tenzor osmého ˇrádu T ∈ Rⁿ¹^×⋯×n⁸ (viz pˇr´ıklad 2, str. 33) a matici M ∈ R^m^×n^` a ` = 3. Pro souˇcin

D = T ×₃M ∈ Rⁿ¹^×n²^×m×n⁴^×⋯×n⁸ zˇrejmˇe plat´ı

vec(D) = vec(T ×₃M ) = (I_n₈⊗ ⋯ ⊗I_n₄⊗M ⊗ I_n₂ ⊗I_n₁) ⋅ vec(T ), (5.1) kde vektorizaci tenzoru T lze pomoc´ı vztahu (4.9) zapsat

vec(T ) = (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗U₍₃₎⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗B₍₁₋₄₎) ⋅B₍₁₋₈₎. (5.2) Kombinac´ı vztah˚u (5.1) a (5.2) dost´av´ame tenzor D, resp. jeho vektorizaci ve tvaru

vec(D) = (I_n₈⊗I_n₇ ⊗I_n₆⊗I_n₅ ⊗I_n₄ ⊗M ⊗ I_n₂⊗I_n₁)

⋅ (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗U₍₃₎⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗B₍₁₋₄₎) ⋅B₍₁₋₈₎

= (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗ (M U₍₃₎) ⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗B₍₁₋₄₎) ⋅B₍₁₋₈₎, kde (M U₍₃₎) ∈R^m^×r⁽³⁾; s vyuˇzit´ım vztahu mezi klasickým maticovým násoben´ım a Kroneckerovým souˇcinem matic, viz napˇr. [26, poznámka 3].

Slovnˇe vyjádˇreno, pokud je tenzor T uloˇzený v HTD, vynásoben´ım listu U_(`) matic´ı M z´ıskáme souˇcin tenzoru T s matic´ı M v módu `, který formálnˇe vypadá jako

hierarchický Tucker˚uv rozklad, viz obrázek 5.1. Tedy je vyjádˇrený jako tenzorová s´ıt’, resp. binárn´ı strom se stejnou strukturou jako p˚uvodn´ı tenzor T . Narozd´ıl od HTD ale `-tý list stromu tenzoru D, tj. matice (M U_(`)), obecnˇe nemá navzájem ortonormáln´ı sloupce. Abychom HTD z´ıskali, je potˇreba provést reortogonalizaci sloupc˚u této matice a následnˇe pˇrepoˇc´ıtat ostatn´ı dotˇcené tenzory s´ıtˇe. Tˇemito kroky se budeme podrobnˇeji zabývat v kapitole 5.3.

Obrázek 5.1: Ilustrace souˇcinu tenzoru (z obrázku 4.2) osmého ˇrádu s matic´ı M ve tˇret´ım módu.

5.1.1 Line´ arn´ı zobrazen´ı ve tvaru Kroneckerova souˇ cinu

Speciálnˇe pro lineárn´ı zobrazen´ı, které lze zapsat ve tvaru Kroneckerova souˇcinu, tj.

A ∶ T z→ D, kde A =A_k⊗A_k₋₁⊗ ⋯ ⊗A₁, (5.3)

pˇriˇcemˇz oba uvaˇzované tenzory T i D jsou nyn´ı ˇrádu k (pro jednoduchost uvaˇzujme k = 2^ς, kde ς je pˇrirozené ˇc´ıslo), zˇrejmˇe plat´ı

vec(D) = vec(A(T )) = ((A_kU_(k)) ⊗ (A_k₋₁U_(k−1)) ⊗ ⋯ ⊗ (A₁U₍₁₎))

⋅ (B_{((k−1)−k)}⊗ ⋯ ⊗B₍₁₋₂₎) ⋅ (B_{((k−3)−k)}⊗ ⋯ ⊗B₍₁₋₄₎)

⋅ ⋯

⋅ (B((k/2+1)−k)⊗B_(1−(k/2))) ⋅B_(1−k).

Schematicky lze souˇcin vyjádˇrit pomoc´ı tenzorové s´ıtˇe na obrázku 5.2.

Obr´azek 5.2: Line´arn´ı zobrazen´ı ve tvaru Kroneckerova souˇcinu.

5.2 Souˇ cet dvou tenzor˚ u

Souˇcet tenzor˚u stejného ˇrádu a stejných rozmˇer˚u z´ıskáme jednoduˇse, bez jakýchkoli aritmetických operac´ı pouhým zˇretˇezen´ım odpov´ıdaj´ıc´ıch faktor˚u, obdobnˇe jako je ukázáno v [26, kap. 1.3.1 a 3.2.1] pro matice ve tvaru singulárn´ıch rozklad˚u, resp.

tenzory v Tuckerovˇe rozkladu.

Mˇejme napˇr´ıklad dva tenzory C, D ∈ Rⁿ¹^×⋯×n⁴ v HTD popsan´em stejn´ym stro-mem, tj.

vec(C) = (U₍₄₎^C ⊗U₍₃₎^C ⊗U₍₂₎^C ⊗U₍₁₎^C ) ⋅ (B₍₃₋₄₎^C ⊗B₍₁₋₂₎^C ) ⋅B₍₁₋₄₎^C ,

vec(D) = (U₍₄₎^D ⊗U₍₃₎^D ⊗U₍₂₎^D ⊗U₍₁₎^D ) ⋅ (B₍₃₋₄₎^D ⊗B₍₁₋₂₎^D ) ⋅B₍₁₋₄₎^D . (5.4) Potom jejich souˇcet E = C + D z´ısk´ame seˇrazen´ım pˇr´ısluˇsn´ych matic U_(`)^C a U_(`)^D za sebe, tj. dostaneme matice

[U_(`)^C , U_(`)^D] ∈Rⁿ^(`)^×(r

C(`)+r^D_(`)), ` = 1, . . . 4,

a diagonáln´ım zˇretˇezen´ım pˇr´ısluˇsných tenzor˚u B odpov´ıdaj´ıc´ıch jednotlivým matic´ım pˇrenosu. Pro pochopen´ı nejlépe poslouˇz´ı pˇr´ıklad na obrázku 5.3.

Takovýmto zp˚usobem vˇsak z´ıskáme, stejnˇe tak jako v pˇr´ıpadˇe souˇcinu tenzoru s matic´ı, tenzorovou s´ıt’, která má formálnˇe stejnou strukturu jako p˚uvodn´ı tenzory,

Obrázek 5.3: Ilustrace souˇctu dvou tenzor˚u C a D (5.4) ˇctvrtého ˇrádu ve tvaru HTD.

ale matice odpov´ıdaj´ıc´ı list˚um nemaj´ı ortogonáln´ı sloupce a tedy tato s´ıt’ nen´ı hierar-chickým Tuckerovým rozkladem tenzoru E . Pro z´ıskán´ı takové s´ıtˇe mus´ıme provést reortogonalizaci jako v pˇredchoz´ım pˇr´ıpadˇe; viz kap. 5.3.

Zde nav´ıc, na rozd´ıl od souˇcinu tenzoru s matic´ı, vzniká praktický problém s ve-likost´ı ukládaných dat. Vid´ıme, ˇze takto zkonstruovaný tenzor E = C + D potˇrebuje circa dvakrát v´ıce pamˇet’ových prostˇredk˚u neˇz tenzory C nebo D. To by samo o sobˇe nevadilo, pokud nebude potˇreba takovou operaci provádˇet opakovanˇe, napˇr.

pˇri ˇreˇsen´ı soustavy lineárn´ıch rovnic (tj. A(X ) = B s tenzorovou pravou stranou a lineárn´ım zobrazen´ım ve tvaru Kroneckerova souˇcinu) iteraˇcn´ı metodou. Tehdy by rostly pamˇet’ové nároky exponenciálnˇe s ˇc´ıslem iterace.

5.2.1 Line´ arn´ı kombinace tenzor˚ u

V´ıme-li jak tenzory ve tvaru hierarchického Tuckerova rozkladu sˇc´ıtat, uˇz nen´ı tˇeˇzké pochopit, jak bude vypadat linerárn´ı kombinace tenzor˚u stejných ˇrád˚u se stejnou strukturou binárn´ıho stromu HTD. Mˇejme tenzory T_i∈Rⁿ¹^×⋯×n^k v HTD se stejným stromem, a koeficienty α_i ∈R tvoˇr´ıc´ı lineárn´ı kombinaci

E = ∑

α_iT_i.

Zˇrejmˇe pro α-n´asobek tenzoru T (pro jednoduchost ˇr´adu k = 2^ς) plat´ı

Pˇripomeˇnme, ˇze koˇren B_(1−k) binárn´ıho stromu pˇredstavuj´ıc´ıho HTD tenzoru je di-agonáln´ı matic´ı se singulárn´ımi ˇc´ısly rozvoje tenzoru T podle multiindexu daného vˇetven´ım stromu; viz kap.4.1.1 a obrázek 4.2.

Pro v´ypoˇcet line´arn´ı kombinace E = ∑_iα_iT_i tedy potˇrebujeme

W nejprve z´ıskat jednotlivé sˇc´ıtance αiT_i, které dostaneme tak, ˇze ˇc´ıslem α_i vynásob´ıme diagonáln´ı matici v koˇreni stromu tenzoru T_i, a

W provést souˇcet tenzor˚uαiT_i, který budeme z´ıskávat postupem, který je popsaný v pˇredchoz´ım textu.

Takto z´ıskáme tenzor E ve tvaru tenzorové s´ıtˇe se stejnou strukturou jako mˇely tenzory T_i, pˇriˇcemˇz matice uloˇzené jako listy binárn´ıho stromu opˇet nemaj´ı navzájem ortogonáln´ı sloupce. I v tomto pˇr´ıpadˇe budeme provádˇet reortogonalizaci.

5.3 Reortogonalizace a rekomprese

V pˇredchoz´ıch ˇcástech textu (kapitoly5.1a5.2) jsme popsali prvn´ı kroky nˇekterých operac´ı s tenzory ve tvaru hierarchického Tuckerova rozkladu, kdy výsledkem byly vˇzdy tenzory, které se formálnˇe strukturou podobaly p˚uvodn´ım tenzor˚um. ˇCasto vˇsak chceme i výsledný tenzor ukládat ve tvaru HTD, proto potˇrebujeme udˇelat jeˇstˇe nˇekolik krok˚u, které nám toto umoˇzn´ı, konkrétnˇe to bude

W ortogonalizace list˚u bin´arn´ıho stromu,

W ortogonalizace rozvoj˚u tenzor˚u tˇret´ıho ˇrádu – výpoˇcet nových matic pˇrenosu, W komprese rozmˇer˚u faktor˚u binárn´ıho stromu.

Princip bude analogický principu pˇri operac´ıch s maticemi uloˇzenými v ekonomickém tvaru singulárn´ıho rozkladu, resp. s tenzory ve tvaru klasického Tuckerova rozkladu, viz [26, kap. 1.3], resp. [26, kap. 3.2.1].

Pro vysvˇetlen´ı mechanismu v´ypoˇctu nov´ych matic pˇrenosu pˇripomeˇnme nejprve vztah (4.14), tj.

U_C = (U_C_R⊗U_C_L) ⋅B_C, kde B_C ∈R^(r^CL^{⋅ r}^CR^)×r^C, (5.5)

je matice pˇrenosu a kde U_C, U_C_R, U_C_L jsou matice levých singulárn´ıch vektor˚u tvoˇr´ıc´ı ortonormáln´ı báze obor˚u hodnot pˇr´ısluˇsných rozvoj˚u tenzoru. Tedy plat´ı

U_C^TU_C =I, U_C^T

RU_C_R=I, U_C^T

LU_C_L =I,

kde jednotkové matice na pravých stranách jsou vhodných (obecnˇe r˚uzných) ˇrád˚u.

Pak zˇrejmˇe tak´e plat´ı

(U_C_R⊗U_C_L)^T(U_C_R⊗U_C_L) = (U_C^T

R⊗U_C^T

L)(U_C_R⊗U_C_L)

= (U_C^T

RU_C_R) ⊗ (U_C^T

LU_C_L) =I ⊗ I = I, (5.6) jak plyne z vlastnost´ı Kroneckerova souˇcinu. Kombinac´ı pˇredchoz´ıch rovnic z´ısk´ame vztah

I = U_C^TU_C = B_C^T(U_C_R⊗U_C_L)^T(U_C_R⊗U_C_L)B_C = B^T_CB_C, (5.7) tedy také matice pˇrenosu má ortonormáln´ı sloupce. Této vlastnosti budeme vyuˇz´ıvat pˇri reortogonalizaci. Budeme vˇzdy postupovat od list˚u ke koˇreni, tak jak naznaˇcuje obrázek 5.4. Postup pro jednotlivé operace rozebereme v samostatných podkapi-tolách.

Obr´azek 5.4: Zn´azornˇen´ı postupu reortogonalizace.

5.3.1 Reortogonalizace souˇ cinu tenzoru s matic´ı

V prvn´ım kroku souˇcinu tenzoru v HTD s matic´ı, kter´y jsme popsali na pˇr´ıkladu v kapitole5.1, tj. souˇcinu

D = T ×₃M, T ∈Rⁿ¹^×⋯×n⁸, M ∈ R^m^×n³, jsme na m´ıstˇe tˇret´ıho listu z´ıskali souˇcin

M U₍₃₎∈R^m^×r⁽³⁾,

viz obrázek 5.1. Abychom z´ıskali výsledný tenzor D v hierarchickém Tuckerovˇe roz-kladu, potˇrebujeme nejdˇr´ıve zajistit, aby matice – listy binárn´ıho stromu mˇely or-togonáln´ı sloupce. V naˇsem pˇr´ıkladu je nutné ortogonalizovat pouze sloupce tˇret´ıho listu, tedy matice M U₍₃₎.

Reortogonalizace listu

Ortogon´aln´ı sloupce zajist´ıme pomoc´ı QR rozkladu (viz napˇr. [4, kap. 3]) t´eto matice, tj. dostaneme

M U₍₃₎=Q₍₃₎R₍₃₎, kde Q₍₃₎∈R^m^×̃r⁽³⁾ a R₍₃₎∈R^̃r⁽³⁾^×r⁽³⁾, (5.8) kde

̃r₍₃₎=rank(M U₍₃₎) ≤r₍₃₎. (5.9) Matice Q₍₃₎ má ortogonáln´ı sloupce a bude tedy listem binárn´ıho stromu tak, jak je naznaˇceno na obrázku 5.5.

Poznamenejme, ˇze ̃r₍₃₎≤r₍₃₎ zp˚usob´ı, ˇze matice R₍₃₎ obecnˇe nen´ı ryze troj´ uhel-n´ıková (anglicky proper upper triangular), ale je v tzv. horn´ım schodovitém tvaru (anglicky row echelon form). Zde je mimo jiné prostor pro kompresi – zanedbáván´ım vhodnˇe urˇcených malých prvk˚u matice R z QR rozkladu listu (resp. list˚u) se m˚uˇzeme c´ılenˇe snaˇzit o sn´ıˇzen´ı hodnoty ̃r₍₃₎.

Násoben´ı trojúheln´ıkovým faktorem

Nyn´ı kdyˇz jsme zajistili, ˇze list má vzájemnˇe ortogonáln´ı sloupce, nás bude zaj´ımat, jak se projev´ı matice R₍₃₎ z QR rozkladu ve zbytku tenzorové s´ıtˇe. Dalˇs´ım krokem tedy bude násoben´ı tenzoru B₍₃₋₄₎ matic´ı R₍₃₎.

Pˇripomeˇnme vztah (4.14) vyjadˇruj´ıc´ı vztah matic U_(`) a matic pˇrenosu. Apliku-jeme-li tento vztah pro tenzor T z naˇseho pˇr´ıkladu, plat´ı

U₍₃₋₄₎= (U₍₄₎⊗U₍₃₎) ⋅B₍₃₋₄₎, kde B₍₃₋₄₎= B^{1,2}₍₃₋₄₎. (5.10) Poznamenejme, ˇze vztah (5.9) zaruˇcuje, ˇze násoben´ı matic´ı R lze vˇzdy provést, pokud nastane ̃r₍₃₎ < r₍₃₎, staˇc´ı doplnit matici R nulovými prvky do potˇrebných rozmˇer˚u.

Matice ̂B^{1,2}₍₃₋₄₎ nyn´ı ale nen´ı matic´ı pˇrenosu v pravém slova smyslu (tj. jak jsme ji zavedli na str. 37; viz (4.14)), nemá ortonormáln´ı sloupce. Abychom z n´ı matici pˇrenosu vytvoˇrili, mus´ıme zortogonalizovat sloupce této matice.

Obrázek 5.5: Schéma ortogonalizace listu binárn´ıho stromu pˇri souˇcinu tenzoru s ma-tic´ı. Matice Q z QR rozkladu je uloˇzena jako list binárn´ıho stromu, matic´ı R₍₃₎ budeme násobit pˇr´ısluˇsný tenzor tˇret´ıho ˇrádu.

Reortogonalizace matice pˇrenosu

Pro z´ıskán´ı ortonormáln´ı báze sloupcového prostoru matice ̂B₍₃₋₄₎^{1,2} provedeme opˇet jej´ı QR rozklad, tj.

B̂^{1,2}

(3−4)=Q₍₃₋₄₎R₍₃₋₄₎, Q₍₃₋₄₎∈R^(̃r⁽³⁾^{⋅ r}⁽⁴⁾^)×̃r⁽³⁻⁴⁾, R₍₃₋₄₎∈R^̃r⁽³⁻⁴⁾^×r⁽³⁻⁴⁾, (5.13) kde ̃r₍₃₋₄₎ = rank( ̂B^{1,2}₍₃₋₄₎). Zde matice Q₍₃₋₄₎ má ortonormáln´ı sloupce a je novˇe vypoˇc´ıtanou matic´ı pˇrenosu. Oznaˇc´ıme formálnˇe Q₍₃₋₄₎≡ ̃B₍₃₋₄₎, tj. rozvoj tenzoru B̃^{1,2}

(3−4), který bude uloˇzen v binárn´ım stromu HTD výsledného tenzoru; pro ilustraci viz obrázek5.6.

Stejným zp˚usobem postupujeme dále binárn´ım stromem, a tedy dalˇs´ım krokem je souˇcin

B̂₍₁₋₄₎= B₍₁₋₄₎×₂R₍₃₋₄₎, QR rozklad rozvoje ̂B^{1,2}

(1−4) = Q₍₁₋₄₎R₍₁₋₄₎ atd., dokud se nedostaneme ke koˇreni binárn´ıho stromu. Vektorizaci tenzoru D = T ×₃M tedy po tˇechto kroc´ıch dostáváme

Obrázek 5.6: Schéma postupu reortogonalizace, kdy jsme z´ıskali reortogonalizovanou matici pˇrenosu, uloˇzili ji do binárn´ıho stromu jako tenzor tˇret´ıho ˇrádu a matic´ı R₍₃₋₄₎ z QR rozkladu budeme násobit dále.

v podobˇe

vec(D) = (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗ ̃U₍₃₎⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗ ̃B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗ ̃B₍₁₋₄₎) ⋅ ̂B₍₁₋₈₎. (5.14) Formálnˇe ale jeˇstˇe nemáme HTD tenzoru D, protoˇze koˇren stromu – matice ̂B₍₁₋₈₎ (pozn. ̂B₍₁₋₈₎ =vec( ̂B₍₁₋₈₎)) – nen´ı diagonáln´ı; t´ım se budeme zabývat pozdˇeji, viz kap.5.3.3.

5.3.2 Reortogonalizace souˇ ctu dvou tenzor˚ u

V pˇr´ıpadˇe souˇctu dvou tenzor˚u budeme postupovat analogicky jako v pˇr´ıpadˇe souˇ ci-nu tenzoru s matic´ı. Jediným rozd´ılem je, ˇze ortogonalitu sloupc˚u nebudeme potˇre-bovat zajistit jen pro jednu matici (jeden list binárn´ıho stromu), ale pro vˇsechny listy binárn´ıho stromu, tj. matice [U_(`)^C , U_(`)^D ], sestaveného tak, jak jsme popsali v kapitole 5.2. Stejnˇe tak budeme ch´ıt zajistit, aby tenzory tˇret´ıho ˇrádu v binárn´ım stromu odpov´ıdaly matic´ım pˇrenosu, a tedy jejich rozvoje mˇely ortonormáln´ı sloupce.

Reortogonalizace list˚u

Spoˇc´ıt´ame tedy QR rozklady list˚u stromu, tj.

[U_(`)^C , U_(`)^D] =Q_(`)R_(`), kde Q_(`) ∈Rⁿ^(`)^×̃r^(`) a R_(`) ∈R^̃r^(`)^×(r

C(`)+r^D_(`))

(srovnej s (5.8)). Kaˇzdá matice Q_(`) má ortogonáln´ı sloupce a tedy vˇsechny tyto matice budou uloˇzeny jako listy binárn´ıho stromu HTD tenzoru E formálnˇe ozna-ˇcené ̃U_(`)Ê ≡Q_(`). Matice R_(`) potom mus´ıme vynásobit pˇr´ısluˇsné tenzory binárn´ıho stromu.

Násoben´ı trojúheln´ıkovými faktory

V naˇsem pˇr´ıkladu z kapitoly 5.2 oznaˇcme jako BÊ₍₁₋₂₎ diagonáln´ı tenzor sestavený z tenzor˚u B^C₍₁₋₂₎ a B₍₁₋₂₎^D . Provedeme tedy souˇcin

B̂₍₁₋₂₎^E = B₍₁₋₂₎^E ×₁R₍₁₎×₂R₍₂₎∈R^̃r⁽¹⁾^×̃r⁽²⁾^×r⁽¹⁻²⁾

(srovnej s (5.12)). Analogicky budeme provádˇet dalˇs´ı souˇciny, tenzor˚u B a matic R. Takto z´ıskané tenzory ̂B ale opˇet nereprezentuj´ı matice pˇrenosu, protoˇze nemaj´ı ortonormáln´ı sloupce.

Reortogonalizace matic pˇrenosu

Pro matice ̂B^{1,2} tedy vˇzdy provedeme QR rozklad, tj. v naˇsem pˇr´ıkladu z´ıskáme ( ̂B₍₁₋₂₎Ê )^{1,2}=Q₍₁₋₂₎R₍₁₋₂₎, Q₍₁₋₂₎∈R^(̃r⁽¹⁾^{⋅ ̃r}⁽²⁾^)×̃r⁽¹⁻²⁾, R₍₁₋₂₎∈R^̃r⁽¹⁻²⁾^×r⁽¹⁻²⁾, kde ̃r₍₁₋₂₎=rank(( ̂B₍₁₋₂₎Ê )^{1,2}) (srovnej s (5.13)); atd. Matice Q maj´ı ortonormáln´ı sloupce a proto odpov´ıdaj´ı matic´ım pˇrenosu. Oznaˇc´ıme-li formálnˇe ̃B₍₁₋₂₎Ê ≡Q₍₁₋₂₎ atd., tyto matice jsou rozvoji tenzor˚u tˇret´ıho ˇrádu v binárn´ım stromu HTD tenzoru E, tj. napˇr´ıklad ̃B₍₁₋₂₎Ê = ( ̃BÊ

(1−2))^{1,2}. T´ımto zp˚usobem postupujeme dále smˇerem ke koˇreni stromu. Pˇripomeˇnme znovu, ˇze v pˇr´ıpadˇe souˇctu tenzor˚u se ortogonalizace bude týkat vˇsech tenzor˚u v binárn´ım stromu tenzoru E , tj. nakonec dostáváme

vec(E ) = ( ̃U₍₄₎Ê ⊗ ̃U₍₃₎Ê ⊗ ̃U₍₂₎Ê ⊗ ̃U₍₁₎Ê ) ⋅ ( ̃BÊ₍₃₋₄₎⊗ ̃B₍₁₋₂₎Ê ) ⋅ ̂B₍₁₋₄₎Ê . (5.15) Formálnˇe ale jeˇstˇe nemáme HTD tenzoru D, protoˇze koˇren stromu – matice ̂B₍₁₋₄₎Ê

In document Tenzorov´e s´ıtˇe a hierarchick´y Tucker˚uv rozklad (Page 34-0)