Speci´ aln´ı tenzorov´ e s´ıtˇ e - Tenzorov´e s´ıtˇe a hierarchick´y Tucker˚uv rozklad

α1,...,α9

ai1,i2,α1⋅bi3,α1,α2α3 ⋅cα2,α9,α9,α4,α5⋅dα4,α6⋅eα5,α6,i4,i5⋅fα3,α7,α8 ⋅gα7,α8,i6).

Obrázek 3.6: Rozklad tenzoru T ˇsestého ˇrádu do (resp. aproximace pomoc´ı) tenzo-rové s´ıtˇe tvoˇrené tenzory A, B, C, D, E , F a G niˇzˇs´ıch ˇrád˚u; viz pˇr´ıklad 1.

3.5 Speci´ aln´ı tenzorov´ e s´ıtˇ e

Obecnˇe je motivac´ı pro konstrukci tenzorových s´ıt´ı zejména umoˇznit práci s roz-sáhlými v´ıcerozmˇernými daty. Napˇr´ıklad tenzor T ∈ R²^×2×⋯×2 ˇrádu 100 obsahuje 2¹⁰⁰≈1.2676506 × 10³⁰ prvk˚u, coˇz zˇrejmˇe nelze uloˇzit do pamˇeti poˇc´ıtaˇce.¹ Nav´ıc zde ani pˇr´ıpadná komprese, napˇr. pomoc´ı klasického Tuckerova rozkladu (viz [26, kap.

4], [19, str. 20], a [3, str. 1267]), nepom˚uˇze. Dalˇs´ı motivac´ı m˚uˇze být snaha pomoc´ı tenzorových s´ıt´ı zpˇrehlednit mnohorozmˇerná data, viz zejména [18]. Naˇs´ım c´ılem tedy bude naj´ıt takové s´ıtˇe, které umoˇzn´ı

W sn´ıˇzit pamˇet’ové nároky (tj. budeme cht´ıt naj´ıt rozklad do s´ıtˇe s co nejménˇe tenzory co nejniˇzˇs´ıch ˇrád˚u);

1Uvaˇzujeme-li, ˇze na uloˇzen´ı jednoho ˇc´ısla napˇr. v pˇresnosti double potˇrebujeme 8 byt˚u, pak 2¹⁰⁰=2⁶⁰⋅2⁴⁰ a na uloˇzen´ı 2⁴⁰=1024⁴ˇc´ısel potˇrebujeme 8 terabyt˚u.

W snadno dále manipulovat s tenzory ve tvaru s´ıtˇe (tj. hledáme topologicky jed-noduché s´ıtˇe).

Tyto poˇzadavky vedou k tenzorové s´ıti ve tvaru binárn´ıho stromu. Nejˇcastˇeji pou-ˇz´ıvané jsou: hierarchický Tucker˚uv rozklad (HTD; z anglického hierarchical Tucker decomposition), viz napˇr. [19, kap. 3] nebo [7], tensor train (TT), viz [17], a dalˇs´ı, viz také obrázek 3.7. V ideáln´ım pˇr´ıpadˇe hierarchický Tucker˚uv rozklad dostáváme ve tvaru vyváˇzeného binárn´ıho stromu. Obecnˇe se snaˇz´ıme dostat strom, který nen´ı pˇr´ıliˇs nevyváˇzený. Pˇr´ıpadná nevyváˇzenost m˚uˇze být zp˚usobena:

W ˇr´adem tenzoru (je-li r˚uzn´y od k = 2^ς);

W praktickými d˚uvody (významem komponent – tj. kdyˇz fyzické indexy od-pov´ıdaj´ı urˇcitému jevu, napˇr. tepelné vodivosti jako v [13, kap. 4.1]).

Obrázek 3.7: Pˇr´ıklady tenzorových s´ıt´ı odpov´ıdaj´ıc´ı tenzoru ˇsestého ˇrádu (zleva):

hierarchický Tucker˚uv rozklad tenzoru (HTD) – s´ıt’ ve tvaru ne zcela vyváˇzeného binárn´ıho stromu, tensor train (TT) – maximálnˇe nevyváˇzený binárn´ı strom a tzv.

tensor chain (TC), viz [9, str. 5]. Ten z pˇredchoz´ıho rozkladu vzniká pˇridán´ım je-diné hrany; na rozd´ıl od obou pˇredchoz´ıch obsahuje kruˇznici a je tedy výpoˇcetnˇe nároˇcnˇejˇs´ı na konstrukci. Pokud se budeme na vnitˇrn´ı tmavˇs´ı blok d´ıvat jako na jediný tenzor, vˇsechny tˇri obrázky mohou pˇredstavovat obyˇcejný Tucker˚uv rozklad.

4 Hierarchick´ y Tucker˚ uv rozklad (HTD)

Jedn´ım z rozklad˚u, jehoˇz struktura je znázorˇnována ve tvaru tenzorové s´ıtˇe, je hi-erarchický Tucker˚uv rozklad. Klasický Tucker˚uv rozklad, který jsme jiˇz pˇripomnˇeli v kapitole 1, umoˇzˇnuje vyjádˇren´ı tenzoru ˇrádu k ve tvaru souˇcinu tenzoru (jehoˇz rozmˇery jsou omezené vektorovým rankem p˚uvodn´ıho tenzoru) ˇrádu k, tzv. jádra tenzoru, s k maticemi. Hierarchický Tucker˚uv rozklad (HTD z anglického hierarchi-cal Tucker decomposition) spoˇc´ıvá nav´ıc v rozloˇzen´ı Tuckerova jádra daného tenzoru do tvaru souˇcinu jednoduˇsˇs´ıch tenzor˚u. Takový rozklad m˚uˇzeme reprezentovat ten-zorovou s´ıt´ı (pˇredem dané struktury). V této kapitole vysvˇetl´ıme základn´ı princip vytvoˇren´ı hierarchického Tuckerova rozkladu a t´ım zároveˇn ovˇeˇr´ıme jeho existenci.

4.1 Struktura HTD

V této ˇcásti si ukáˇzeme, jakým zp˚usobem lze tenzor transformovat do potˇrebné struktury dané tenzorvou s´ıt´ı, která bude m´ıt podobu binárn´ıho stromu, jako napˇr.

na obr´azku 3.7 vlevo. Uvaˇzujme tedy tenzor (1.1) ˇr´adu k

T = (t_i₁_,i₂_,...,i_k) ∈Rⁿ¹^×n²^×⋯×n^k. (4.1) Nultým krokem m˚uˇze být klasický Tucker˚uv rozklad, pˇriˇcemˇz HTD se provede pro Tuckerovo jádro. My zde HTD vyloˇz´ıme pro obecný tenzor (ne nezbytnˇe Tuckerovo jádro).

4.1.1 Nalezen´ı tenzoru druh´ eho ˇ r´ adu – koˇ rene bin´ arn´ıho stromu

Nyn´ı budeme hledat rozklad tenzoru do s´ıtˇe pˇredepsaného tvaru. Konkrétnˇe bu-deme cht´ıt dosáhnout co nejv´ıce vyváˇzeného stromu. Z kapitoly2.1.4v´ıme, ˇze kromˇe vrchol˚u s volnˇe vis´ıc´ımi hranami obsahuje binárn´ı strom vrcholy stupˇn˚u 3 a jeden vrchol (koˇren) stupnˇe 2. D˚uleˇzitými nástroji pro nalezen´ı takového binárn´ıho stromu dále budou:

W rozvoj tenzoru v matici (viz definici 3),

W singul´arn´ı rozklad matice (viz napˇr. [4, kap. 5]).

Tenzorovou s´ıt’ konkrétn´ıho tvaru z´ıskáme tak, ˇze kaˇzdá hrana tenzorové s´ıtˇe bude pˇredstavovat rozvoj tenzoru v módech odpov´ıdaj´ıch rozdˇelen´ı mnoˇziny index˚u ten-zoru. V naˇsem pˇr´ıpadˇe, kdy chceme z´ıskat vyváˇzený binárn´ı strom pro jádro tenzoru

(4.1), rozdˇel´ıme mnoˇzinu jeho index˚u

{1, 2, . . . , k}

do dvou disjunktn´ıch podmnoˇzin

{1, . . . , s} a {s + 1, . . . , k},

pro nˇejak´e s, 1 ≤ s < k. Potom lze vytvoˇrit rovoj tenzoru v matici podle prvn´ı podmnoˇziny, tj.

T^{1,...,s}∈R^N^L^×N^R, kde N_L=n₁⋅n₂⋅ ⋯ ⋅n_s, N_R=n_s₊₁⋅n_s₊₂⋅ ⋯ ⋅n_k. Uvaˇzujme ekonomický tvar singulárn´ıho rozkladu této matice

T^{1,...,s}=U_(1−s)Σ_(1−s)(V_(1−s))^T, (4.2) kde

U_(1−s) ∈R^N^L^×r^(1−s), Σ_(1−s)∈R^r^(1−s)^×r^(1−s), V_(1−s)∈R^N^R^×r^(1−s), (4.3) pˇriˇcemˇz

r_(1−s)=rank (T^{1,...,s}). (4.4)

T´ımto jsme dosáhli prvn´ıho kroku pˇri hledán´ı HTD, jelikoˇz máme tenzor ˇrádu 2, matici Σ_(1−s), která je koˇrenem hledaného binárn´ıho stromu, viz obrázek 3.7 vlevo.

4.1.2 Vˇ etven´ı bin´ arn´ıho stromu pomoc´ı tenzor˚ u tˇ ret´ıho ˇ r´ adu

Z obrázku je dále patrné, ˇze s´ıt’ HTD obsahuje také velké mnoˇzstv´ı tenzor˚u tˇret´ıho ˇrádu, které budeme hledat ve smˇeru k list˚um, tak jak naznaˇcuje obrázek4.1.

Pro jejich nalezen´ı vyuˇzijeme d˚uleˇzitou vlastnost, kterou pozdˇeji zobecn´ıme ve vˇetˇe 1. Uvaˇzujme m takové, ˇze 1 ≤ m < s. Uvaˇzujme dále matice U_(1−m) a U_((m+1)−s) levých singulárn´ıch vektor˚u z´ıskané z ekonomických singulárn´ıch rozklad˚u rozvoj˚u T^{1,...,m} a T{m+1,...,s} podobnˇe jako ve (4.2)–(4.4). Pro obor hodnot matice U_(1−s) plat´ı

R(U_(1−s)) ⊆ R (U_((m+1)−s)⊗U_(1−m)), (4.5) neboli kaˇzdý sloupec matice U_(1−s) lze zapsat jako lineárn´ı kombinaci sloupc˚u Kro-neckerova souˇcinu matic U_(1−m) a U_((m+1)−s). Tedy existuje matice B taková, ˇze

U_(1−s) = (U_((m+1)−s)⊗U_(1−m)) ⋅B_(1−s), B_(1−s)∈R^(r^(1−m)^{⋅ r}^((m+1)−s)^)×r^(1−s); (4.6) sloupce matice B_(1−s) obsahuj´ı koeficienty výˇse zm´ınˇených lineárn´ıch kombinac´ı.

Tuto matici je moˇzné chápat jako rovoj tenzoru tˇret´ıho ˇrádu B tak, ˇze B_(1−s)= B^{1,2}

(1−s), kde B_(1−s)∈R^r^(1−m)^×r^((m+1)−s)^×r^(1−s). (4.7) Analogickým postupem budeme dál pracovat s maticemi U_(1−m) a U_((m+1)−s), ˇc´ımˇz se postupnˇe rozvˇetvuje binárn´ı strom a z´ıskáváme tak dalˇs´ı faktory – tenzory tˇret´ıho ˇrádu – tenzorové s´ıtˇe, viz obrázek 4.2. S matic´ı V_(1−s) naloˇz´ıme podobnˇe, staˇc´ı si uvˇedomit, ˇze plat´ı

V_(1−s)≡U_((s+1)−k), nebot’ (T^{1,...,s})^T = T{s+1,...,k}. (4.8) Uvˇedomme si, ˇze podobu tenzorové s´ıtˇe (vˇetven´ı binárn´ıho stromu) urˇcuje vˇzdy rozdˇelen´ı mnoˇziny index˚u a tomu odpov´ıdaj´ıc´ı rozvoje v jednotlivých kroc´ıch.

Obrázek 4.1: Znázornˇen´ı vˇetven´ı binárn´ıho stromu – tenzorové s´ıtˇe pˇri hierarchickém Tuckerovˇe rozkladu.

4.1.3 Listy stromu – tenzory druh´ eho ˇ r´ adu

Zp˚usobem popsan´ym v pˇredchoz´ı ˇc´asti se postupnˇe dostaneme aˇz k mnoˇzinˇe matic U₍₁₎, U₍₂₎, . . . , U_(k), U_(`) ∈Rⁿ^`^×r^(`), ` = 1, . . . , k.

Pˇripomeˇnme, ˇze pro hodnoty r_` z klasického Tuckerova rozkladu a hodnosti r_(`), které z´ıskáváme pˇri hierarchickém Tuckerovˇe rozkladu plat´ı

r_`=r_(`)=rank(T^{`}),

jelikoˇz hodnosti Tuckerova jádra jsou dány jednoznaˇcnˇe. Dále také zˇrejmˇe plat´ı R(U_`^′) = R(U_(`)).

4.1.4 Pˇ r´ıklad rozkladu tenzoru osm´ eho ˇ r´ adu

Pˇr´ıklad 2. V tomto pˇr´ıkladu postupnˇe pouˇzijeme vztah (4.6) k ilustraci postupu pˇri HTD tenzoru T ˇrádu k = 8 = 2³, viz také obrázek 4.2. Zˇrejmˇe plat´ı

vec(T ) = T^{1,...,8} = (U₍₅₋₈₎⊗U₍₁₋₄₎) ⋅B₍₁₋₈₎, kde B₍₁₋₈₎=vec(Σ₍₁₋₄₎) a U₍₅₋₈₎=V₍₁₋₄₎, viz (4.2) a (4.8), a kde

U₍₁₋₄₎ = (U₍₃₋₄₎⊗U₍₁₋₂₎) ⋅B₍₁₋₄₎, U₍₅₋₈₎ = (U₍₇₋₈₎⊗U₍₅₋₆₎) ⋅B₍₅₋₈₎,

Obrázek 4.2: Ilustrace hierarchického Tuckerova rozkladu tenzoru osmého ˇrádu, kde jsme formálnˇe oznaˇcili B₍₁₋₈₎=Σ₍₁₋₄₎∈R^r⁽¹⁻⁴⁾^×r⁽¹⁻⁴⁾, viz (4.4).

kde d´ale

U₍₁₋₂₎ = (U₍₂₎⊗U₍₁₎) ⋅B₍₁₋₂₎, U₍₃₋₄₎ = (U₍₄₎⊗U₍₃₎) ⋅B₍₃₋₄₎, U₍₅₋₆₎ = (U₍₆₎⊗U₍₅₎) ⋅B₍₅₋₆₎, U₍₇₋₈₎ = (U₍₈₎⊗U₍₇₎) ⋅B₍₇₋₈₎.

Potom, s vyuˇzit´ım asociativity Kroneckerova souˇcinu, po dosazen´ı plat´ı vec(T ) = (U₍₈₎⊗U₍₇₎⊗U₍₆₎⊗U₍₅₎⊗U₍₄₎⊗U₍₃₎⊗U₍₂₎⊗U₍₁₎)

⋅ (B₍₇₋₈₎⊗B₍₅₋₆₎⊗B₍₃₋₄₎⊗B₍₁₋₂₎) ⋅ (B₍₅₋₈₎⊗B₍₁₋₄₎) ⋅B₍₁₋₈₎. (4.9) Matice B, nazývané také matice pˇrenosu, lze (s výjimkou koˇrene stromu) pˇrevést do tvaru tenzor˚u tˇret´ıch ˇrád˚u, tj.

B₍₁₋₄₎∈R^(r⁽¹⁻²⁾^{⋅ r}⁽³⁻⁴⁾^)×r⁽¹⁻⁴⁾ ⇐⇒ B₍₁₋₄₎∈R^r⁽¹⁻²⁾^×r⁽³⁻⁴⁾^×r⁽¹⁻⁴⁾, B₍₅₋₈₎∈R^(r⁽⁵⁻⁶⁾^{⋅ r}⁽⁷⁻⁸⁾^)×r⁽⁵⁻⁸⁾ ⇐⇒ B₍₅₋₈₎∈R^r⁽⁵⁻⁶⁾^×r⁽⁷⁻⁸⁾^×r⁽⁵⁻⁸⁾,

B₍₁₋₂₎∈R^(r⁽¹⁾^{⋅ r}⁽²⁾^)×r⁽¹⁻²⁾ ⇐⇒ B₍₁₋₂₎∈R^r⁽¹⁾^×r⁽²⁾^×r⁽¹⁻²⁾, B₍₃₋₄₎∈R^(r⁽³⁾^{⋅ r}⁽⁴⁾^)×r⁽³⁻⁴⁾ ⇐⇒ B₍₃₋₄₎∈R^r⁽³⁾^×r⁽⁴⁾^×r⁽³⁻⁴⁾, B₍₅₋₆₎∈R^(r⁽⁵⁾^{⋅ r}⁽⁶⁾^)×r⁽⁵⁻⁶⁾ ⇐⇒ B₍₅₋₆₎∈R^r⁽⁵⁾^×r⁽⁶⁾^×r⁽⁵⁻⁶⁾, B₍₇₋₈₎∈R^(r⁽⁷⁾^{⋅ r}⁽⁸⁾^)×r⁽⁷⁻⁸⁾ ⇐⇒ B₍₇₋₈₎∈R^r⁽⁷⁾^×r⁽⁸⁾^×r⁽⁷⁻⁸⁾.

Vid´ıme, ˇze dostáváme tenzor T v podobˇe zcela vyváˇzeného binárn´ıho stromu, viz obrázek 4.2.

In document Tenzorov´e s´ıtˇe a hierarchick´y Tucker˚uv rozklad (Page 30-36)