Tucker˚ uv rozklad tenzoru ˇr´ adu 3 - Tenzorov´e s´ıtˇe a hierarchick´y Tucker˚uv rozklad

Podobnˇe jako v lineárn´ı algebˇre je velice uˇziteˇcným nástrojem singulárn´ı rozklad matice (SVD z anglického singular value decomposition), existuje ve v´ıcerozmˇerném pˇr´ıpadˇe (tj. pro ˇrád tˇri a v´ıce) jeho zobecnˇen´ı, tzv. Tucker˚uv rozklad. V nˇekterých zdroj´ıch se m˚uˇzeme setkat také s názvy high-order SVD (HOSVD), tedy singulárn´ı rozklad vyˇsˇs´ıch ˇrád˚u. Zˇrejmˇe pro matice (tenzory ˇrádu dva) odpov´ıdá Tucker˚uv rozklad pˇr´ımo singulárn´ımu rozkladu matice.

Definice 4 (Tucker˚uv rozklad). Necht’ T je tenzor ˇr´adu k. Potom

T = S ×₁U₁×₂U₂×. . . ×_kU_k, U_`=U_`⁻¹, (1.6) kde U_` jsou matice s levými singulárn´ımi vektory matic rozvoj˚u tenzoru T v daných módech, tj. T^{`}, ` = 1, 2, . . . , k, nazýváme Tucker˚uv rozklad tenzoru T . Tenzor S se nazývá Tuckerovo jádro.

Tucker˚uv rozklad tenzoru je zˇrejmˇe zobecnˇen´ım singul´arn´ıho rozkladu matice. Pokud ˇc´ısla r1, r2, . . . , rk jsou hodnosti rozvoj˚u v m´odech 1, 2, . . . , k, posledn´ıch (n` −r`)

ˇrádk˚u matic T^{`}obsahuje pouze nuly. Tucker˚uv rozklad potom m˚uˇzeme stejnˇe jako singulárn´ı rozklad tenzoru vyjádˇrit v tzv. ekonomickém tvaru, tj.

T = S_T ×₁U₁^′×₂U₂^′× ⋯ ×_kU_k^′, S_T ∈R^r¹^×r²^×⋯×r^k, U_` ∈Rⁿ^`^×r^`, (1.7) viz [20], [21], [22], pˇr´ıpadnˇe [11, kap. 4.1] a [19, kap. 4.1], pro ilustraci Tuckerova rozkladu viz obr´azek 1.1.

×₁

×₂

×

Obr´azek 1.1: Tucker˚uv rozklad (HOSVD) tenzoru ˇr´adu 3. Pˇrevzato z [11].

Poznamenejme, ˇze minimáln´ı rozmˇery Tuckerova jádra, tj. právˇe rozmˇery tenzoru S_T z (1.7) se nazývaj´ı (vektorová) hodnost tenzoru, pˇr´ıpadnˇe vektorový rank, viz [11, kap. 3]. Tuckerovo jádro v pˇr´ıpadˇe obecného tenzoru vˇsak na rozd´ıl od maticového pˇr´ıpadu nemá diagonáln´ı strukturu, ale je obecnˇe hustý tenzor.

Pro podrobnˇejˇs´ı pˇrehled o manipulaci s tenzory ve tvaru Tuckerova rozkladu nebo jeho vyuˇzit´ı k aproximaci tenzoru tenzorem niˇzˇs´ı hodnosti viz [26].

2 Grafy

V této kapitole se seznám´ıme se základn´ımi pojmy týkaj´ıc´ı se teorie graf˚u. Tyto poznatky budeme dále potˇrebovat v dalˇs´ıch kapitolách pro vysvˇetlen´ı tenzorových s´ıt´ı. Pˇri zavádˇen´ı pojm˚u vycház´ıme zejména z [16].

2.1 Z´ akladn´ı pojmy teorie graf˚ u

Grafy jsou prostˇredkem pro vyj´adˇren´ı nˇejak´e mnoˇziny bod˚u a vztah˚u mezi nimi.

Tyto body nazýváme vrcholy nebo uzly grafu a pˇr´ısluˇsné vztahy mezi nimi jsou vyjádˇrené spojnicemi, které nazýváme hrany grafu. Grafy lze definovat r˚uznˇe, nej-ˇcastˇeji se setkáváme s následuj´ıc´ımi definicemi:

Definice 5 (Orientovaný graf). Orientovaný graf G je uspoˇrádaná dvojice (V, H), kde V = {v1, v2, . . . , vn} je nˇejaká neprázdná mnoˇzina a

H ⊆ V × V ≡ {(v_i, v_j) ∶ i, j ∈ {1, . . . , n}} (2.1) je mnoˇzina uspoˇr´adan´ych dvojic mnoˇziny V .

Definice 6 (Neorientovaný graf). Neorientovaný graf G je opˇet uspoˇrádaná dvojice (V, H), kde V = {v₁, v₂, . . . , v_n} je nˇejaká neprázdná mnoˇzina, ale

H ⊆ (V

2) ≡ {{v_i, v_j} ∶ i, j ∈ {1, . . . , n}} (2.2) je mnoˇzina dvouprkvkov´ych podmnoˇzin mnoˇziny V .

Prvky mnoˇziny V se nazývaj´ı vrcholy grafu G (nˇekdy také uzly) a prvky mnoˇziny H hrany grafu G. Pˇr´ıklad neorientovaného i orientovaného grafu je na obrázku 2.1.

2.1.1 Volnˇ e vis´ıc´ı hrany, multi-hrany a smyˇ cky

My budeme dále pracovat pouze s neorientovanými grafy. Budeme ale potˇrebovat nav´ıc zavést:

W tzv. volnˇe vis´ıc´ı hrany (anglicky dangling edges, viz [19, str. 29]), tj. hrany, kter´e maj´ı pouze jeden vrchol;

W v´ıce hran mezi jednou dvojic´ı vrchol˚u, tzv. n´asobnost hran.

Obrázek 2.1: Orientovaný graf (vlevo), ˇsipkami je znázornˇena orientace hran; zat´ımco napˇr. (v₅, v₄) je hranou, (v₄, v₅) hranou nen´ı. Neorientovaný graf (vpravo); zde je hranou {v4, v5}.

Pro zaveden´ı obecné tenzorové s´ıtˇe nav´ıc bude vhodné uvaˇzovat grafy, které mohou obsahovat:

W hrany, kter´e zaˇc´ınaj´ı a konˇc´ı ve stejn´em vrcholu, tzv. smyˇcky.

Poznamenejme, ˇze definice5, na rozd´ıl od definice 6, existenci smyˇcek umoˇzˇnuje.

Tˇechto rozˇs´ıˇren´ı pojmu neorientovaného grafu m˚uˇzeme doc´ılit napˇr. následuj´ıc´ımi konstrukcemi: Mnoˇzinu V nahrad´ıme mnoˇzinou V ∪ {f } = {f, v₁, v₂, . . . , v_n}, tedy pˇridáme speciáln´ı vrchol f , pˇriˇcemˇz hrany typu {f, v_i}budeme nazývat volnˇe vis´ıc´ı hrany (pozdˇeji budou odpov´ıdat tzv. fyzickým index˚um tenzoru). Násobnost vyˇre-ˇs´ıme zaveden´ım tzv. multigrafu, viz [16, str. 139]. Smyˇcky jsou neorientované hrany s obˇema konci ve stejném vrcholu; formálnˇe je m˚uˇzeme povaˇzovat za prvky mnoˇziny jednoprvkových podmnoˇzin mnoˇziny V , tj. mnoˇziny

1) ≡ {{v_i}, i ∈ {1, . . . , n}}.

Vˇsechna tato rozˇs´ıˇren´ı shrneme v n´asleduj´ıc´ı definici.

Definice 7 (Neorientovan´y multigraf s volnˇe vis´ıc´ımi hranami a smyˇckami). Uspo-ˇr´adanou dvojici G = (V ∪ {f }, µ), kde V = {v₁, v₂, . . . v_n} a

µ ∶ (V ∪ {f } 2 ) ∪ (

1) Ð→N0,

budeme naz´yvat neorientovan´y multigraf s volnˇe vis´ıc´ımi hranami a smyˇckami.

Prvky mnoˇziny V nazýváme vrcholy a prvek f nazýváme volný vrchol. Prvky mnoˇziny (^V^∪{f}₂ ) ∪ (^V₁) nazýváme hranami, pˇriˇcemˇz prvky typu {vi, vj} jsou hrany v klasickém slova smyslu, prvky typu {f, v_i} jsou volnˇe vis´ıc´ı hrany a prvky typu {v_i} jsou smyˇcky.

Zobrazen´ı m pˇriˇrad´ı kaˇzd´e hranˇe h` ∈ (^V^∪{f}

2 ) ∪ (^V₁) násobnost µ(h`). Pokud je násobnost hrany µ(h_`) = 0, hrana nen´ı v grafu pˇr´ıtomna; µ(h_`) = 1 znamená, ˇze hrana je jednoduchá; µ(h_`) >1 znamená násobnou hran, tzv. multi-hranu.

V následuj´ıc´ım textu budeme slovem graf témˇeˇr výhradnˇe rozumˇet právˇe neori-entovaný multigraf s volnˇe vis´ıc´ımi hranami a smyˇckami.

2.1.2 Stupeˇ n vrcholu

Mˇejme graf G, který obsahuje vrchol v. Poˇcet hran, ve kterých je pˇr´ıtomen vrcholu v, nazýváme stupeˇn vrcholu v v grafu G. Toto ˇc´ıslo oznaˇcujeme deg(v), viz [16]. Vrcholy grafu, které maj´ı stupeˇn 0 se nazývaj´ı izolované. Stupˇeˇn vrcholu závis´ı na typech vrchol˚u a násobnostech hran. Stupeˇn vrcholu vi m˚uˇzeme vyjádˇrit jako následuj´ıc´ı souˇcet:

kde sˇc´ıtáme poˇcty klasických, volnˇe vis´ıc´ıch hran a smyˇcek, které vedou z daného vrcholu, zat´ımco stupeˇn vrcholu f je dán následuj´ıc´ı rovnost´ı

deg(f ) =

∑

µ({v_j, f }), (2.4)

kde sˇc´ıtáme pouze volnˇe vis´ıc´ı hrany. Poznamenejme, ˇze smyˇcka z vrcholu f nen´ı pˇr´ıpustná. Pojem stupeˇn vrcholu ilustruje obrázek 2.2.

Obr´azek 2.2: Graf se ˇctyˇrmi vrcholy v₁, v₂, v₃ a f ; zde deg(v_j) = 1, 6, 3, postupnˇe pro j = 1, 2, 3, a deg(f ) = 2.

2.1.3 Cesta a kruˇ znice, souvisl´ y graf a strom

Nyn´ı vysvˇetl´ıme nˇekolik pojm˚u, které se ˇcasto vyskytuj´ı pˇri práci s grafy a i my je v této práci budemem pouˇz´ıvat.

Cesta (d´elky `) z vrcholu v_i do vrcholu v_j je libovoln´a posloupnost hran n´ asob-nosti alespoˇn jedna

P (vi, vj) = {{vi, vi1}, {vi1, vi2}, . . . , {vi_`−1, vj}}.

Poznamenejme, ˇze námi zavedená cesta nem˚uˇze obsahovat smyˇcky, tj. hrany typu {v_i_t}. Pˇr´ıklad cesty je znázornˇen na obrázku2.3 vlevo. Kruˇznice je cesta (vˇzdy délky alespoˇn 2) z vrcholu v_i do vcholu v_i, viz obrázek 2.3 uprostˇred a vpravo. Graf na-zveme souvislý právˇe tehdy, kdyˇz existuje cesta mezi kaˇzdými dvˇema vrcholy vi, vj; graf, který nen´ı souvisý nazveme nesouvislý, viz obázek 2.4 vlevo a uprostˇred. Po-znamenejme, ˇze kaˇzdý souvislý podgraf (pˇresnˇeji ˇreˇceno indukovaný podgraf, viz [16, str. 122]), ke kterému nelze pˇridat ˇzádný dalˇs´ı vrchol daného grafu tak, aby

Obr´azek 2.3: Pˇr´ıklady graf˚u, kde modrou pˇreruˇsovanou ˇcarou je zn´azornˇena cesta (vlevo) a kruˇznice (uprostˇred a vpravo).

Obrázek 2.4: Pˇr´ıklad nesouvislého grafu (vlevo), souvislého grafu (uprostˇred) a stromu (vpravo).

z˚ustal souvislý se nazývá (maximáln´ı souvislá) komponenta. Jakkoliv obecnou defi-nici grafu (resp. multigrafu s volnˇe vis´ıc´ımi hranami a smyˇckami) jsme zavedli a pro práci s obecnými tenzorovými s´ıtˇemi je budeme potˇrebovat (viz kap. 3.4, v mnoha praktických pˇr´ıpadech vystaˇc´ıme s grafy mnohem jednoduˇsˇs´ımi, tzv. stromy. Stro-mem nazýváme souvislý graf, který neobsahuje kruˇznice, smyˇcky, ani násobné hrany.

Pˇr´ıklad stromu je na obr´azku2.4 vpravo.

2.1.4 Bin´ arn´ı strom

Dále bude uˇziteˇcné definovat pojem binárn´ı strom. Binárn´ı strom je speciáln´ım typem stromu, který se skládá z jednoho význaˇcného vrcholu (zvaného koˇren) a z uspoˇrádané dvojice binárn´ıch strom˚u – levého a pravého podstromu, viz [16, str. 360]. Pro nás bude binárn´ı strom znamenat takový graf, pro který plat´ı:

W pr´avˇe jeden vnitˇrn´ı vrchol (pˇresnˇeji ˇreˇceno vrchol nemaj´ıc´ı volnˇe vis´ıc´ı hrany) m´a stupeˇn 2, tento vrchol je tzv. koˇren;

W ostatn´ı vnitˇrn´ı vrcholy maj´ı stupeˇn 3;

W a dalˇs´ı vrcholy, kter´e maj´ı volnˇe vis´ıc´ı hrany, maj´ı stupeˇn 2.

Pˇr´ıklady bin´arn´ıch strom˚u jsou uvedeny na obr´azku2.5.

2.1.5 N´ asobn´ e hrany a jejich jednotliv´ e vˇ etve

V pˇr´ıpadˇe, ˇze budeme cht´ıt jednotliv´e ˇc´asti, tzv. vˇetve, multihrany h_` ∈ (

V ∪ {f } 2 ) ∪ (

V 1)

Obrázek 2.5: Grafy r˚uzných binárn´ıch strom˚u. Tyto stromy udeme nazývat (zleva):

ideálnˇe vyváˇzený binárn´ı strom, ˇcásteˇcnˇe (ne)vyváˇzený binárn´ı strom, maximálnˇe nevyváˇzený binárn´ı strom.

takové, ˇze µ(h_`) = m_h_` > 1, rozliˇsit, budeme pˇredpokládat, ˇze máme jejich jedno-znaˇcnˇe dané poˇrad´ı, tj. ohodnocen´ı ˇc´ısly 1, 2, . . . , m_h_`; m˚uˇzeme je znaˇcit

h⁽¹⁾_` , h⁽²⁾_` , . . . , h^(m_` ^h`⁾.

Ohodnocen´ı nebudeme formálnˇeji zavádˇet, pro naˇsi potˇrebu je postaˇcuj´ıc´ı vˇedˇet, ˇze je jednoznaˇcné.

2.2 Faktorov´ y graf

Protoˇze pomoc´ı graf˚u budeme pozdˇeji znázorˇnovat tenzory a speciálnˇe také souˇciny tenzor˚u, tedy operace, pˇri kterých napˇr. ze dvou tenzor˚u vzniká tenzor nový, budeme potˇrebovat tyto operace nˇeakým zp˚usobem pˇrevést do jazyka graf˚u. K tomu poslouˇz´ı konstrukce, kterou nazýváme faktorový graf.

Uvaˇzujme graf G s mnoˇzinou vrchol˚u V = {v₁, . . . , v_n}. Rozdˇel´ıme mnoˇzinu V na

kde v_` jsou vrcholy uvnitˇr mnoˇziny V_i a h_` jsou hrany, které inciduj´ı pouze s vrcholy uvnitˇr mnoˇziny V_i. Takový graf budeme nazývat faktorovým grafem. Na obrázku 2.6 je zobrazen pˇr´ıklad takto vzniklého grafu.

Obrázek 2.6: Pˇr´ıklad faktorového grafu. P˚uvodn´ı graf se ˇctyˇrmi vrcholy v₁, . . . , v₄ (vlevo), kde je naznaˇceno, jak vznikne faktorový graf s vrcholy V1 a V2 (vpravo).

3 Tenzor jako graf

V této kapitole vyuˇzijeme pojm˚u zavedených v pˇredchoz´ı kapitole a vysvˇetl´ıme, jak je moˇzné znázornit tenzory v podobˇe graf˚u. Uvid´ıme, ˇze je to uˇziteˇcné zejména pro znázornˇen´ı souˇcin˚u tenzor˚u nebo tenzorových rozklad˚u.

3.1 Tenzor jako graf

Mˇejme tenzor (1.1), tj.

T = (t_i₁_,i₂_,...,i_k) ∈Rⁿ¹^×n²^×⋯×n^k.

Budeme cht´ıt tento tenzor reprezentovat jako multigraf s volnˇe vis´ıc´ımi hranami a smyˇckami (dále jen graf), který má jediný vrchol T (zámˇernˇe budeme tenzory a jim odpov´ıdaj´ıc´ı vrcholy grafu znaˇcit stejnˇe) a k volnˇe vis´ıc´ıch hran – pˇresnˇeji ˇreˇceno jedinou volnˇe vis´ıc´ı multi-hranu h = {T , f } s násobnost´ı µ(h) = k.

Jednotliv´e vˇetve multi-hrany h⁽¹⁾, h⁽²⁾, . . . , h^(k) odpov´ıdaj´ı index˚um i₁, i₂, . . . , i_k tenzoru T . V dalˇs´ım textu o nich budeme mluvit jako o fyzick´ych indexech, resp.

hran´ach (resp. vˇetv´ıch multi-hrany), viz obr´azek 3.1.

Obrázek 3.1: Grafy odpov´ıdaj´ıc´ı tenzor˚um r˚uzných ˇrád˚u (zleva): skalár (tenzor nultého ˇrádu), vektor (tenzor prvn´ıho ˇrádu), matice (tenzor druhého ˇrádu), tenzor tˇret´ıho, ˇctvrtého a osmého ˇrádu.

3.2 Tenzorov´ y souˇ cin

Nyn´ı se zamˇeˇr´ıme na znázornˇen´ı r˚uzných tenzorových interakc´ı v podobˇe grafu.

Klasické hrany spojuj´ıc´ı dva vrcholy, tj. dva tenzory, budou pˇredstavovat souˇcin tˇechto tenzor˚u v pˇr´ısluˇsných módech, viz [19, str. 29].

Zamˇeˇr´ıme se nejprve na souˇciny, které dobˇre známe z lineárn´ı algebry. Pˇr´ıklady operac´ı s vektory a maticemi, tj. tenzory prvn´ıho a druhého ˇrádu, jsou zobrazeny

Obrázek 3.2: Znázornˇen´ı souˇcin˚u vektor˚u a matic (zleva): skalárn´ı souˇcin dvou vek-tor˚u, vektor ve tvaru souˇcinu matice s vektorem, matice ve tvaru souˇcinu dvou matic, matice ve tvaru souˇcinu tˇr´ı matic. Jednotlivé oválné slupky jsou de-facto jednotlivé faktorové grafy.

na obrázku 3.2. Máme-li dva tenzory T a S, potom, abychom mohli provést jejich souˇcin (1.3), tj.

F = T ×_(p,q)S ≡

⎛

⎝

∑

α=1

t_i₁_,...,i_p−1_,α,i_p+1_...,i_k⋅s_j₁_,...,j_q−1_,α,j_q+1_...,j_`⎞

⎠

∈Rⁿ¹^×⋯×n^p−1^×n^p+1^×⋯×n^k^×m¹^×⋯×m^q−1^×m^q+1^×⋯×m^`,

mus´ı existovat indexy i_p v tenzoru T a j_q v tenzoru S nabývaj´ıc´ı stejného roz-sahu hodnot 1, . . . , µ. Znázornˇen´ı souˇcinu tenzor˚u v podobˇe grafu je ilustrováno na obrázku3.3.

Obrázek 3.3: Princip zápisu tenzorového souˇcinu (úˇzen´ı) dvou tenzor˚u ˇrád˚u osm a ˇsest. Volnˇe vis´ıc´ı hrany dvou tenzor˚u, které odpov´ıdaj´ı mód˚um i_p a i_q stejných rozmˇer˚u a ve kterých prob´ıhá násoben´ı, jsou nahrazeny hranou spojuj´ıc´ı oba tenzory (v terminologii graf˚u jde o tzv. kontrakci hrany). ˇSedý ovál pˇredstavuje výsledný souˇcin – tenzor ˇrádu 8 + 6 − 2 = 12.

Uvˇedomme si, ˇze souˇcin tenzoru a matice v `-tém módu a souˇcin dvou tenzor˚u v daných módech, viz kap. 1, jsou definovány témˇeˇr stejnˇe aˇz na permutaci index˚u (analogii transpozice matice). Srovnej napˇr.

T ×_`M ∈ Rⁿ¹^×⋯×n^`−1^×m×n^`+1^×⋯×n^k a T ×_(`,2)M ∈ Rⁿ¹^×⋯×n^`−1^×n^`+1^×⋯×n^k^×m, viz (1.2), (1.3) a také [26, kap. 2.2 a 2.6]. Pˇri zápisu v podobˇe grafu toto odpov´ıdá pouze pˇreˇc´ıslován´ı vˇetv´ı volnˇe vis´ıc´ı multihrany souˇcinu.

3.3 Dalˇ s´ı objekty line´ arn´ı algebry interpretovateln´ e jako tenzorov´ e souˇ ciny

Poznamenejme, ˇze kromˇe standardn´ıch maticových souˇcin˚u lze t´ımto zp˚usobem vyjádˇrit i ˇradu dalˇs´ıch objekt˚u bˇeˇznˇe uˇz´ıvaných v lineárn´ı algebˇre, které ovˇsem vˇetˇsinou jako souˇciny nevykládáme.

3.3.1 Stopa matice

Stopa ˇctvercové matice A ∈ Rⁿ^×n je v lineárn´ı algebˇre definována jako souˇcet dia-gonáln´ıch prvk˚u, tj.

Vyuˇzijeme-li graf, lze stopu matice interpretovat jako souˇcin ˇctvercov´e matice sama se sebou, viz obr´azek3.4.

3.3.2 Skal´ arn´ı souˇ cin na prostoru matic

Podobnˇe i skalárn´ı souˇcin dvou matic A, B ∈ Rⁿ^×m definovaný jako lze znázornit pomoc´ı grafu, viz opˇet obrázek3.4.

Podobným zp˚usobem lze zavést také napˇr. následuj´ıc´ı

”nestandardn´ı souˇcin“ tˇr´ı (ˇci v´ıce) matic, jejichˇz v´ysledkem je skal´ar. Pro

A ∈ Rⁿ^×m, B ∈ R^m^×o, C ∈ Rô^×n definujme souˇcin Tento souˇcin je ilustrován na obrázku3.4 jako tˇret´ı zleva.

3.3.3 M´ enˇ e obvykl´ e objekty

Posledn´ım pˇr´ıkladem, který uvád´ıme na obrázku 3.4, je vektor vzniklý z tenzoru tˇret´ıho ˇrádu A ∈ Rⁿ^×m×m. Jednotlivé prvky tenzoru A oznaˇc´ıme a_i,j,k a ˇrezy v prvn´ım módu a_1,_∶,∶, a_2,_∶,∶, . . . , a_n,_∶,∶∈R¹^×m×m, tzv. horizontántáln´ıˇrezy, viz [11] a [26, kap. 2.1.2, obr. 2.2]. Potom definujme vektor v po sloˇzkách tak, ˇze

v_i=

∑

j=1

a_i,j,j.

Tedy i-tá sloˇzka vektoru v je stopou matice, která je triviálnˇe izomorfn´ı s i-tým ˇrezem tenzoru A v prvn´ım módu (horizontáln´ım ˇrezem) a_i,_∶,∶.

Je zˇrejmé, ˇze pokud rozum´ıme graf˚um, lze názorným zp˚usobem zapsat nejr˚uznˇejˇs´ı objekty. Moˇznosti vˇsak nejsou neomezené, pokud bychom napˇr. chtˇeli vyjádˇrit

” troj-rozmˇernou stopu kubického tenzoru“ tˇret´ıho ˇrádu A ∈ R^n×n×n, tj. souˇcet prvk˚u na tˇelesové úhlopˇr´ıˇcce ∑ⁿ_i₌₁ai,i,i, potˇrebovali bychom k tomu

”hranu se tˇremi konci“.

Obrázek 3.4: Ménˇe obvyklé typy souˇcin˚u (zleva): stopa matice (viz kap. 3.3.1;

skalárn´ı souˇcin dvou matic viz kap. 3.3.2; zvláˇstn´ı souˇcin tˇr´ı matic a vektor, jehoˇz sloˇzky jsou stopy matic – ˇrez˚u tenzoru tˇret´ıho ˇrádu (viz kap 3.3.3).

3.4 Obecn´ e tenzorov´ e s´ıtˇ e

V pˇredchoz´ım textu jsme vysvˇelili, jak lze interpretvat graf jako tenzor. Nyn´ı bu-deme cht´ıt postupovat opaˇcnˇe. Budeme m´ıt daný tenzor a danou strukturu s´ıtˇe (graf), pˇr´ıpadnˇe i nˇekteré dalˇs´ı vlastnosti, a naˇs´ım úkolem bude naj´ıt faktory to-hoto tenzoru, tj. vrcholy grafu (s´ıtˇe). Grafu, který pˇredstavuje nˇejaký tenzor jako výsledek souˇcin˚u jiných tenzor˚u, ˇr´ıkáme tenzorová s´ıt’.

Tenzorovou s´ıt’ lze proto pouˇz´ıt k zápisu r˚uzných tenzorových rozklad˚u, které maj´ı právˇe podobu souˇcin˚u. V dalˇs´ıch kapitolách tohoto textu se s nˇekterými z nich seznám´ıme podrobnˇeji.

Pro znázornˇen´ı tenzorové s´ıtˇe se pouˇz´ıvá i zvláˇstn´ı terminologie k rozliˇsen´ı hran r˚uzných typ˚u. Hrany klasického typu, tj. typu {v_i, v_j}, v tenzorové s´ıti nazýváme sˇc´ıtac´ı indexy, pˇr´ıpadnˇe vnitˇrn´ı nebo virtuáln´ı indexy; volnˇe vis´ıc´ı hrany, tj. hrany typu {v_i, f }, se nazývaj´ı fyzické (pˇr´ıp. vnˇejˇs´ı) indexy a jejich poˇcet udává ˇrád celého tenzoru.

Na obrázku3.5 m˚uˇzeme porovnat znázornˇen´ı jednoduchého tenzoru tˇret´ıho ˇrádu a tenzorové s´ıtˇe – tenzoru tˇret´ıho ˇrádu ve tvaru souˇcinu tenzoru tˇret´ıho ˇrádu s ma-tic´ı. Ve stejném obrázku dále ilustrujeme Tucker˚uv rozklad tenzoru ˇsestého ˇrádu.

Pˇripomˇeˇnme, ˇze abychom mohli takovouto s´ıt’ nazvat Tuckerovým rozkladem, pˇred-pokládáme kromˇe dané struktury také vlastnost, ˇze matice v této s´ıti maj´ı orto-normáln´ı sloupce, viz kap. 1.1.

Obrázek 3.5: Znázornˇen´ı tenzor˚u vyˇsˇs´ıch ˇrád˚u ve formˇe grafu (zleva): tenzor tˇret´ıho ˇrádu, tenzor tˇret´ıho ˇrádu ve tvaru souˇcinu tenzoru tˇret´ıho ˇrádu s matic´ı, tenzor ˇsestého ˇrádu ve tvaru Tuckerova rozkladu.

V principu, máme-li daný tenzor a pˇredepsaný graf (tenzorovou s´ıt’), m˚uˇzeme se pokusit vyjádˇrit tento tenzor v podobˇe rozkladu, který v grafickém znázornˇen´ı má právˇe podobu pˇredepsaného grafu. Pro pˇresnˇejˇs´ı pˇredstavu poslouˇz´ı pˇr´ıklad 1.

U skuteˇcných úloh samozˇrejmˇe s´ıt’ nepˇredepisujeme zcela svévolnˇe. Zpravidla se

snaˇz´ıme tenzor poskládat z objekt˚u, které maj´ı nˇejaký, napˇr. fyzikáln´ı, význam, viz [13] nebo [18], který nav´ıc umoˇzˇnuje pˇredepsat strukturu (napˇr. symetrii, nebo hodnosti) tˇechto objekt˚u (napˇr. symetrická matice, nebo symetrické ˇrezy v daném módu, toeplitzovská matice, matice hodnosti nejvýˇse r, atp.).

Pˇr´ıklad 1. Pro daný tenzor T chceme naj´ıt tenzory A, B, C, D, E , F , G tak, aby tvoˇrily s´ıt’ tenzoru T , takovou jako je na obrázku 3.6. Tato s´ıt’ odpov´ıdá souˇcinu definovanému vztahem:

T ≈ (t_i₁_,i₂_,i₃_,i₄_,i₅_,i₆_,i₇_,i₈) (3.1)

= ( ∑

α1,...,α9

ai1,i2,α1⋅bi3,α1,α2α3 ⋅cα2,α9,α9,α4,α5⋅dα4,α6⋅eα5,α6,i4,i5⋅fα3,α7,α8 ⋅gα7,α8,i6).

Obrázek 3.6: Rozklad tenzoru T ˇsestého ˇrádu do (resp. aproximace pomoc´ı) tenzo-rové s´ıtˇe tvoˇrené tenzory A, B, C, D, E , F a G niˇzˇs´ıch ˇrád˚u; viz pˇr´ıklad 1.

3.5 Speci´ aln´ı tenzorov´ e s´ıtˇ e

Obecnˇe je motivac´ı pro konstrukci tenzorových s´ıt´ı zejména umoˇznit práci s roz-sáhlými v´ıcerozmˇernými daty. Napˇr´ıklad tenzor T ∈ R²^×2×⋯×2 ˇrádu 100 obsahuje 2¹⁰⁰≈1.2676506 × 10³⁰ prvk˚u, coˇz zˇrejmˇe nelze uloˇzit do pamˇeti poˇc´ıtaˇce.¹ Nav´ıc zde ani pˇr´ıpadná komprese, napˇr. pomoc´ı klasického Tuckerova rozkladu (viz [26, kap.

4], [19, str. 20], a [3, str. 1267]), nepom˚uˇze. Dalˇs´ı motivac´ı m˚uˇze být snaha pomoc´ı tenzorových s´ıt´ı zpˇrehlednit mnohorozmˇerná data, viz zejména [18]. Naˇs´ım c´ılem tedy bude naj´ıt takové s´ıtˇe, které umoˇzn´ı

W sn´ıˇzit pamˇet’ové nároky (tj. budeme cht´ıt naj´ıt rozklad do s´ıtˇe s co nejménˇe tenzory co nejniˇzˇs´ıch ˇrád˚u);

1Uvaˇzujeme-li, ˇze na uloˇzen´ı jednoho ˇc´ısla napˇr. v pˇresnosti double potˇrebujeme 8 byt˚u, pak 2¹⁰⁰=2⁶⁰⋅2⁴⁰ a na uloˇzen´ı 2⁴⁰=1024⁴ˇc´ısel potˇrebujeme 8 terabyt˚u.

W snadno dále manipulovat s tenzory ve tvaru s´ıtˇe (tj. hledáme topologicky jed-noduché s´ıtˇe).

Tyto poˇzadavky vedou k tenzorové s´ıti ve tvaru binárn´ıho stromu. Nejˇcastˇeji pou-ˇz´ıvané jsou: hierarchický Tucker˚uv rozklad (HTD; z anglického hierarchical Tucker decomposition), viz napˇr. [19, kap. 3] nebo [7], tensor train (TT), viz [17], a dalˇs´ı, viz také obrázek 3.7. V ideáln´ım pˇr´ıpadˇe hierarchický Tucker˚uv rozklad dostáváme ve tvaru vyváˇzeného binárn´ıho stromu. Obecnˇe se snaˇz´ıme dostat strom, který nen´ı pˇr´ıliˇs nevyváˇzený. Pˇr´ıpadná nevyváˇzenost m˚uˇze být zp˚usobena:

W ˇr´adem tenzoru (je-li r˚uzn´y od k = 2^ς);

W praktickými d˚uvody (významem komponent – tj. kdyˇz fyzické indexy od-pov´ıdaj´ı urˇcitému jevu, napˇr. tepelné vodivosti jako v [13, kap. 4.1]).

Obrázek 3.7: Pˇr´ıklady tenzorových s´ıt´ı odpov´ıdaj´ıc´ı tenzoru ˇsestého ˇrádu (zleva):

hierarchický Tucker˚uv rozklad tenzoru (HTD) – s´ıt’ ve tvaru ne zcela vyváˇzeného binárn´ıho stromu, tensor train (TT) – maximálnˇe nevyváˇzený binárn´ı strom a tzv.

tensor chain (TC), viz [9, str. 5]. Ten z pˇredchoz´ıho rozkladu vzniká pˇridán´ım je-diné hrany; na rozd´ıl od obou pˇredchoz´ıch obsahuje kruˇznici a je tedy výpoˇcetnˇe nároˇcnˇejˇs´ı na konstrukci. Pokud se budeme na vnitˇrn´ı tmavˇs´ı blok d´ıvat jako na jediný tenzor, vˇsechny tˇri obrázky mohou pˇredstavovat obyˇcejný Tucker˚uv rozklad.

4 Hierarchick´ y Tucker˚ uv rozklad (HTD)

Jedn´ım z rozklad˚u, jehoˇz struktura je znázorˇnována ve tvaru tenzorové s´ıtˇe, je hi-erarchický Tucker˚uv rozklad. Klasický Tucker˚uv rozklad, který jsme jiˇz pˇripomnˇeli v kapitole 1, umoˇzˇnuje vyjádˇren´ı tenzoru ˇrádu k ve tvaru souˇcinu tenzoru (jehoˇz rozmˇery jsou omezené vektorovým rankem p˚uvodn´ıho tenzoru) ˇrádu k, tzv. jádra tenzoru, s k maticemi. Hierarchický Tucker˚uv rozklad (HTD z anglického hierarchi-cal Tucker decomposition) spoˇc´ıvá nav´ıc v rozloˇzen´ı Tuckerova jádra daného tenzoru do tvaru souˇcinu jednoduˇsˇs´ıch tenzor˚u. Takový rozklad m˚uˇzeme reprezentovat ten-zorovou s´ıt´ı (pˇredem dané struktury). V této kapitole vysvˇetl´ıme základn´ı princip vytvoˇren´ı hierarchického Tuckerova rozkladu a t´ım zároveˇn ovˇeˇr´ıme jeho existenci.

4.1 Struktura HTD

V této ˇcásti si ukáˇzeme, jakým zp˚usobem lze tenzor transformovat do potˇrebné struktury dané tenzorvou s´ıt´ı, která bude m´ıt podobu binárn´ıho stromu, jako napˇr.

na obr´azku 3.7 vlevo. Uvaˇzujme tedy tenzor (1.1) ˇr´adu k

T = (t_i₁_,i₂_,...,i_k) ∈Rⁿ¹^×n²^×⋯×n^k. (4.1) Nultým krokem m˚uˇze být klasický Tucker˚uv rozklad, pˇriˇcemˇz HTD se provede pro Tuckerovo jádro. My zde HTD vyloˇz´ıme pro obecný tenzor (ne nezbytnˇe Tuckerovo jádro).

4.1.1 Nalezen´ı tenzoru druh´ eho ˇ r´ adu – koˇ rene bin´ arn´ıho stromu

Nyn´ı budeme hledat rozklad tenzoru do s´ıtˇe pˇredepsaného tvaru. Konkrétnˇe bu-deme cht´ıt dosáhnout co nejv´ıce vyváˇzeného stromu. Z kapitoly2.1.4v´ıme, ˇze kromˇe vrchol˚u s volnˇe vis´ıc´ımi hranami obsahuje binárn´ı strom vrcholy stupˇn˚u 3 a jeden vrchol (koˇren) stupnˇe 2. D˚uleˇzitými nástroji pro nalezen´ı takového binárn´ıho stromu dále budou:

W rozvoj tenzoru v matici (viz definici 3),

W singul´arn´ı rozklad matice (viz napˇr. [4, kap. 5]).

Tenzorovou s´ıt’ konkrétn´ıho tvaru z´ıskáme tak, ˇze kaˇzdá hrana tenzorové s´ıtˇe bude pˇredstavovat rozvoj tenzoru v módech odpov´ıdaj´ıch rozdˇelen´ı mnoˇziny index˚u ten-zoru. V naˇsem pˇr´ıpadˇe, kdy chceme z´ıskat vyváˇzený binárn´ı strom pro jádro tenzoru

(4.1), rozdˇel´ıme mnoˇzinu jeho index˚u

{1, 2, . . . , k}

do dvou disjunktn´ıch podmnoˇzin

{1, . . . , s} a {s + 1, . . . , k},

pro nˇejak´e s, 1 ≤ s < k. Potom lze vytvoˇrit rovoj tenzoru v matici podle prvn´ı podmnoˇziny, tj.

In document Tenzorov´e s´ıtˇe a hierarchick´y Tucker˚uv rozklad (Page 18-0)