Analys av ljudspektroskopisignaler med artificiella neurala eller bayesiska nätverk

Institutionen f¨or Fysik, Kemi och Biologi

Examensarbete

Analys av ljudspektroskopisignaler med artificiella

neurala eller bayesiska n¨

atverk

Petter Hagqvist

LITH-IFM-A-EX–10/2282–SE

IFM

Link¨opings universitet 581 83 Link¨oping

Examensarbete LITH-IFM-A-EX–10/2282–SE

Analys av ljudspektroskopisignaler med artificiella

neurala eller bayesiska n¨

atverk

Petter Hagqvist

Handledare: David Brohall

Acosense AB

Anders Bj¨ork

IVL Svenska Milj¨oinstitutet AB

Examinator: Martin Holmberg

IFM

Avdelning, Institution Division, Department Till¨ampad Fysik

Department of Physics, Chemistry and Biology Link¨opings universitet, SE-581 83 Link¨oping, Sweden

Datum Date 2010-04-29 Spr˚ak Language  Svenska/Swedish  Engelska/English   Rapporttyp Report category  Licentiatavhandling  Examensarbete  C-uppsats  D-uppsats  ¨Ovrig rapport  ISBN ISRN

Serietitel och serienummer Title of series, numbering

ISSN

URL f¨or elektronisk version

Titel Title

Analys av ljudspektroskopisignaler med artificiella neurala eller bayesiska n¨atverk Analysis of Acoustic Spectroscopy Signals using Artificial Neural or Bayesian Networks

F¨orfattare Author

Petter Hagqvist

Sammanfattning

Vid analys av fluider med akustisk spektroskopi finns ett behov av att finna mul-tivariata metoder f¨or att utifr˚an akustiska spektra prediktera storheter s˚asom viskositet och densitet. Anv¨andning av artificiella neurala n¨atverk och bayesis-ka n¨atverk f¨or detta syfte utreds genom teoretiska och praktiska unders¨okningar. F¨orbehandling och uppdelning av data samt en handfull linj¨ara och olinj¨ara mul-tivariata analysmetoder beskrivs och implementeras. Prediktionsfelen f¨or de olika metoderna j¨amf¨ors och PLS (Partial Least Squares) framst˚ar som den starkaste kandidaten f¨or att prediktera de s¨okta storheterna.

Abstract

When analyzing fluids using acoustic spectrometry there is a need of finding mul-tivariate methods for predicting properties such as viscosity and density from ac-oustic spectra. The utilization of artificial neural networks and Bayesian networks for this purpose is analyzed through theoretical and practical investigations. Pre-processing and division of data along with a handful of linear and non-linear mul-tivariate methods of analysis are described and implemented. The errors of pre-diction for the different methods are compared and PLS (Partial Least Squares) appear to be the strongest candidate for predicting the sought-after properties.

Nyckelord Keywords

Akustisk spektroskopi, Multivariat statistisk analys, Artificiella neurala n¨atverk, Bayesiska n¨atverk, Acoustic spectroscopy, Multivariate Statistical Analysis, Arti-ficial Neural Networks, Bayesian Networks



http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-56429 —

LITH-IFM-A-EX–10/2282–SE

”Any sufficiently advanced technology is indistinguishable

from magic.”

Arthur C. Clarke, Profiles of The Future, 1961 (Clarke’s tredje lag) Engelsk-lankesisk fysiker och science fiction-f¨orfattare (1917 - 2008)

Abstract

When analyzing fluids using acoustic spectrometry there is a need of finding mul-tivariate methods for predicting properties such as viscosity and density from ac-oustic spectra. The utilization of artificial neural networks and Bayesian networks for this purpose is analyzed through theoretical and practical investigations. Pre-processing and division of data along with a handful of linear and non-linear mul-tivariate methods of analysis are described and implemented. The errors of pre-diction for the different methods are compared and PLS (Partial Least Squares) appear to be the strongest candidate for predicting the sought-after properties.

Sammanfattning

Vid analys av fluider med akustisk spektroskopi finns ett behov av att finna mul-tivariata metoder f¨or att utifr˚an akustiska spektra prediktera storheter s˚asom viskositet och densitet. Anv¨andning av artificiella neurala n¨atverk och bayesis-ka n¨atverk f¨or detta syfte utreds genom teoretiska och praktiska unders¨okningar. F¨orbehandling och uppdelning av data samt en handfull linj¨ara och olinj¨ara mul-tivariata analysmetoder beskrivs och implementeras. Prediktionsfelen f¨or de olika metoderna j¨amf¨ors och PLS (Partial Least Squares) framst˚ar som den starkaste kandidaten f¨or att prediktera de s¨okta storheterna.

Tack

Stort tack till alla som hj¨alpt mig p˚a olika s¨att med detta arbete; mina handledare Anders Bj¨ork och David, min examinator Martin Holmberg, John Noble, mina f¨or¨aldrar, Oscar Cardfelt, Felix T¨orner, personalen p˚a Gustaf Fagerberg AB i G¨oteborg, Janne Hellman och kanske fr¨amst Eva-Lena Grund´en som st¨ottat mig med god mat, k¨arlek och kloka tankar.

Inneh˚

all

2.2 Unders¨okning av tidigare arbete inom omr˚adet . . . 5

2.3 Studier av artificiella neurala n¨atverk och bayesiska n¨atverk . . . . 5

2.4 Utv¨ardering av intressanta metoder . . . 6

2.5 Implementation i LabVIEWTM . . . 6

3 Teori 7 3.1 Aktiv akustisk spektroskopi . . . 7

3.2 Passiv akustisk spektroskopi . . . 7

3.3 Multivariat dataanalys . . . 8

3.3.1 Multipel linj¨ar regression, MLR . . . 8

3.3.2 Principalkomponentsanalys, PCA och principalkomponents-regression, PCR . . . 9

3.3.3 Partial Least Squares eller Projection to Latent Structures, PLS . . . 10

3.3.4 Artificiella neurala n¨at, ANN . . . 11

3.3.5 Bayesiska n¨at, BN . . . 14

3.3.6 NN-PCA . . . 15

xii Inneh˚all

3.3.7 Hybridmodell . . . 15

3.3.8 Transformation av data . . . 16

3.3.9 Uppdelning av material . . . 17

3.3.10 Validering . . . 18

3.4 Insamling, behandling och strukturering av data . . . 20

3.4.1 Datainsamling och behandling . . . 20

3.4.2 Strukturering av data . . . 20

3.5 Tidigare arbete inom multivariat analys f¨or akustisk spektroskopi . 21 4 Resultat 23 4.1 Explorativ dataanalys . . . 23

4.1.1 PCA . . . 23

4.1.2 PLS . . . 25

4.2 Bayesiska n¨atverk . . . 26

4.3 J¨amf¨orelse mellan PLS och NN-PCA . . . 27

4.3.1 Optimering av PLS . . . 27

4.3.2 Optimering av neurala n¨atverk . . . 27

4.3.3 J¨amf¨orelse . . . 28

4.4 J¨amf¨orelse mellan PLS och hybrid . . . 29

4.4.1 Optimering av hybridmodellen . . . 29

4.4.2 J¨amf¨orelse . . . 30

4.5 J¨amf¨orelse mellan PLS och MLR . . . 30

4.6 J¨amf¨orelse mellan PLS och PCR . . . 30

4.7 Oversikt ¨¨ over modeller . . . 31

4.8 Implementation i LabVIEW . . . 33

4.9 Anpassning av PLS till specifik m¨atapplikation . . . 33

4.9.1 Prediktion av provtagningstider . . . 33

4.9.2 Kalibrering och optimering . . . 33

5 Diskussion 35

6 Slutsatser 39

Kapitel 1

Introduktion

1.1

Bakgrund

Inom processindustrin finns ett behov av att ¨overvaka och kontrollera produk-tionsf¨orlopp i realtid. Detta f¨orenklar automatisering av processen, ¨okar effekti-viteten och kan ge h¨ogre kvalitet p˚a slutprodukten. Fermenterings och nedbryt-ningsreaktioner ¨ar dock sv˚ara att ¨overvaka kontinuerligt d˚a best¨amning av proces-sparametrarna i dagsl¨aget ofta kr¨aver s˚a kallad off-line analys. Dessa m¨atningar och provtagningar ¨ar invasiva och kan p˚averka produktionen exempelvis genom introduktion av bakterier. Offlinem¨atningar utf¨ors ofta manuellt av en operat¨or och tar l¨angre tid ¨an in-line m¨atningar. N¨ar prov tas fr˚an ett fl¨ode riskerar man ¨

aven att detta inte ¨ar representativt f¨or hela fl¨odet[18][3][19].

Chalmers School of Entrepreneurship (CSE), ABB och IVL Svenska Milj¨oinstitutet AB utvecklar en patenterad teknik f¨or att med aktiva akustiska spektroskopi-metoder kunna utf¨ora inlineanalys av processv¨atskor. Denna teknik har m˚anga f¨ordelar j¨amf¨ort med traditionellt anv¨anda metoder. Processv¨atskan ¨ar aldrig i kontakt med m¨atinstrumentet. Instrumenteringen kan f¨astas utanp˚a existerande r¨or, installationen kr¨aver allts˚a inte att produktionen avbryts[18][19].

Tekniken kan anv¨andas f¨or att best¨amma olika variationer i mediet s˚asom visko-sitet, denvisko-sitet, koncentration av kemiska f¨oreningar och partikelstorlekar[5]. Ef-tersom analysen kan utf¨oras i realtid m¨ojligg¨ors kontinuerlig ¨overvakning och kon-troll. Detta f¨orhindrar att processen utvecklas i en icke ¨onskv¨ard riktning med kvalitetsf¨ors¨amringar, effektivitetsf¨ors¨amringar eller till och med f¨orlust av hela produktionssatser till f¨oljd[19].

Artificiella neurala och bayesiska n¨atverk ¨ar matematiska verktyg som kan anv¨andas vid icke-linj¨ar multivariat analys av data. F¨ordelen med dessa b˚ada konstruktio-ner ¨ar att de kan tr¨anas till att f¨or vissa indata producera s¨arskilda utdata[32][4]. Ett s˚adant n¨atverk som tr¨anats p˚a r¨att s¨att skulle kunna anv¨andas f¨or att tolka

2 Introduktion signalen fr˚an ljudspektroskopi och vidare f¨or att erh˚alla kvantitativa data s˚asom densitet, viskositet etcetera[18].

1.2

M˚

al och syfte

M˚alet med studien ¨ar att ¨oversiktligt utreda f¨oruts¨attningarna f¨or att anv¨anda ar-tificiella neurala och bayesiska n¨atverk vid analys av signaler fr˚an ljudspektroskopi. Den eller de metoderna som anses l¨ampligast skall j¨amf¨oras med konventionella multivariata metoder, exempelvis PCR, PLS och MLR.

Den metod som anses ha b¨ast f¨oruts¨attningar skall anpassas, unders¨okas och im-plementeras f¨or anv¨andning i ett m¨atsystem.

1.3

Typografiska konventioner

Programkod skrivs med med denna typs¨attning: exempel p˚a hur

programkod kan se ut

Tabell 1.1. Typer och typsnitt.

Beskrivning Typs¨attning Exempel

Skal¨arer Kursiva gemener och versaler n

Matriser Fet versal X

Vektorer Fet gemen y

Skattningar Circumflex accent yˆ

Medelv¨arde av vektor Streck/makron y

Transponat Upph¨ojt versalt T XT

1.3 Typografiska konventioner 3

Tabell 1.2. F¨orkortningar som anv¨ands i rapporten.

Namn Beskrivning

ANN Artificiellt Neuralt N¨atverk

BN Bayesiskt N¨atverk

FFT Fast Fourier Transform, snabb fouriertransform

MLR Multipel Linj¨ar Regression

NiHL Noder i Hidden Layer

PC Principalkomponent

PCA Principalkomponentanalys

PLS Partial Least Squares, kallas ¨aven Projection to Latent Structures

PRM Partial M-Regression

R2X F¨orklarad varians f¨or X-matrisen R2Y F¨orklarad varians f¨or Y-matrisen

RMSE Root Mean Square Error

RMSEC Root Mean Square Error of Calibration RMSECV Root Mean Square Error of Cross-Validation

RMSEP Root Mean Square Error of Prediction

Kapitel 2

Metod

Studien genomf¨ors i ett antal steg beskrivna nedan i kronologisk ordning:

2.1

Explorativ dataanalys

I ett f¨orsta steg analyseras existerande datamaterial fr˚an akustiska spektrosko-pim¨atningar. Detta g¨ors f¨or att examensarbetaren skall kunna bekanta sig med da-tamaterialet och bilda sig en uppfattning om hur arbetet l¨ampligen kan forts¨attas. F¨or att utforska datamaterialet anv¨ands programvaran MATLAB fr˚an MathWorks tillsammans med verktyget TOMCAT[13]. I samr˚ad med examinator och handle-dare best¨ams vilka analysmetoder som skall anv¨andas under de senare delarna av studien.

2.2

Unders¨

okning av tidigare arbete inom omr˚

adet

Efter den initala analysen i det f¨oreg˚aende steget utf¨ors en kort litteraturstudie med syfte att kartl¨agga vilka metoder som tidigare anv¨ants f¨or att tolka akustiska spektroskopisignaler.

2.3

Studier av artificiella neurala n¨

atverk och

bay-esiska n¨

atverk

I detta steg studeras artificiella neurala n¨atverk och bayesiska n¨atverk med inrikt-ning p˚a en m¨ojlig applicering f¨or att analysera data fr˚an akustiska spektroskopi-signaler.

6 Metod

2.4

Utv¨

ardering av intressanta metoder

N¨ar intressanta metoder isolerats utv¨arderas de genom att befintligt datamaterial unders¨oks. Resultaten fr˚an dessa unders¨okningar j¨amf¨ors med befintliga analys-metoder.

2.5

Implementation i LabVIEW

Om en framtagen metod anses vara tillfredsst¨allande skall denna implemente-ras i National InstrumentsTM_{programvara LabVIEW}TM_{. Metoden skall ¨aven om}

Kapitel 3

Teori

3.1

Aktiv akustisk spektroskopi

Aktiv akustisk spektroskopi baseras p˚a interaktionen mellan akustiska v˚agor med frekvenser under ultraljudsomr˚adet, det vill s¨aga under 20kHz och partiklar sus-penderade i en fluid. Med partiklar menas i detta sammanhang volymer av gas-, v¨atske- eller fastfas, f¨oretr¨adesvis i en annan fas ¨an fluiden. D˚a akustiska signaler s¨ands in i en processfluid kommer de att utbreda sig som mekaniska v˚agor. Om v˚agl¨angden i fluiden ¨ar st¨orre ¨an partiklarnas storlek och mellanrummet dem emel-lan kommer fasvinkeln f¨or¨andras och en frekvensberoende absorption f¨orekomma. Speciellt stora f¨or¨andringar av v˚agorna f¨orv¨antas upptr¨ada d˚a frekvensen p˚a signa-len matchar de suspenderade partiklarnas resonansfrekvenser. Resonansfrekvensen ¨

ar beroende av partiklarnas egenskaper samt deras interaktioner med det omgi-vande mediet och med andra partiklar. Dessa resonansfrekvenser finns i n¨astan alla fall under 20kHz. Partiklarna i fluiden kommer sj¨alva ge upphov till akus-tiska signaler f¨orutom de fr˚an s¨andaren uts¨anda signalerna. Dessa partikelegna vibrationer emitteras fr˚an de suspenderade partiklarna bland annat p˚a grund av kollisioner som uppst˚ar p˚a grund av fl¨odet i r¨oret. Emitterade vibrationer oavsett uppkomst kan m¨atas med en vibrationssensor f¨or att ge en resulterande signal fr˚an systemet. Tekniken beskrivs utf¨orligt i det aktuella patentet[18].

3.2

Passiv akustisk spektroskopi

Om inget ljud skickas in i fluiden kommer endast vibrationer som uppst˚ar spon-tant i fluiden kunna uppm¨atas. Fluidens r¨orelseenergi kommer att omvandlas till mekaniska v˚agor som sedan kan uppm¨atas. Denna teknik ben¨amns passiv akustisk spektroskopi[5]. I detta arbete kommer endast data fr˚an passiv akustisk spektro-skopi anv¨andas.

8 Teori

3.3

Multivariat dataanalys

F¨or att uttolka ¨onskad information fr˚an frekvensspektra, se avsnitt 3.4.1, anv¨ands multivariat dataanalys. I varje spektrum ses frekvenskomponenterna som vari-abler. D˚a en m¨angd m¨atningar gjorts anv¨ands dessa observationer f¨or att ska-pa och kalibrera en matematisk modell f¨or att prediktera partiklarnas eller pro-cessv¨atskans egenskaper. Denna modell verifieras mot ytterligare observationer och anv¨ands f¨or att g¨ora prediktioner av s¨okta egenskaper. En rad tekniker finns f¨or att skapa s˚adana modeller[21]. H¨ar f¨oljer en kort beskrivning av grundl¨aggande tekniker samt tekniker som anv¨ants i detta arbete.

3.3.1

Multipel linj¨

ar regression, MLR

Vid multipel linj¨ar regression anv¨ands de ursprungliga variablerna X f¨or att skatta m˚alvariabeln y. MLR ¨ar en ut¨okning av den monovariata linj¨ara regressionsmo-dellen d˚a x anv¨ands f¨or att best¨amma y enligt

y = kx + m (3.1)

som kanske k¨anns igen fr˚an h¨ogstadiematematiken. I MLR ut¨okas k och x till att t¨acka in fler variabler:

y =

K

X

i=1

kixi+ m (3.2)

d¨ar K ¨ar antalet variabler. Med vektornotation kan detta ist¨allet skrivas som.

y = Xb + f (3.3) d¨ar y =      y1 y2 .. . yN      , X =      1 x11 . . . x1K 1 x21 . . . x2K .. . ... . .. ... 1 xN 1 . . . xN K      , b =      b1 b2 .. . bN      och f =      f1 f2 .. . fN     

N ¨ar antalet observationer,b ¨ar en koefficientvektor och f ¨ar en vektor inneh˚allandes felen.

F¨or att skatta b enligt minsta-kvadratmetoden anv¨ands f¨oljande formel: ˆ

b = (XTX)−1XTy (3.4)

F¨or att (XTX) skall kunna inverteras kr¨avs antalet observationer ¨ar minst lika stort som antalet variabler. ¨Aven om s˚a ¨ar fallet uppkommer problem d˚a tv˚a eller flera variabler ¨ar kolinj¨ara eller n¨ara korrelerade. Om tv˚a variabler ¨ar kolinj¨ara inneb¨ar det att den ena kan skrivas som en produkt av den andra och en skal¨ar. I detta fall existerar inget unikt ˆb. Utifall tv˚a variabler ¨ar n¨ara korrelerade kommer ber¨akningen bli numeriskt instabil och kan ge d˚aliga prediktioner[20, 5].

3.3 Multivariat dataanalys 9

3.3.2

Principalkomponentsanalys, PCA och

principalkom-ponentsregression, PCR

F¨or att kringg˚a problemen med kolinearitet och det faktum att det ¨ar vanligt att antalet observationer understiger antalet variabler utformades principalkom-ponentsanalys, PCA. Detta ¨ar en metod f¨or att komprimera datamaterial med m˚anga dimensioner(variabler) till ett mindre antal icke-korrelerade, ortogonala dimensioner. Detta ˚astadkoms genom att finna de linj¨ara kombinationer av de ursprungliga variablerna som t¨acker in s˚a mycket som m¨ojligt av variansen i da-tamaterialet. Detta kan t¨ankas som en rotation av enhetsvektorerna till att f¨olja variationerna i datat s˚a bra som m¨ojligt. PCA ger en ¨overblick ¨over multidimen-sionellt data och kan underl¨atta tolkning och f¨orst˚aelse av materialet. Ett vanligt f¨orfarande, efter att ha transformerat det ursprungliga datat, ¨ar att de f¨orsta prin-cipalkomponenterna plottas mot varandra f¨or visualisering av data. En intuitiv beskrivning av PCA och projicering till principalkomponenter finns i ”Multivariate Calibration and Classification” skriven av Næs och medf¨orfattare[20, 22]. Ytterli-gare en egenskap vid PCA ¨ar att den f¨orsta principalkomponenten inneh˚aller st¨orst varians, den andra n¨ast mest och s˚a vidare[20].

Figur 3.1. ¨Oversikt ¨over PCA i tre dimensioner [15].

Om MLR appliceras p˚a de nya variabler som skapas vid PCA kallas detta f¨orfarande principalkomponentsregression, PCR (ej att f¨orv¨axlas av teknisk biolog med Po-lymerase Chain Reaction som anv¨ands vid DNA-amplifiering, ¨aven den f¨orkortad PCR). Regressionsekvationen skrivs:

y = Tq + f (3.5)

d¨ar T = XP, P ¨ar principalkomponenternas enhetsvektorer, q ¨ar regressionsko-efficienter och f ¨ar en felvektor. T kallas ibland f¨or ”score”-matrisen och P f¨or ”loading”-matrisen[5].

Eftersom m˚alet med PCA bland annat ¨ar att reducera antalet variabler anv¨ands bara de A f¨orsta variablerna/komponenterna till att skapa regressionsmodellen.

10 Teori Om A v¨aljs p˚a ett bra s¨att kommer PCR-metoden att ge stabilare regressionsko-efficienter och b¨attre prediktioner ¨an vanlig MLR[22].

Best¨amning av A f¨or PCA g¨ors enligt Næs med flera l¨ampligast genom att studera egenv¨arden och d¨arigenom sluta sig till hur stor inverkan komponenten har. F¨or att best¨amma antalet komponenter vid PCR kan ¨aven ett valideringsset anv¨andas[22]. D˚a PCA/PCR ¨ar beroende av enheten p˚a variablerna kan det vara klokt att stan-dardisera data innan PCA/PCR utf¨ors. Detta utf¨ors genom att samtliga variabler divideras med dess standardavvikelse s˚a att alla variabler har standardavvikelse 1. Det kan ocks˚a underl¨atta att centrera variablerna kring deras medelv¨arde s˚a att de alla efter transformation har medelv¨arde 0 genom att subtrahera medelv¨ardet f¨or samtliga variabler, kombinationen av dessa behandlingar kallas auto-skalning:

∀ i 6 K : Xautoskalad=

xi− xi

σ(xi)

(3.6) d¨ar i betecknar variabel i X-matrisen, K ¨ar antalet variabler, xi ¨ar en radvektor

och σ(xi) betecknar standardavvikelsen f¨or xi. Xautoskalad ¨ar den autoskalade

X-matrisen. Utifall att en variabel endast ger brus som signal kommer detta att viktas upp och viktiga variabler kan eventuellt viktas ned. Det ¨ar d¨arf¨or inte ett sj¨alvklart val att skala det ursprungliga datamaterialet[22, 20, 35, 5].

3.3.3

Partial Least Squares eller Projection to Latent

Structu-res, PLS

Partial Least Squares-regression eller Projection to Latent Structures som det ocks˚a kallas[35] ¨ar en vidareutveckling av PCA/PCR. F¨or att undvika problemet med att v¨alja ut l¨ampliga komponenter anv¨ands de riktningar i de observerade variablerna X som b¨ast f¨orklarar variansen i m˚alvariabeln y och maximerar ko-variansen mellan y och X. Detta leder till att den f¨orsta PLS-komponenten inte beskriver maximal varians s˚asom den f¨orsta PCA-komponenten, utan maximal ko-varians med m˚alvariabeln. P˚a detta s¨att riskerar man inte som i PCA att de f¨orsta komponenterna modellerar varians som inte har med m˚alvariabeln att g¨ora[22, 2]. M˚alvariabeln y kan vid PLS ers¨attas av m˚alvariablerna Y d˚a det existerar algo-ritmer f¨or att g¨ora PLS med mer ¨an en m˚alvariabel, Næs och medf¨orfattare re-kommenderar dock inte detta f¨or prediktion[22]. Wold och medf¨orfattare n¨amner att om m˚alvariablerna kan antas vara korrelerade skall de predikteras ihop, annars inte[35].

Algoritmerna f¨or PLS ¨ar relativt avancerade och kommer inte att beskrivas ing˚aende h¨ar. F¨or en introduktion till PLS rekommenderas referenserna [2] och [35], som ¨

aven ger en insikt i hur algoritmerna fungerar. De grundl¨aggande sambanden inom PLS beskrivs enklast genom att f¨orst inf¨ora dessa definitioner:

T och U ¨ar ”score”-matriser som inneh˚aller information om observationerna och deras likheter och olikheter. P och Q ¨ar ”loading”-matriser som transformerar

3.3 Multivariat dataanalys 11

T och U tillbaka till X respektive Y. E, F och G ¨ar residual-, det vill s¨aga felmatriser. b betecknar relationen mellan U och T vid linj¨ar PLS[5].

X = TPT + E (3.7)

Y = UQT + F (3.8)

U = bTT+ G (3.9)

Relationen (3.9) kan bytas ut mot icke-linj¨ara modeller. ¨Aven en yttre relation:

Y = f ( ˆY) (3.10)

kan anv¨andas f¨or att ers¨atta

Y = ˆY (3.11)

med en icke-linj¨ar relation s˚asom ett artificiellt neuralt n¨at[5].

3.3.4

Artificiella neurala n¨

at, ANN

Uppbyggnad

Artificiella neurala n¨at (ANN) ¨ar matematiska konstruktioner inspirerade av bi-ologiska neuronala funktioner. Grundelementet ¨ar en s˚a kallad artificiell neuron (AN). Den fungerar enligt f¨oljande (se figur 3.2):

• Elementen i en vektor om N v¨arden x = (x1..xN) skickas till lika m˚anga

”input” noder.

• D¨ar multipliceras de med vikter enligt w · x d¨ar w =    w1 .. . wN   

Detta steg kan ¨aven ses som en rad multiplikationer av skal¨arer och en sum-mation, d¨arav summationstecknet i skissen 3.2. Det ¨ar dessa vikter som ger varje AN dess egenskaper. Vikterna anpassas under tr¨aningen av n¨atverket och definierar tillsammans med n¨atverkets geometri ett ANN:s funktion. • Ett s˚a kallat ”bias”-v¨arde som kan ses som en ”input” node med konstant

x = 1 adderas till den tidigare summan efter att ha multiplicerats med vikten b.

• Resultatet av f¨oreg˚aende operation anv¨ands som argument f¨or en respons-funktion σ. En vanlig responsrespons-funktion ¨ar den sigmoida funktionen[32]:

σ(z) = 1

1 + ecz (3.12)

d¨ar c ¨ar en konstant som best¨ammer geometrin hos funktionen. Den sigmoida funktionen kan ers¨attas med i princip vilken funktion som helst[23].

12 Teori

Stimuli in

Stimulus ut

Insignaler

Utsignal

w

Σ

w

w

b

Figur 3.2. Schematisk skiss ¨over biologisk respektive artificiell neuron, fritt utifr˚an ”Medical Physiology ”[9] och ”An Introduction to Adaptive Algorithms and Intelligent Machines”[32].

• Det v¨arde som erh˚alls ¨ar neuronets utsignal

D˚a flera AN kopplas samman i ett n¨atverk erh˚alls ett ANN. Detta n¨atverk kan utformas p˚a olika s¨att. Nedan beskrivs ett ”layered feedforward neural network” (FFNN)[32], se figur 3.3.

IN, HN och ON betecknar ”input”,”hidden” respektive ”output”-noder d¨ar endast HN och ON ¨ar artificiella neuron, IN distribuerar endast information. Neuronen delas in i lager: ”input”- ”hidden”- och ”output”-lager d¨ar alla lager som inte tar emot information utifr˚an eller presenterar information ut˚at ¨ar ”hidden”. Ett ANN kan vara av godtycklig storlek och ett st¨orre n¨atverk kan vara robustare gentemot brus ¨an ett litet. F¨or att skapa ett stort n¨atverk med b¨attre prediktiv

3.3 Multivariat dataanalys 13

IN

IN

IN

ON

ON

HN

HN

HN

Figur 3.3. ”Layered feedforward neural network”, FFNN.

f¨orm˚aga och b¨attre hantering av brus kr¨avs dock fler observationer och som vid alla multivariata metoder till˚ater ett st¨orre dataunderlag mer avancerade modeller. Det ¨ar dock viktigt att inte skapa ett n¨atverk med fler parametrar ¨an vad som kan best¨ammas utifr˚an tillg¨angliga observationer[32, 11].

L¨arande

Den stora f¨ordelen med ANN ¨ar att de kan tr¨anas till att ge en ¨onskad utsignal f¨or en viss insignal ¨aven om det modellerade systemet ¨ar icke-linj¨art. I j¨amf¨orelse med andra icke-linj¨ara tekniker blir modellerna mindre komplexa[23] och kan k¨annas ganska intuitiva f¨or en person insatt i nervsystemets funktion. Best¨amning av

14 Teori topologin (n¨atverkets utseende) och validering av den skapade modellen ¨ar mycket viktiga n¨ar ANN anv¨ands f¨or att undvika ¨overanpassning till data[11, 23]. Det finns m˚anga algoritmer f¨or tr¨aning av artificiella neurala n¨atverk, nedan beskrivs ett par som ¨ar relevanta f¨or arbetet[14].

”Back-propagation”-algoritmen

Den mest k¨anda algoritmen f¨or att tr¨ana ett FFNN ¨ar ”back-propagation” tek-niken. Den fungerar genom att n¨atverkets utdata efter varje ber¨akning utifr˚an indata j¨amf¨ors med referensv¨arden. Skillnaden mellan ber¨aknade m˚alvariabler och referensv¨arden propageras bak˚at, ett lager i taget, f¨or att anpassa vikterna till att minska detta fel. Denna process g¨ors om f¨or alla observationer som anv¨ands f¨or att tr¨ana n¨atverket (se avsnittet ”Validering”, sidan 18). En s˚adan anpass-ning av vikter kallas f¨or en epok eller tr¨aningscykel. Anpassningen forts¨atter tills regressionskoefficienterna (vikterna) konvergerar, Næs och medf¨orfattare[23] n¨amner att minst 10000 epoker kr¨avs f¨or att tr¨ana ett typiskt ANN. Algoritmen f¨or ”back-propagation” finns v¨al beskriven i Wahdes ”An Introduction to Adaptive Algorithms and Intelligent Machines”[33]. Viktiga aspekter p˚a konstruktion och validering av artificiella neurala n¨atverk diskuteras i en ¨oversiktsartikel skriven av Despagne och Massart[11].

Levenberg-Marquardts metod

I detta arbete anv¨ands den implementation av Levenberg-Marquardts metod som finns i ”Neural Networks Toolbox” f¨or MATLAB. Denna metod ¨ar avsedd att anv¨andas f¨or sm˚a n¨atverk (minnes˚atg˚angen ¨ar beroende p˚a kvadraten av antalet artificiella neuron) med endast en utvariabel. Algoritmen ¨ar dokumenterat snabb och anv¨ander sig av en linj¨ar approximation av den underliggande funktionen f¨or att finna minimum f¨or kvadratsumman av felen som d˚a kan ber¨aknas i ett en-da steg. Approximationen ¨ar endast god n¨ara minima och kan leda till h¨ogre fel. F¨or att balansera detta anv¨ands en kompromiss mellan denna metod och riktningen med den brantaste lutningen. En riktning och en stegl¨angd best¨ams och v¨ardet i den nya punkten utv¨arderas. En f¨orb¨attring leder till att den nya punkten anv¨ands f¨or n¨asta iteration. Vid f¨ors¨amring f¨orkastas den nya punk-ten. Algoritmen anv¨ander sig av f¨orb¨attringen eller f¨ors¨amringen i tidigare steg f¨or att best¨amma den nya stegl¨angden, en d˚alig utveckling leder till en kortare stegl¨angd. Kombinationen av dessa metoder g¨or att iterationen kan konvergera mycket snabbt[14]

3.3.5

Bayesiska n¨

at, BN

Ett bayesiskt n¨atverk (BN) ¨ar en grafisk representation av kunskapen kring ett system. Det best˚ar av noder som representerar var sin variabel och pilar som representerar kausala samband dem emellan. Ett BN kan tr¨anas p˚a ett liknande

3.3 Multivariat dataanalys 15

s¨att som ett ANN med skillnaden att n¨atverkets topologi inte ¨ar givet fr˚an b¨orjan. Detta m˚aste ocks˚a utr¨onas fr˚an tr¨aningsdata eller tidigare kunskap. Bayesiska n¨atverk ger typiskt information om sannolikheter inom systemet och tack vare sina direkta kausala samband kan den simultana sannolikhetsf¨ordelningen karak-teriseras med f¨arre parametrar ¨an med en modell d¨ar sambanden inte ¨ar riktade (dessa konstruktioner kallas Markovn¨atverk). ANN kan ses som specialfall av bayesiska n¨atverk[8, 4].

P˚a grund av detta arbetes avgr¨ansningar kommer inte Bayesiska n¨atverk behandlas i detalj. F¨or en bra introduktion till ¨amnet rekommenderas Charniaks ”Bayesian Networks without Tears”[8] eller Ben-Gals ”Bayesian Networks”[4].

Under en intervju med Dr. John Noble, universitslektor p˚a Link¨opings Universitet och medf¨orfattare till boken ”Bayesian Networks: An Introduction”[26], framkom att bayesiska n¨at inte ¨ar v¨al l¨ampade f¨or den aktuella applikationen. Den existe-rande kunskapen om samband mellan olika variabler i systemet ¨ar mycket liten och d¨arigenom finns inte mycket att vinna genom att implementera bayesiska n¨atverk f¨or prediktion. Det skulle vara m¨ojligt att till¨ampa bayesiska n¨at p˚a systemet men vinsten skulle vara mycket begr¨ansad d˚a de kausala sambanden mellan variablerna skulle vara mycket sv˚ara att best¨amma[27].

3.3.6

NN-PCA

F¨or att projicera ner det stora antalet variabler som ¨ar aktuellt vid akustisk spektroskopi[5] kan ett antal av de mest betydande PCA-komponenterna anv¨andas f¨or att tr¨ana ett artificiellt neuralt n¨atverk[11]. Detta minskar antalet noder i ”input-layer” och d¨arigenom antalet parametrar som m˚aste best¨ammas. Denna metod ben¨amns i detta arbete NN-PCA. ¨Aven PLS-komponenter kan anv¨andas p˚a liknande s¨att men d˚a dessa ¨ar framtagna f¨or att maximera endast den linj¨art korrelerade informationen kan relevant icke-linj¨ar information f¨orkastas. Denna metod rekommenderas inte av Despagne och Massart[11] och kommer d¨arf¨or inte att unders¨okas.

3.3.7

Hybridmodell

Anders Bj¨ork f¨oreslog i samtal med f¨orfattaren anv¨andningen av en hybridmodell som baseras p˚a b˚ade PLS och ANN, detta med f¨orhoppningen att kunna kombinera robustheten hos PLS med icke-lineariteten hos ANN. Modellen utformas genom att en PLS-modell anpassas till datat. Residualen f¨or X-matrisen E transformeras med PCA och ”scores” f¨or ett antal av de mest betydande komponenterna anv¨ands f¨or att tillsammans med ”scores” fr˚an PLS-modellen tr¨ana ett ANN.

Y = AN N ([TP LSTP CA]) + Rhybrid (3.13)

d¨ar TP LS betecknar scores f¨or PLS:en, TP CA betecknar scores f¨or PCA:n och

16 Teori

Figur 3.4. Hybridmodell, schematisk skiss.

3.3.8

Transformation av data

Vid PCA och PLS rekommenderar Despagne och Massart autoskalning av vari-abler, se ekvation 3.6[11]. Vid anv¨andning av ANN ¨ar detta inte n¨odv¨andigt, f¨orutom vid eventuella komprimeringssteg. D¨aremot rekommenderas skalning av variablerna till den valda responsfunktionens omf˚ang f¨or att undvika att ”m¨atta” denna. Om linj¨ara ¨overf¨oringsfunktioner anv¨ands vid ”output”-lagret ¨ar det inte n¨odv¨andigt att skala y[11]. Skalningen utf¨ors enligt:

m = (x − xmin) (xmax− xmin)

(rmax− rmin) + rmin (3.14)

d¨ar m ¨ar en av k skalade variabler skapade fr˚an den motsvarande ursprungliga variabelvektorn x. rmin och rmax betecknar ¨andpunkterna i responsfunktionens

omf˚ang. F¨or en sigmoid eller hypertangent funktion rekommenderas rmin = −1

och rmax= 1 av Despagne och Massart f¨or skalning av indata[11].

N¨ar m¨atsystemet skall implementeras kommer endast ett spektrum ˚at g˚angen att predikteras. F¨or att kunna autoskala dessa spektra en och en anv¨ands samma para-metrar f¨or autoskalning som f¨or kalibreringssetet. Alternativet ¨ar att kontinuerligt bilda medelv¨arden och r¨akna ut standardavvikelser efterhand som prediktionerna g¨ors. Vilken av dessa metoder som ¨ar b¨ast l¨ampad har inte kunnat avg¨oras uti-fr˚an det existerande datamaterialet. Det ¨ar t¨ankbart att den senare metoden kan

3.3 Multivariat dataanalys 17

kompensera f¨or drift i systemet men den kan ocks˚a d¨olja en dylik f¨or¨andring som kr¨aver ˚atg¨ard.

3.3.9

Uppdelning av material

Om tillr¨ackligt datamaterial finns tillg¨angligt ¨ar det tillr˚adligt att anv¨anda sig av extern validering, i motsats till korsvalidering, se avsnittet 3.3.10. Det ursprungli-ga datat delas d˚a upp i kalibrerings- och valideringsdata[5]. Detta kan utf¨oras med slumpm¨assig f¨ordelning, blockvis f¨ordelning eller med en algoritm s˚asom Kennard-Stones metod eller duplexmetoden. Beroendet mellan dataseten vid anv¨andning av matematiska algoritmer ¨ar n˚agot som b¨or tas i ˚atanke vid anv¨andning av de b˚ada senare. De ger dock f¨ordelen av att extrapolering i prediktionsdelen kan undvikas d˚a dessa f˚angar upp en stor del av variansen i det ursprungliga datat. Kalibreringsdatat anv¨ands f¨or att anpassa den valda modellen och valideringsda-tat anv¨ands f¨or att utv¨ardera modellen exempelvis genom att r¨akna ut RMSEP (se ekvation 3.17). Eftersom de b˚ada seten b¨or vara oberoende av varandra ¨ar det inte l¨ampligt att anv¨anda sig av blockindelning enligt Despagne och Massart[11]. I detta fall kan det dock finnas en mening i och med att man simulerar det verk-liga fallet d˚a de predikterade punkterna alla kommer efter kalibreringspunkterna tidsm¨assigt[11].

Om ANN anv¨ands s˚a b¨or datamaterialet delas in i tre delar, f¨orutom kalibrerings-och valideringsset b¨or ¨aven ett ¨overvakningsset skapas. Detta anv¨ands vid tr¨aning av n¨atverket f¨or att undvika ¨overanpassning. Felet f¨or prediktionen av ¨ overvak-ningssetet anv¨ands f¨or att avbryta tr¨aningen av ett ANN. Despagne och Massart f¨oresl˚ar ett idealfall d¨ar kalibreringssetet inneh˚aller Nk punkter. Validerings och

¨

overvakningsseten skall d˚a inneh˚alla mellan Nk

2 och Nkpunkter vardera. ¨ Overvak-ningssetet kan ses som en del av kalibreringssetet d˚a det anv¨ands f¨or att anpassa modellen[11].

Uppdelning av datamaterial som anv¨ants i detta arbete illustreras av figur 3.5. Valideringssetet kommer att anv¨andas f¨or att optimera parametrarna f¨or de olika metoderna. Anledningen till detta ¨ar att j¨amf¨orelsen mellan metoderna ¨ar central. Det som unders¨oks ¨ar vilken metod som med k¨anda ”optimala” parametrar kan ge den b¨asta prediktionen. Om ett set med data skulle anv¨andas till att optimera parametrarna skulle antalet observationer som kan anv¨andas till kalibreringssetet bli ¨annu f¨arre och resultaten os¨akrare.

Kennard-Stones algoritm

Denna metod f¨or att selektera ett kalibreringsset utifr˚an ett antal datapunkter baseras p˚a att f¨or varje punkt v¨alja den som maximerar det euklidiska avst˚andet till den senast valda. Detta ger ett kalibreringset som inneh˚aller maximal varians ifr˚an datamaterialet[11].

18 Teori

Figur 3.5. Uppdelning av material. Till v¨anster: uppelning f¨or NN-PCA och hybrid. Till h¨oger: f¨or alla andra modeller. Vitt avser kalibreringsset, ljusgr˚att valideringsset och m¨orkgr˚att ¨overvakningssetet.

Duplexmetoden

Duplexmetoden bygger p˚a Kennard-Stones algoritm med en korrigering f¨or att det data som finns tillhands inte alltid svarar mot det som skall predikteras. D˚a ex-trapolering ¨ar sv˚art att undvika i verkligheten f¨ordelar duplexmetoden de punkter som tas fram med Kennard-Stones algoritm till de olika seten p˚a ett alternerande s¨att. Detta ger valideringsdata som ¨aven testar metodens extrapolationsf¨orm˚aga. Skillnaden mot randomiserad uppdelning blir att en m¨ojlig skev f¨ordelning med st¨orre varians i valideringssetet undviks[11]. I detta arbete anv¨ands duplexmeto-den f¨or uppdelning av dataseten. Detta val g¨ors f¨or att minska beroendet mellan seten som finns vid blockindelning samt att blockindelning inte ¨ar ett rekommen-derat f¨orfarande[11].

3.3.10

Validering

Validering ¨ar en mycket viktig del av den multivariata dataanalysen. I och med valideringen utv¨arderas den konstruerade modellen med avseende p˚a antal kom-ponenter A, transformationer av data, kalibreringsmetod etcetera[24].

Korsvalidering

Korsvalidering ¨ar ett s¨att att uppskatta modellens prediktionsf¨orm˚aga genom att stegvis eliminiera k v¨arden fr˚an det ursprungliga datat, bygga en modell f¨or det ˚aterst˚aende datat och validera med de k punkter som eliminerades. Detta upprepas tills alla punkter n˚agon g˚ang varit eliminerade. Denna metod rekommenderas inte vid prediktion med ANN d˚a eliminering av en datapunkt kan inneb¨ara stora f¨or¨andringar i modellens beteende enligt Despagne och Massart[11].

3.3 Multivariat dataanalys 19

M˚att p˚a modellerings och predikteringsf¨orm˚aga

Ett vanligt m˚att p˚a hur pass bra modellen predikterat calibreringsdatat ¨ar ”Root Mean Square Error”, RMSE

RM SE =pM SE(ˆy) =pE(ˆy − y)2 _(3.15)

d¨ar E() betecknar v¨antev¨ardet f¨or ett uttryck, ˆy ¨ar de predikterade och y ¨ar de observerade v¨ardena p˚a m˚alvariabeln[24]. Ett empiriskt v¨arde p˚a RMSE kan erh˚allas med ”Root Mean Square Error of Calibration”, RMSEC som ber¨aknas enligt: RM SEC = s X( ˆy_k− y_k)2 Nk− 1 (3.16) d¨ar Nk¨ar antalet predikterade punkter i kalibreringssetet och ˆykoch ykbetecknar

predikterade och observerade v¨arden i kalibreringssetet. RMSEC rekommenderas inte av Naes med flera i ”Multivariate Calibration and Classification” d˚a detta fel endast s¨ager n˚agot om modelleringsfelet och inte om prediktionsfel[25].

Ist¨allet advokeras uppdelning av materialet(se 3.3.9) och anv¨andning av ”Root Mean Square Error of Prediction”, RMSEP[25]:

RM SEP = s

X(ˆy_v− y_v)2 Nv

(3.17)

d¨ar ˆyv och yv betecknar predikterade och observarade v¨arden i valideringssetet.

Nv ¨ar antalet observationer i valideringssetet.

Vid korsvalidering anv¨ands ”Root Mean Square Error of Cross Validation”, RM-SECV: RM SECV = v u u t N X i=1 (ˆyCV i− yi)2 N , h¨ar visas RMSECV f¨or k = 1 (3.18) d¨ar i betecknar den utel¨amnade observationen och ˆyCV i¨ar prediktionen av yi fr˚an

modellen baserad p˚a de kvarvarande punkterna[25].

Detektion av ”outliers” bland predikterade punkter

Vid kontinuerlig prediktion av data kan det vara ¨onskv¨art att finna punkter som ¨

ar mycket olika de som anv¨andes f¨or att kalibrera modellen. Detta f¨or att att inte dessa punkter skall tolkas som lika p˚alitliga som alla andra. I detta arbete anv¨ands storheten Hotellings T2_{f¨or att finna s˚adana punkter. Denna storhet visar}

hur l˚angt bort fr˚an punktmolnets centrum en viss punkt ¨ar. Det finns ¨aven andra metoder f¨or att identifiera outliers. T2 _{valdes d˚a den ¨ar v¨aldokumenterad och}

20 Teori

T2= n(x − µ)TS−1(x − µ) (3.19)

Ovan uttrycks Hotellings T2 _{f¨or kolumnvektorn/observationen x i medelv¨arden}

f¨or de olika variablerna µ, antalet observationer n och kovariansmatrisen S[30]. En funktion som indikerade vilka punkter som med visst konfidens var ”outliers” skapades i LabVIEW f¨or anv¨andning vid realtidsprediktion.

3.4

Insamling, behandling och strukturering av

data

3.4.1

Datainsamling och behandling

F¨or att samla in signaler anv¨ands ett program skrivet av Oscar Cardfeldt i Lab-VIEW. Den insamlade signalen ¨overf¨ors till frekvensdom¨an genom fouriertrans-formering (FFT) och medelv¨ardesbildas ¨over 100 m¨atpunkter innan det bildade medelv¨ardesspektrumet sparas i ASCII-filer[7]. Dessa filer l¨ases in och strukture-ras upp av skript skrivna i MATLAB. Datat spastrukture-ras i bin¨ar form som ”.mat”-filer. F¨or att underl¨atta ˚atkomst till datat har ytterligare skript skrivits som p˚a ett en-kelt s¨att l¨aser in det ¨onskade datasetet och returnerar det i en strukturerad form (se ”setDATA.m” i appendix A).

D˚a ett referensprov tas trycker en operat¨or p˚a en str¨ombrytare som leder till att den aktuella tidpunkten skrivs till en fil. Dessa filer anv¨ands senare f¨or att h¨amta spektrumet innan den aktuella tidpunkten. Provtagningen i sig antas p˚averka fl¨odet i r¨oret s˚a pass mycket att spektra inh¨amtade kort efter provtagning inte kan anses vara representativa f¨or fluiden i r¨oret. Operat¨orerna skriver in de uppm¨atta referensv¨ardena i en kalkylbladsfil med tiden angiven f¨or analysen. Dessa filer l¨ases in till MATLAB och paras ihop med det spektrum som sparats n¨armast innan provtagningstillf¨allet. Dessa spektra med tillh¨orande referensv¨arden anv¨ands f¨or att skapa modellen.

3.4.2

Strukturering av data

Autoskalning och uppdelning i kalibrerings-, prediktions- och eventuella ¨ overvak-ningsset ¨ar relativt ber¨akningsintensiva operationer. D¨arf¨or anv¨ands bin¨ara flaggor f¨or att indikera om dessa operationer utf¨orts eller inte. P˚a s˚a s¨att beh¨over inte samma ber¨akningar utf¨oras flera g˚anger. Rutinerna f¨or autoskalning och uppdel-ning kontrollerar om operationerna redan utf¨orts och returnerar i s˚a fall det redan processade datat.

Den datastruktur som anv¨ands i MATLAB beskrivs utf¨orligare i appendix A: ”initializeDATA.m”. ¨Oversiktligt kan dock s¨agas att datamaterialet samt flaggor som indikerar autoskalning och liknande lagras tillsammans med allm¨anna samt metodspecifika parametrar i en hierarisk datastruktur.

3.5 Tidigare arbete inom multivariat analys f¨or akustisk spektroskopi 21

3.5

Tidigare arbete inom multivariat analys f¨

or

akustisk spektroskopi

Inom multivariat analys eller kemometri som det ocks˚a kallas[5] med inriktning mot akustisk spektroskopi och akustiska m¨atningar ¨ar PLS och varianter av PLS de vanligast f¨orekommande metoderna n¨ar ett urval av publicerade artiklar g˚as igenom[17, 16, 5, 28, 31]. ¨Aven olika former av wavelettransformer har applicerats p˚a akustisk data och kombineras med PLS eller PCR[12, 5]. Forskningen som be-drivs parallellt r¨orande NIR-spektroskopi anv¨ander liknande analysmodeller och det ¨ar rimligt att kunskap spiller ¨over fr˚an detta f¨alt. Detta var fallet med ”Ortho-gonal Signal Correction” som ursprungligentogs fram av Wold och medf¨orfattare f¨or NIR[34] och senare applicerades p˚a akustiska m¨atningar av Bj¨ork[5].

Neurala n¨atverk har anv¨ants ihop med akustiska emissioner f¨or att best¨amma vilket tr¨aslag som anv¨andes vid en flisraffin¨or[36] och det indikeras i patentet som beskriver aktiv akustisk spektroskopi att neurala n¨at har kan vara en l¨amplig metod att anv¨anda:

”In real cases the situations are far more complicated and multivariate statistical analysis or neural networks are for instance used to evaluate the measured acoustic spectra.”[18]

Kapitel 4

Resultat

4.1

Explorativ dataanalys

Data fr˚an en processindustri anv¨andes f¨or den explorativa dataanalysen. Ett sex-tiotal referensv¨arden fanns f¨or temperatur, densitet, viskositet och fl¨ode, v¨arden som uppm¨atts manuellt genom off-line m¨atning. Vidare fanns ¨aven automatiska referensm¨atningar av temperatur var 30:e sekund under en l¨angre period. Da-tamaterialet behandlades med datorprogrammet MATLAB fr˚an MathWorks till-sammans med verktyget TOMCAT[13]. Detta resulterade i en rad PCA- och PLS-unders¨okningar varav ett urval presenteras h¨ar.

4.1.1

PCA

I en principalkomponentsanalys som baseras p˚a FFT:er fr˚an 17278 m¨atpunkter in-samlade under sex dagar kan grupperingar ses i rummet som sp¨anns upp av f¨orsta, andra och tredje principalkomponenten (se figur 4.1). De grupperingar som ligger l¨angst fr˚an centrum best˚ar n¨astan enbart av data fr˚an en viss dag. Detta tyder p˚a att signalen ¨andras mycket ¨over tiden och att olika produktionsf¨orfaranden och d¨arigenom spektralsignaturer ¨ar aktuella olika dagar. Ingen referensdata fanns att tillg˚a f¨or de aktuella dagarna. Vidare slutsatser kan inte dras utifr˚an PCA-plottarna.

Genom att titta p˚a f¨orklaringsgraderna i figur 4.2 ¨ar det m¨ojligt att se hur stor del av variansen som f¨orklaras i de olika principalkomponenterna. I detta exempel kr¨avs det 17 komponenter f¨or att f¨orklara 95% av variansen men bara 3 stycken f¨or att f¨orklara 80%. Som j¨amf¨orelse kan n¨amnas att antalet principalkomponen-ter som senare anv¨andes vid PCR var 33 stycken och den f¨orklarade variansen var 100% baserat p˚a ett mindre dataset ¨an vad som anv¨andes vid den explora-tiva dataanalysen. En enklare unders¨okning av eventuellt tidsberoende utf¨ordes genom att de olika principalkomponenterna plottades mot tiden (figur 4.3) och

24 Resultat

Figur 4.1. PCA f¨or data fr˚an ett antal dagar.

genom linj¨arregression. Ingen av dessa metoder visade p˚a n˚agot tidsberoende hos komponenterna.

4.1 Explorativ dataanalys 25

Figur 4.2. Ackumulerad f¨orklaringsgrad i principalkomponentsanalysen visualiserad i figuren 4.1. Notera den logaritmiska skalan f¨or antalet komponenter.

Figur 4.3. Plot av de fem f¨orsta principalkomponenternas v¨arden mot tiden.

4.1.2

PLS

I figuren 4.4 kan v¨arden p˚a RMSEC, h¨ar kallat RMS, RMSECV samt RMSEP ses. Utifr˚an dessa figurer ¨ar det m¨ojligt att se att PLS kan modellera alla ¨onskade parametrar om ¨an med varierande precision. F¨or samtliga PLS-modeller anv¨andes

26 Resultat

Figur 4.4. Predikterade och observerade v¨arden. Vita rutor avser valideringsdata och svarta ”diamanter” ¨ar kalibreringsdata.

˚atta latenta variabler, korsvalidering med k=1 och autoskalad in- och utdata. I plotten f¨or fl¨ode ses att endast ett f˚atal punkter har anv¨ants f¨or att modellera h¨oga v¨arden, dessa punkter kan vara outliers eller s˚a kan det helt enkelt vara s˚a att h¨oga fl¨oden inte ¨ar s˚a vanliga. Med ett st¨orre dataunderlag och riktlinjer g¨allande storleken p˚a de fl¨oden som skall modelleras skulle beslut kunna tas huruvida dessa punkter kan betraktas som outliers eller modelleras f¨or sig. Eftersom endast en explorativ analys utf¨ordes gjordes inga antaganden om detta i det aktuella fallet.

4.2

Bayesiska n¨

atverk

Efter vad som framkommit utifr˚an artiklar[8, 4] och intervju[26] kommer inte bay-esiska n¨atverk implementeras f¨or prediktion. Se teoriavsnittet 3.3.5 f¨or utf¨orligare f¨orklaring.

4.3 J¨amf¨orelse mellan PLS och NN-PCA 27

4.3

J¨

amf¨

orelse mellan PLS och NN-PCA

F¨or att i enlighet med arbetets m˚al kunna utv¨ardera artificiella neurala n¨atverks f¨orm˚aga att analysera signalerna fr˚an aktiv ljudspektroskopi utf¨ordes en j¨amf¨orelse mellan s˚adana och PLS som tidigare anv¨ants f¨or detta syfte[5].

All data autoskalas innan den anv¨ands f¨or modellering. Vid b˚ade PLS och NN-PCA anv¨ands 40% av observationerna till validering. F¨or n¨atverken anv¨ands 20% av observationerna ¨aven till att ¨overvaka tr¨aningen av n¨atverket. En del av data-materialet kommer fr˚an samma processindustri som den explorativa dataanalysen men ¨aven data fr˚an en unders¨okning av partikelstorlekar anv¨ands.

4.3.1

Optimering av PLS

F¨or att best¨amma l¨ampligt antal latenta variabler s˚a att prediktionsfelet mini-meras ber¨aknas RMSEP (baserat p˚a valideringssetet) f¨or alla antal latenta vari-abler mellan 1 och 50. Det antal varivari-abler som ger l¨agst fel anv¨ands senare vid j¨amf¨orelser med andra metoder. P˚a grund av arbetets omfattning m˚aste anta-gandet att l˚agt RMSEP indikerar en bra modell g¨oras. Att utforma modeller ¨ar till stor del ett hantverk men d˚a det var tvunget att automatisera arbetet kunde utformning och anpassning inte utf¨oras f¨or hand.

4.3.2

Optimering av neurala n¨

atverk

F¨or att finna optimala topografier hos n¨atverk anv¨andes en simpel iterativ process d¨ar prediktionsfelet minimerades. Enligt Despagne och Massart beh¨over endast ett dolt lager anv¨andas d˚a detta ¨ar tillr¨ackligt f¨or att ˚astadkomma universal approx-imation och fler lager inte inneb¨ar ett f¨orb¨attrat resultat[11]. Detta underl¨attar best¨amningen av topografin betydligt d˚a endast antalet noder i det dolda lagret och antalet principalkomponenter m˚aste best¨ammas. Dessa parametrar best¨amdes enligt f¨oljande algoritm d¨ar en kvadrat anv¨ands f¨or att s¨oka av det diskreta rum-met:

1. S¨att antalet principalkomponenter till ett initialt v¨arde 2. S¨att antalet noder i dolda lagret till ett initialt v¨arde

3. Felen i en t¨ankt kvadrat med centrum i den initiala koordinaten r¨aknas ut. RMSEP f¨or startpunkten, de omkringliggande 8 punkterna och f¨or de 16 punkter som omger dessa 8 ber¨aknas. RMSEP r¨aknas ut som ett medelv¨arde f¨or 10 observationer.

4. Identifiera punkten med minsta RMSEP.

5. Om denna punkt har l¨agre RMSEP ¨an startpunkten, s¨att den till ny start-punkt och upprepa steg 3-5.

28 Resultat

Figur 4.5. Predikteringsfel f¨or ANN beroende av parametrar. Exempel fr˚an prediktion av viskositet.

4.3.3

J¨

amf¨

orelse

D˚a en topografi best¨amts utf¨ors ett st¨orre antal anpassningar av n¨at med denna topografi. Prediktionsfelen sparas och presenteras i histogram tillsammans med prediktionsfelet f¨or en PLS-modell f¨or samma data. Antalet latenta variabler i PLS-modellen best¨ams iterativt f¨or att finna det antal som ger ett minimerat prediktionsfel. I f¨oljande histogram presenteras resultatet fr˚an tv˚a j¨amf¨orelser baserade p˚a samma datamaterial som den explorativa dataanalysen, i ena fallet anv¨ands viskositet som m˚alvariabel och det andra den automatiskt genererade temperaturinformationen. Det b¨or belysas att detta inte ¨ar m¨atningar d¨ar ljud s¨ands in i mediet utan passiva m¨atningar d¨ar endast ljud som uppkommer fr˚an mediet sj¨alvt uppm¨atts.

Samtliga j¨amf¨orelser baserade p˚a data fr˚an processindustrin uppvisar liknande ut-seende. Prediktionsfelet f¨or PLS ¨ar l¨agre ¨an ett uppskattat v¨antev¨arde f¨or histo-grammet. D˚a PLS-modellen visar sig vara b¨attre l¨ampad f¨or prediktion ¨an ANN anv¨ands den som referens f¨or j¨amf¨orelse med andra metoder. Endast vid ett tillf¨alle fanns att ett medelv¨arde av RMSEP fr˚an 100 anpassade ANN var l¨agre ¨an RMSEP f¨or PLS. Vid detta fall var antalet observationer mycket stort, ¨over 5000 stycken observationer av partikelstorlekar anv¨andes.

D˚a m¨atsystemet ¨amnar ers¨atta manuell provtagning uppst˚ar ett problem. De ma-nuella provtagningarna ¨ar dyra och tidskr¨avande och m˚aste d¨arf¨or minimeras men

4.4 J¨amf¨orelse mellan PLS och hybrid 29

Figur 4.6. Predikteringsfel f¨or ANN, tv˚a olika dataset, r¨od streckad linje avser RMSEP f¨or PLS.

de m˚aste ocks˚a vara tillr¨ackligt m˚anga f¨or att ge god s¨akerhet vid kalibrering-en. H¨ar m˚aste en avv¨agning g¨oras mellan kostnad f¨or provtagningar och predik-tionsf¨orm˚aga. D˚a antalet tillg¨angliga kalibreringspunkter inte kommer att uppg˚a till tusental kommer troligtvis inte artificiella neurala n¨atverk ¨overtr¨affa PLS-modellers prediktionsf¨orm˚aga vid liknande m¨atapplikationer med passiv akustisk spektroskopi.

4.4

J¨

amf¨

orelse mellan PLS och hybrid

En j¨amf¨orelse liknande den mellan PLS och ANN utf¨ors mellan PLS och hybrid-modellen.

4.4.1

Optimering av hybridmodellen

D˚a hybridmodellen skall anv¨andas kr¨avs tre parametrar: antalet latenta variab-ler f¨or PLS-delen, antalet principalkomponenter f¨or PCA och antalet noder i HL f¨or n¨atverket. Detta medf¨or ytterligare en dimension till optimeringsproblemet j¨amf¨ort med att optimera f¨or NN-PCA. Algoritmen anpassades f¨or detta fall med en kub ist¨allet f¨or en kvadrat:

1. S¨att antalet latenta variabler till ett initialt v¨arde 2. S¨att antalet principalkomponenter till ett initialt v¨arde 3. S¨att antalet noder i dolda lagret till ett initialt v¨arde

4. RMSEP f¨or startpunkten, de omkringliggande 26 punkterna och f¨or de 98 punkter som omger dessa 26 ber¨aknas. RMSEP r¨aknas ut som ett me-delv¨arde f¨or 10 observationer.

30 Resultat 5. Identifiera punkten med minsta RMSEP.

6. Om denna punkt har l¨agre RMSEP ¨an startpunkten, s¨att den till ny start-punkt och upprepa steg 4-6.

7. Om startpunkten har l¨agst RMSEP s˚a ¨ar parametrarna optimerade.

4.4.2

J¨

amf¨

orelse

Figur 4.7. Predikteringsfel f¨or hybrid, r¨od streckad linje avser RMSEP f¨or PLS.

Denna j¨amf¨orelse utf¨ordes med samma datamaterial som j¨amf¨orelsen med ANN. I stort visar hybriden samma egenskaper som n¨atverken d˚a den mestadels ¨ar s¨amre ¨

an PLS och ger olika stora fel fr˚an fall till fall. V¨art att n¨amna ¨ar att i det enda fall d˚a ANN gav l¨agre prediktionsfel ¨an PLS gav hybriden ett ¨annu l¨agre medelfel.

4.5

J¨

amf¨

orelse mellan PLS och MLR

Det stora problemet vid skapandet av en MLR-modell ¨ar att det kr¨avs ett mycket stort antal observationer f¨or att deras antal skall ¨overstiga antalet variabler som ¨ar minst 2048. Att de dessutom kan antas vara n¨ara korrelerade[5] (se ”MLR”, sidan 8) kr¨aver ett ¨annu st¨orre antal observationer. F¨or att erh˚alla tillr¨ackligt mycket data anv¨andes automatiskt insamlad temperaturdata som m˚alvariabel. D˚a en j¨amf¨orelse gjordes mellan MLR och PLS fanns att RMSEP f¨or metoderna var 1,04 respektive 0,49. Detta i kombination med kravet p˚a antalet observationer g¨or att multipel linj¨ar regression passar d˚aligt f¨or ¨andam˚alet.

4.6

J¨

amf¨

orelse mellan PLS och PCR

D˚a principalkomponentregression j¨amf¨ordes med PLS anv¨andes samma data som vid j¨amf¨orelsen med ANN. En optimeringsalgoritm liknande den f¨or PLS framtogs

4.7 ¨Oversikt ¨over modeller 31 d¨ar antalet principalkomponenter anv¨andes som oberoende variabel. D˚a b˚ada me-toderna optimerats med avseende p˚a det f¨oreliggande materialet best¨amdes RM-SEP f¨or PCR till 0,51 och 0,56 f¨or PLS. F¨or PCR anv¨andes 33 principalkomponen-ter vars sammanlagda f¨orklarande varians var 100%. F¨or PLS anv¨andes 8 latenta variabler med 90% respektive 88% f¨orklarad varians f¨or X- och Y-matrisen. D˚a all varians, vilken ¨aven innefattar brus, anv¨ands f¨or PCR-modellen ¨ar risken stor att modellen endast kan prediktera under kalibreringstiden. Modellen blir inte stabil ¨over tid och en modell med l¨agre f¨orklarad varians ¨ar att f¨oredra[1].

4.7

Oversikt ¨

¨

over modeller

I tabellen 4.7 presenteras en ¨oversikt ¨over de framtagna modeller som beskrivs i tidigare avsnitt.

32

Resultat

FIXME!!!

Tabell 4.1. ¨Oversikt ¨over framtagna modeller. Asterisk indikerar ett medelv¨arde av RMSEP fr˚an 100 st anpassningar.

Typ LV PC NiHL RMSEP R2X (%) R2Y (%) Antal referenspunkter Datamaterial M˚alvariabel

PLS 8 - - 0,56 88,7 94,6 66 Processindustri Viskositet

NN-PCA - 4 1 0,81* - 56,8 66 Processindustri Viskositet

Hybrid 4 4 1 0,88* - 46,9 66 Processindustri Viskositet

PCR - 33 - 0,51 99,5 73,3 66 Processindustri Viskositet

PLS 27 - - 0,49 62,5 26,0 4197 Processindustri Temperatur

MLR - - - 1,04 - 97,3 4197 Processindustri Temperatur

PLS 18 - - 0,62 49,0 78,4 841 Processindustri Temperatur

NN-PCA - 20 1 0,91* - 17,7 841 Processindustri Temperatur

4.8 Implementation i LabVIEW 33

4.8

Implementation i LabVIEW

Utifr˚an de Jongs algoritm f¨or PLS, ”SIMPLS”[10] och den implementation av denna som finns i TOMCAT[13] skrevs algoritmen om f¨or National Instruments programvara LabVIEW. Identiska dataset anv¨andes i TOMCAT och LabVIEW f¨or att verifiera att samma resultat erh¨olls fr˚an de b˚ada implementationerna.

4.9

Anpassning av PLS till specifik m¨

atapplikation

4.9.1

Prediktion av provtagningstider

D˚a det framkom att det vid vissa provtagningar inte registrerats n˚agon tidpunkt med str¨ombrytaren utformades en PLS-modell som tr¨anades med alla tillg¨angliga spektra. Som m˚alvariabel anv¨andes nollor och ettor d¨ar en etta betecknar en prov-tagning. Denna modell anv¨andes f¨or att prediktera tidpunkter f¨or provtagningar. Spektra fr˚an 90 minuter innan fram till de angivna tiderna i kalkylbladsfilerna pre-dikterades f¨or att finna tiden d˚a provet faktiskt tagits fr˚an r¨oret. Denna modell gav i vissa fall klara och tydliga toppar omkring med en amplitud p˚a 0,2 samt en bredd p˚a en observation. I andra fall syntes inga klara toppar. D˚a metoden kr¨aver manuell inspektion av topparna f¨or att undvika felaktiga resultat anv¨andes inte modellen f¨or att f˚a fram ytterligare kalibreringsdata.

4.9.2

Kalibrering och optimering

D˚a m¨atapparaturen f¨or¨andrades efter att datat som anv¨andes f¨or studien insamlats kan inte de framtagna resultaten anv¨andas f¨or att kalibrera eller optimera n˚agon modell. D¨aremot kan rutinerna ˚ateranv¨andas d˚a nytt data finns tillg¨angligt. Tro-ligtvis kommer uppst¨allningen p˚a processindustrin anv¨andas till aktiva akustiska m¨atningar och d˚a kommer ytterligare unders¨okningar kr¨avas f¨or att best¨amma prediktionsmodellernas utformning.

Kapitel 5

Diskussion

P˚a grund av of¨orutsedda omst¨andigheter kunde inte aktiv akustisk spektrosko-pi utv¨arderas inom detta examensarbete. Datamaterial fanns inte tillg¨angligt i tillr¨ackligt stor utstr¨ackning i god tid. Tillg˚angen till datamaterial har visat sig vara en mycket viktig faktor f¨or best¨amma vilka metoder som kan anv¨andas. De m¨atningar som referensmaterialet baseras p˚a ¨ar dyra och ¨ar begr¨ansande f¨or hur komplexa modeller som ¨ar l¨ampliga.

Ett artificiellt neuralt n¨atverk kan teoretiskt prediktera de s¨okta storheterna b¨attre ¨

an PLS d˚a det ¨aven tar h¨ansyn till icke-linj¨ara samband. Det kr¨avs dock ett myc-ket st¨orre datamaterial f¨or att tr¨ana ett n¨atverk med tillr¨acklig storlek d˚a det tenderar att modellera brus om inte det f¨orh˚allandevis stora antalet vikter och lo-adingmatrisen kan kalibreras tillr¨ackligt. Om stora m¨angder kalibreringsdata finns tillg¨angligt skulle neurala n¨atverk kunna anv¨andas men om data ¨ar l¨attillg¨angligt ¨

ar troligtvis nyttan med akustisk spektroskopi liten.

Resultatet fr˚an detta arbete kan endast appliceras p˚a de m¨atningar med passiv akustisk spektroskopi som unders¨okts. De kan vara v¨agledande d˚a de aktuella metoderna skall utv¨arderas inf¨or anv¨andandet av akustisk spektroskopi i liknan-de situationer med avseenliknan-de p˚a m¨atsystemets utformning, m¨atapplikation och tillg˚ang p˚a referensdata.

Det ¨ar m¨ojligt att aktiv akustisk spektroskopi skulle kunna introducera fler icke-linj¨ara samband mellan akustiska signaler och s¨okta storheter som ett artificiellt neuralt n¨atverk skulle kunna prediktera b¨attre ¨an linj¨ar PLS. Vid aktiva m¨atningar kommer ytterligare ing˚aende variabler introduceras i form av det ing˚aende ljudet. Om detta ljud h˚alls konstant kommer dessa variabler att elimineras och antalet variabler vara lika stort som vid passiva m¨atningar. Problemet med antalet ka-libreringspunkter kvarst˚ar dock, eftersom komplexiteten hos systemet ¨okar med introduktionen av akustiska vibrationer till r¨or och fluid. Det ¨ar d¨arf¨or inte rim-ligt att antalet kalibreringspunkter som kr¨avs f¨or att uppn˚a samma kvalitet p˚a prediktionen minskar.

36 Diskussion M¨ojligheten f¨or att med god tillg˚ang till kalibreringsdata erh˚alla en b¨attre pre-diktion ¨okar med anv¨andandet av aktiv akustisk spektroskopi d˚a den frekvens-beroende absorptionen och liknande effekter torde f˚a st¨orre betydelse vid ana-lysen. Denna m¨ojlighet m˚aste dock st¨allas emot det eventuellt ¨okade behovet av kalibreringsdata f¨or att skapa en modell. En aktiv akustisk m¨atuppst¨allning med v¨aldigt god tillg˚ang till kalibreringsdata skulle kunna anv¨anda sig av olika feedback-konstruktioner som varierar det ing˚aende ljudet och analyserar frekvens-spektra, fasf¨or¨andringar och impulssvar dynamiskt. Komplexiteten p˚a ett s˚adant ¨

okar dock dramatiskt och de eventuella vinsterna i prediktionsf¨orm˚aga ¨ar os¨akra. Det vore d¨arf¨or intressant att utf¨ora m¨atningar p˚a ett v¨alk¨ant system d¨ar kalibre-ringsdata genereras kontinuerligt f¨or att unders¨oka s˚adana fr˚agor som behovet av kalibreringsdata n¨ar m¨atningarna utf¨ors med aktiv ist¨allet f¨or passiv akustisk spektroskopi.

Uppdelningen av datamaterialet kan ha p˚averkat resultaten i viss utstr¨ackning. Duplexmetoden ger en uppdelning som ger goda matematiska f¨oruts¨attningar f¨or att skapa valideringsset. F¨orhoppningen var att den eventuella tidskorrelationens inverkan skulle minskas. N¨ar tekniken skall implementeras kommer inga liknande uppdelningar g¨oras, all tillg¨anglig information kommer att anv¨andas till att skapa en modell. Eventuellt kan korsvalidering anv¨andas f¨or att best¨amma antalet laten-ta variabler som skall anv¨andas. Scenariot kommer att likna en blockuppdelning d¨ar tidskorrelationen inte kommer att kunna bortses fr˚an. Att en blockuppdel-ning inte anv¨andes i detta arbete grundas i att m˚alet med arbetet var att j¨amf¨ora metoder i allm¨anhet inte deras stabilitet gentemot ”nya” data. Resultatet fr˚an j¨amf¨orelse med blockuppdelning skulle emellertid vara intressant utifr˚an en imple-mentationssynvinkel f¨or att unders¨oka uppdelningens inverkan p˚a prediktionsfel och residualer.

¨

Aven anv¨andningen av RMSEP och uppdelningen i kalibrerings- och valideringsset kan diskuteras d˚a det inte kommer att anv¨andas f¨or att utforma modeller inf¨or slutlig implementering. ˚Aterigen beror valet av arbetss¨att p˚a att m˚alet avser en utv¨ardering av metoderna generellt och inte specifikt f¨or en s¨arskild till¨ampning. Det ¨ar m¨ojligt att artificiella neurala n¨atverk eller hybridmodellen har l¨agre predik-tionsfel ¨an PLS f¨or just den storlek p˚a dataset och den m˚alvariabel som anv¨andes. Detta kan inte uteslutas utan st¨orre dataunderlag. Det som unders¨okningarna visar ¨ar endast att storleken p˚a kalibreringssetet inte ¨ar tillr¨ackligt stort f¨or att tr¨ana ett neuralt n¨atverk till b¨attre prediktiv f¨orm˚aga ¨an en PLS-modell baserad p˚a samma antal observationer. Gr¨ansen f¨or n¨ar artificiella neurala n¨at ger b¨attre prediktioner skulle kunna ligga mellan antalet kalibreringspunkter och det tota-la antalet observationer i datasetet. Allts˚a skulle fler observationer beh¨ovas f¨or att utr¨ona om gr¨ansen verkligen g˚ar d¨ar. Detta resonemang leder dock till ett stegvis ¨okat behov av data ¨anda tills datamaterialet ¨ar tillr¨ackligt omfattande f¨or att visa att n¨atverket ¨ar b¨attre ¨an PLS, om det ens n˚agon g˚ang intr¨affar. De un-ders¨okningar som gjordes med temperatur som m˚alvariabel antogs vara tillr¨ackligt lika de f¨or de andra m˚alvariablerna s˚a att slutsatserna fr˚an temperatur-modellerna kan appliceras ¨aven p˚a de andra. Om detta antagande ¨ar sant s˚a kan gr¨ansen f¨or antalet n¨odv¨andiga observationer vid anv¨andandet av artificiella neurala n¨at

37 h¨ojas avsev¨art j¨amf¨ort med storleken p˚a kalibreringsseten. I likhet med andra fr˚agest¨allningar skulle fr˚agan om likheten mellan prediktion av temperatur och andra m˚alvariabler kunna utredas n¨armre med st¨orre tillg˚ang till datamaterial. Om framtiden p˚avisar en m¨ojlighet att anv¨anda artificiella neurala n¨atverk i och med nya m¨atapplikationer finns en grund f¨or att snabbt kunna utv¨ardera om det ¨

ar l¨ampligt eller ej. Vidare kan framtagna strukturer och funktioner anv¨andas f¨or att med relativt liten arbetsinsats j¨amf¨ora alternativa metoder f¨or multivariat analys av akustisk spektroskopidata.

P˚a basis av de resultat som framkommit verkar PLS och liknande metoder vara b¨ast l¨ampade f¨or anv¨andning vid applikationer liknande de unders¨okta. Exempel-vis skulle ”Partial M-Regression”, PRM[29] eller ”Wavelet Transform-Multi Re-solution Spectra”, WT-MRS[6] unders¨okas med liknande metoder som anv¨ants i detta arbete. Valet av analysmodell kan bara till en viss del p˚averka hela m¨atuppst¨allningens prestanda. D¨arf¨or ¨ar det viktigt att instrumentet som hel-het utv¨arderas och f¨orb¨attras utifr˚an vilka f¨or¨andringar som ger st¨orst ¨okningar i prestanda och att inte fokusera alltf¨or mycket p˚a den multivariata statistiska analysen.

Kapitel 6

Slutsatser

PLS visade sig vara b¨attre l¨ampat f¨or prediktering av s¨okta egenskaper utifr˚an akustisk spektroskopidata ¨an alla andra metoder som unders¨oktes. Bayesiska n¨atverk visade sig inte vara l¨ampliga f¨or ¨andam˚alet och unders¨oktes d¨arf¨or in-te n¨armare. Vid en vidareutveckling av tekniken f¨oresl˚as d¨arf¨or att PLS eller liknande metoder s˚asom PRM[29] eller WT-MRS anv¨ands[6].

Litteraturf¨

orteckning

[1] Intervju med Dr. Anders Bj¨ork, G¨oteborg, 26/11 2009.

[2] Herv´e Abdi. Encyclopedia of measurement and statistics, chapter Partial Le-ast Square Regression PLS-Regression. A Sage reference publication. SAGE, Thousand Oaks California, USA, 2007. ISBN 978-1-412-91611-0.

[3] Yvonne Aitom¨aki. Towards a Measurement of Paper Pulp Quality: Ultraso-nic Spectroscopy of Fiber Suspensions. Licentiatavhandling, Lule˚a Tekniska Universitet, 2006.

[4] Irad Ben-Gal. Bayesian networks. Encyclopedia of Statistics in Quality and Reliability, 2007.

[5] Anders Bj¨ork. Chemometric and signal processing methods for real time monitoring and modeling : Applications in the pulp and paper industry. PhD thesis, KTH, Chemistry, 2007.

[6] Anders Bj¨ork and Lars-G¨oran Danielsson. Spectra of wavelet scale coefficientd from process acoustic measurements as input for pls modeling of pulp quality. Journal of Chemometrics, 16:521–528, 2002.

[7] Oscar Cardfeldt. Passive Acoustic Spectroscopy as a detection method of viscosity and other process parameters. Master’s thesis, Chalmers tekniska h¨ogskola, 2009.

[8] Eugene Charniak. Bayesian networks without tears. AI Magazine, 12:50–63, 1991.

[9] Barry W. Connors. Medical Physiology, chapter 11 Physiology of Neurons, pages 280–294. Elsevier Saunders, 2005.

[10] S. de Jong. SIMPLS: an alternative approach to partial least squares regres-sion. Chemometrics and Intelligent Laboratory Systems, 18:251–263, 1993. [11] Fr´ed´eric Despagne and D. Luc Massart. Neural networks in multivariate

calibration. The Analyst, 123:157R–178R, 1998.

42 LITTERATURF ¨ORTECKNING [12] Erdal Din¸c, Fatma Demirkaya, Dumitru Baleanu, Y¨ucel Kadioglu, and Ekrem Kadioglu. New approach for simultaneous spectral ana-lysis of a complex mixture using the fractional wavelet transform. Communications in Nonlinear Science and Numerical Simulation, 15 (4):812–818, 2010. ISSN 1007-5704. doi: DOI:10.1016/j.cnsns. 2009.05.021. URL http://www.sciencedirect.com/science/article/ B6X3D-4W8VW2X-D/2/6eff6999108a76b716997344d559557d.

[13] Michal Daszykowski et al. TOMCAT: A MATLAB toolbox for multi-variate calibration techniques. Chemometrics and Intelligent Laborato-ry Systems, 85(2):269–277, 2007. ISSN 0169-7439. doi: DOI:10.1016/ j.chemolab.2006.03.006. URL http://www.sciencedirect.com/science/ article/B6TFP-4JX9V38-1/2/00ff2babbcd6ff49edfd761b3a61a217. [14] T. Hill and P. Lewicki. STATISTICS Methods and Applications. StatSoft,

2007.

[15] Lydia E. Kavraki. Dimensionality reduction methods for molecular motion, May 2010. URL http://cnx.org/content/m11461/1.10.

[16] Andriy Kupyna, Elling-Olav Rukke, Reidar Barfod Sch¨uller, H˚akon Helland, and Tomas Isaksson. Partial least square regression on frequency shift applied to passive acoustic emission spectra. Journal of Chemometrics, 21(3-4):108– 116, 2007.

[17] Andriy Kupyna, Elling-Olav Rukke, Reidar Barfod Sch¨uller, and Tomas Isaksson. The effect of flow rate, accelerometer location and tempera-ture in acoustic chemometrics on liquid flow: Spectral changes and ro-bustness of the prediction models. Chemometrics and Intelligent Labo-ratory Systems, 93(1):87–97, 2008. ISSN 0169-7439. doi: DOI:10.1016/ j.chemolab.2008.04.007. URL http://www.sciencedirect.com/science/ article/B6TFP-4SCD9WK-1/2/3e75d19a7c32a1ffe105b6bbd6a218f7. [18] Thomas Liljenberg, Stefan Backa, Lennart Thegel, and Mats ˚Abom. Active

acoustic spectroscopy. United States Patent No. 20040006409, January 2004. URL http://www.freepatentsonline.com/20040006409.html.

[19] Tobias Lindgren and Sven Hamp. Biomass monitoring using acoustic spectroscopy. IEEE Sensors Journal, 6:1068–1075, 2006.

[20] Tormod Næs, Tomas Isaksson, Tom Fearn, and Tony Davies. Multivariate Calibration and Classification, chapter Appendix A, pages 285–315. NIR Publications, 2004.

[21] Tormod Næs, Tomas Isaksson, Tom Fearn, and Tony Davies. Multivaria-te Calibration and Classification, chapMultivaria-ter 2 Introduction, pages 5–9. NIR Publications, 2004.

[22] Tormod Næs, Tomas Isaksson, Tom Fearn, and Tony Davies. Multivariate Calibration and Classification, chapter 5 Data compression by PCR and PLS, pages 27–38. NIR Publications, 2004.