Department of Science and Technology Institutionen för teknik och naturvetenskap
Linköping University Linköpings universitet
g n i p ö k r r o N 4 7 1 0 6 n e d e w S , g n i p ö k r r o N 4 7 1 0 6 -E S
LiU-ITN-TEK-A--17/063--SE
Elektroniska
monteringsanvisningar och
dokumentation för komplex
montering av kablage till
flygplan i Augmented Reality
Anton Kaiser
Elektroniska
monteringsanvisningar och
dokumentation för komplex
montering av kablage till
flygplan i Augmented Reality
Examensarbete utfört i Medieteknik
vid Tekniska högskolan vid
Linköpings universitet
Anton Kaiser
Handledare Karljohan Lundin Palmerius
Examinator Camilla Forsell
Upphovsrätt
Detta dokument hålls tillgängligt på Internet – eller dess framtida ersättare –
under en längre tid från publiceringsdatum under förutsättning att inga
extra-ordinära omständigheter uppstår.
Tillgång till dokumentet innebär tillstånd för var och en att läsa, ladda ner,
skriva ut enstaka kopior för enskilt bruk och att använda det oförändrat för
ickekommersiell forskning och för undervisning. Överföring av upphovsrätten
vid en senare tidpunkt kan inte upphäva detta tillstånd. All annan användning av
dokumentet kräver upphovsmannens medgivande. För att garantera äktheten,
säkerheten och tillgängligheten finns det lösningar av teknisk och administrativ
art.
Upphovsmannens ideella rätt innefattar rätt att bli nämnd som upphovsman i
den omfattning som god sed kräver vid användning av dokumentet på ovan
beskrivna sätt samt skydd mot att dokumentet ändras eller presenteras i sådan
form eller i sådant sammanhang som är kränkande för upphovsmannens litterära
eller konstnärliga anseende eller egenart.
För ytterligare information om Linköping University Electronic Press se
förlagets hemsida
http://www.ep.liu.se/Copyright
The publishers will keep this document online on the Internet - or its possible
replacement - for a considerable time from the date of publication barring
exceptional circumstances.
The online availability of the document implies a permanent permission for
anyone to read, to download, to print out single copies for your own use and to
use it unchanged for any non-commercial research and educational purpose.
Subsequent transfers of copyright cannot revoke this permission. All other uses
of the document are conditional on the consent of the copyright owner. The
publisher has taken technical and administrative measures to assure authenticity,
security and accessibility.
According to intellectual property law the author has the right to be
mentioned when his/her work is accessed as described above and to be protected
against infringement.
For additional information about the Linköping University Electronic Press
and its procedures for publication and for assurance of document integrity,
please refer to its WWW home page:
http://www.ep.liu.se/Monteringsinstruktioner och dokumentation i förstärkt verklighet är en potentiell revolution för indus-triellt monteringsarbete. Att montören kan få virtuella instruktioner i en verklig kontext, samtidigt som montörens händer hålls fria för montering, skulle bland annat kunna bidra till kortare monteringstider, mer effektiv upplärning, bättre dokumentation och säkrare arbetsplatser. Syftet med examensarbetet som beskrivs i den här rapporten var att studera om och hur Combitech bör använda förstärkt verk-lighet, för kommunikation av monteringsinstruktioner och dokumentation för komplex montering av kablage till flygplan, samt vilka möjligheter och risker detta medför.
I examensarbetet som beskrivs i den här rapporten genomfördes först en litteraturstudie som syftade till att identifiera hur företaget Combitech bör arbeta med förstärkt verklighet vid kabelmontering och dokumentation, vad som har gjorts tidigare inom området samt vilka möjligheter och utmaningar som finns inom området. Efter genomförd litteraturstudie tillämpades resultaten av litteraturstudien på ett verkligt fall. Fallstudien bestod av att implementera och utvärdera prototyper, för monteringsinstruk-tioner och dokumentation, för komplex montering av kablage till flygplan.
Tre olika prototyper skapades och utvärderades i fallstudien, varav en skulle motsvara traditionella monteringsinstruktioner och de två andra skapades för förstärkt verklighet. Den första av två proto-typer som skapades för förstärkt verklighet implementerades för Microsoft Hololens och den andra för projicerade monteringsinstruktioner. Utvärderingen genomfördes med sex stycken testpersoner med olika monteringserfarenhet.
Resultaten från utvärderingen visade att monteringsinstruktionerna för Microsoft Hololens gav flest antal fel och längst monteringstid samt att de projicerade monteringsinstruktionerna gav minst antal fel och kortast monteringstid. En jämförelse mellan de tre prototyperna som utvärderades visar att de projicerade monteringsinstruktionerna i förstärkt verklighet gav minst antal fel och kortast monter-ingstid, hade bäst ergonomi, var roligast samt enklast att använda.
Valet av metod för monteringsinstruktioner i förstärkt verklighet visade sig vara helt avgörande när resultaten från utvärderingen i fallstudien studerades. I jämförelsen mellan monteringsinstruktionerna i Microsoft Hololens och projicerade monteringsinstruktioner blir rekommendationen enkel, baserat på resultaten från utvärderingen av prototyperna. Väljer Combitech att ta steget till förstärkt verklighet bör de använda sig av projicerade monteringsinstruktioner, för komplex montering av kablage till flygplan i förstärkt verklighet.
Abstract
Assembly instructions and documentation in Augmented Reality are a potential revolution for indus-trial assembly work. That the installer can get virtual instructions in real-life context, while keeping the fitter’s hands free to install, could, among other things, contribute to shorter assembly times, more efficient learning, better documentation and safer workplaces. The purpose of the thesis work described in this report was to study if and how Combitech should use Augmented Reality, for com-munication of assembly instructions and documentation for complex assembly of aircraft cables, as well as the possibilities and risks involved.
The thesis described in this report first conducted a literature study aimed at identifying how Com-bitech should work with Augmented Reality in cable assembly and documentation, what has been done in the field earlier and what opportunities and challenges lies in the field. After completion of the literature study, the results of the literature study were applied on a real case. The case study con-sisted of implementing and evaluating prototypes, for assembly instructions and documentation, for complex assembly of cables to aircrafts.
Three different prototypes were created and evaluated in the case study, one of which would corre-spond to traditional assembly instructions and the other two were created for Augmented Reality. The first of two prototypes created for Augmented Reality was implemented for Microsoft Hololens and the other for projected assembly instructions. The evaluation was conducted with six test persons with different assembly experience.
The results from the evaluation showed that the assembly instructions for Microsoft Hololens gave the most number of errors and the longest assembly times and that the projected assembly instructions gave the least number of errors and the shortest assembly times. A comparison between the three prototypes evaluated shows that the projected assembly instructions in Augmented Reality gave the least number of errors and shortest assembly times, had the best ergonomics, were the most fun to use and the easiest to use.
The choice of method of assembly instruction in Augmented Reality proved to be crucial when study-ing the results of the evaluation of the case study. In the comparison between assembly instructions in Microsoft Hololens and projected assembly instructions, the recommendation is simple based on the results in the evaluation. If Combitech chooses to take the step to Augmented Reality, they should use projected assembly instructions for complex assembly of cables to airplanes in Augmented Reality.
Sammanfattning i Abstract ii Figurförteckning v Tabellförteckning vi 1 Inledning 1 1.1 Bakgrund . . . 1
1.2 Motivering till studerat område . . . 1
1.3 Syfte . . . 2
1.4 Frågeställningar . . . 2
1.5 Avgränsningar . . . 2
1.6 Metod för genomförande . . . 3
2 Monteringsinstruktioner och dokumentation i AR 4 2.1 Förstärkt verklighet (AR) . . . 4
2.2 Relaterade studier och projekt . . . 5
2.3 För- och nackdelar med monteringsinstruktioner i AR . . . 5
2.4 Riktlinjer för monteringsinstruktioner i AR . . . 7
2.5 Utvärdering av AR-instruktioner . . . 9
2.6 Steget från traditionella monteringsinstruktioner till AR . . . 9
2.7 Projicerade monteringsinstruktioner . . . 9
2.8 Dokumentationsmetoder vid AR-montering . . . 10
2.9 Motivering till genomförande av fallstudie . . . 10
3 Fallstudie - Komplex montering av kablage till flygplan 12 3.1 Fallbeskrivning . . . 12
3.2 Combitechs nuvarande monteringsinstruktioner . . . 12
3.3 Prototyp I - Traditionella monteringsinstruktioner . . . 13
3.3.1 Material och konstruktion . . . 13
3.3.2 Avgränsningar för prototyp I . . . 15
INNEHÅLLSFÖRTECKNING iv
3.4 Prototyp II - Monteringsinstruktioner för Microsoft Hololens . . . 15
3.4.1 Material och konstruktion . . . 16
3.4.2 Hårdvara . . . 17
3.4.3 Mjukvara . . . 17
3.4.4 Implementation av monteringsinstruktioner i Unity . . . 18
3.5 Prototyp III - Projicerade monteringsinstruktioner . . . 20
3.5.1 Material och konstruktion . . . 21
3.5.2 Mjukvara . . . 21 3.5.3 Implementation av monteringsinstruktioner . . . 21 3.6 Utvärdering av prototyper . . . 23 3.6.1 Testpersoner . . . 23 3.6.2 Utvärderingsparametrar . . . 23 3.6.3 Utvärderingsprocedur . . . 24 3.6.4 Pilottest . . . 24
3.6.5 Risker vid utvärdering . . . 25
4 Resultat 26 4.1 Utvärdering i fallstudie . . . 26
4.1.1 Monteringstid . . . 26
4.1.2 Antal fel vid montering . . . 27
4.1.3 Ergonomi . . . 27
4.1.4 Kul att använda . . . 29
4.1.5 Enkelt att använda . . . 30
5 Analys och diskussion 33 5.1 Resultat från utvärdering i fallstudie . . . 33
5.2 Replikerbarhet, reliabilitet och validitet . . . 34
5.3 Källkritik . . . 35
5.4 Arbetet i ett vidare sammanhang . . . 35
6 Slutsatser 36 6.1 Svar på frågeställningar . . . 36 6.2 Framtida arbete . . . 37 Referensförteckning 39 A Monteringstabell för prototyp I 42 B Formulär från utvärdering 43
1 "Reality-Virtuality Continuum" sträcker sig från verklighet till virtuell verklighet [5]. 4 2 Förstärkt verklighet (AR), verklig kontext med virtuella objekt i Microsoft Hololens
[6]. . . 5
3 Exempel på färdigmonterad kabelstam på monteringsbord [36]. . . 13
4 Prototyp I - Monteringsbord med traditionella monteringsinstruktioner innehållande tabell, kabelritning samt start- och slutpunkter. . . 14
5 Kabelritning och monteringstabell som projicerades på monteringsbordet. . . 14
6 Prototyp II - Monteringsinstruktioner för Microsoft Hololens. . . 16
7 Microsoft Hololens. . . 17
8 Gränssnitt för prototyp II. . . 20
9 Prototyp III - Projicerade monteringsinstruktioner. . . 21
10 Monteringssteg för projicerade monteringsinstruktioner. . . 22
11 Svar på påståendet "bekvämt att använda" för respektive prototyp. . . 27
12 Testpersonernas svar på påståendet "Jag kände någon gång yrsel/illamående under testet". . . 28
13 Testpersonernas svar på påståendet "Jag hade kunnat tänka mig att montera en hel arbetsdag på det här sättet". . . 28
14 Testpersonernas svar på påståendet "Det var roligt/kul att montera kablar i den här prototypen". . . 29
15 Testpersonernas svar på påståendet "Det var roligt att montera med den här typen av teknik". . . 29
16 Testpersonernas svar på påståendet "Det hade varit roligt att arbeta med den här typen av teknik dagligen". . . 30
17 Formulär från utvärdering för utvärderingsparametern ergonomi. . . 43
18 Formulär från utvärdering för utvärderingsparametern "kul att använda". . . 44
Tabellförteckning
1 Monteringstider från utvärdering för respektive testperson och prototyp. . . 26 2 Antal fel för respektive testperson och prototyp. . . 27 3 Monteringstabell innehållande monteringsstegen för prototyp I. . . 42
Inledning
Monteringsinstruktioner och dokumentation i förstärkt verklighet (AR - Augmented Reality) är en potentiell revolution för industriellt monteringsarbete. Att montören kan få virtuella instruktioner i en verklig kontext, samtidigt som montörens händer hålls fria för montering, skulle bland annat kunna bidra till kortare monteringstider, mer effektiv upplärning, bättre dokumentation och säkrare arbet-splatser. I den här rapporten beskrivs ett examensarbete som utfördes inom området Medieteknik vid Institutionen för teknik och naturvetenskap på Linköpings universitet där elektroniska monteringsin-struktioner och dokumentation i förstärkt verklighet (AR) studeras, för det specifika fallet komplex kabelmontering till flygplan.
1.1
Bakgrund
Företag som Microsoft, Apple och Google lägger stora resurser på utveckling av hård- och mjukvara för förstärkt verklighet (AR), vilket driver utvecklingen framåt. Förstärkt verklighet (AR) har tack vare stora satsningar och forskning nått en prisnivå och teknisk mognad som gör tekniken lämplig för professionella tillämpningar. Teknikkonsultföretaget Combitech, där examensarbetet som beskrivs i den här rapporten genomfördes, har många kunder inom industrin som arbetar med montering av olika slag. Examensarbetet utförs för att ge Combitech djupare kunskap om elektroniska monter-ingsinstruktioner och dokumentation i förstärkt verklighet (AR).
1.2
Motivering till studerat område
Världen står inför den fjärde industriella revolutionen, vilket ställer krav på att människa och maskin är uppkopplade för att dela information med varandra [1]. För att detta ska vara möjligt behövs ett system som ger arbetare och maskiner rätt information vid rätt tidpunkt och plats [1]. Arbetare i framtidens ”smarta fabriker” behöver kunna oerhört mycket mer än dagens arbetare, vilket ställer höga krav på de som ska arbeta där [1]. IoT (Internet of Things) med tillämpningar inom tillverkn-ingsindustrin, dit elektroniska monteringsinstruktioner och dokumentation i AR räknas, uppskattas ha intäktsmöjligheter på 700 miljarder dollar år 2018 [2]. Monteringsinstruktioner och dokumentation i förstärkt verklighet (AR) studeras i examensarbetet som behandlas i den här rapporten.
I takt med att industriella system blir mer komplexa och kvalificerade operatörer och montörer blir allt svårare att hitta måste företag satsa på längre inlärningsprocesser vilket i sin tur kostar tid/pengar [3]. Elektroniska monteringsinstruktioner i AR skulle kunna vara ett avgörande verktyg för att effek-tivisera inlärningsprocessen och arbetsprocessen för montering av kablage till flygplan. Användandet
KAPITEL 1. INLEDNING 2
av sådana monteringsinstruktioner skulle också troligtvis innebära att: alla montörer får samma in-struktioner, kunskapen om monteringen stannar i företaget om en monterings-expert slutar och att förändrade instruktioner snabbt kan nå montörerna. Användandet av AR vid monteringen ger också möjlighet till verifiering och dokumentation exempelvis genom att automatiskt lagra information om monteringsprocessen.
Framtidsmöjligheterna för dessa typer av monteringsinstruktioner och dokumentation i AR är stora och det finns företag (exempelvis Volkswagen [3], Volvo [1], BMW [4] och Boeing [2]) som redan idag tillämpar den här typen av verktyg.
1.3
Syfte
Syftet med examensarbetet som beskrivs i den här rapporten är att studera om och hur Combitech bör använda förstärkt verklighet (AR) för kommunikation av monteringsinstruktioner och dokumentation för komplex montering av kablage till flygplan samt vilka möjligheter och risker detta medför. Examensarbetet genomförs dels genom en litteraturstudie för att identifiera hur Combitech bör arbeta med AR vid kabelmontering och dokumentation, vad som har gjorts tidigare inom området samt vilka möjligheter och utmaningar som finns inom området.
Syftet är också att efter genomförd litteraturstudie tillämpa resultaten av litteraturstudien på ett verk-ligt fall. Fallstudien består av att implementera och utvärdera prototyper för monteringsinstruktioner och dokumentation för bland annat Microsoft Hololens, för komplex montering av kablage till flyg-plan.
1.4
Frågeställningar
Baserat på syftet i 1.3 har fyra frågeställningar skapats. Dessa fyra frågeställningar besvaras utförligt i kapitel 2-4. När frågeställningarna, som presenteras nedan, har besvarats i rapporten analyseras och diskuteras svaren i kapitel 5.
• Hur bör Combitech arbeta med elektroniska monteringsinstruktioner och dokumentation, vid upplärnings- och monteringsprocessen vid komplexa monteringar av kablage till flygplan, med AR?
• Hur kan man verifiera, genom att implementera och utvärdera tre prototyper, hur Combitech bör arbeta med monteringsinstruktioner i AR för att effektivisera upplärnings-/arbetsprocessen med komplex montering av kablage till flygplan?
• Vilka för- och nackdelar finns med att ersätta Combitechs nuvarande monteringsinstruktioner, för komplex montering av kablage till flygplan, med monteringsinstruktioner i AR?
• Hur kan man verifiera, genom att implementera och utvärdera tre prototyper, om Combitech bör arbeta med instruktioner projicerade på monteringsstationen eller monteringsinstruktioner för Microsoft Hololens för komplex montering av kablage till flygplan i AR?
1.5
Avgränsningar
Arbetet tillämpades på domänen elektroniska monteringsinstruktioner och dokumentation i förstärkt verklighet (AR) och begränsas av examensarbetets tidsram på cirka 20 veckor. Även antalet
testper-soner som hade möjlighet att delta i fallstudien var begränsat.
Prototyperna som implementerades i det här arbetet gjordes av praktiska skäl i mindre skala än Com-bitechs nuvarande montering. Även komplexiteten av kabelmonteringen skalades ner för att möjlig-göra utvärdering av prototyperna. Prototyperna som implementerades och utvärderades i fallstudien innehöll endast tvådimensionell kabelmontering. I fallstudien var möjligheterna att arbeta med olika typer av foto- eller videodokumentation begränsade eftersom fotoförbud råder på Combitech.
1.6
Metod för genomförande
Den första delen av examensarbetet som beskrivs i kapitel 2 i den här rapporten består av den lit-teraturstudie som genomfördes. Litteraturen som användes i litlit-teraturstudien består till största del av forskningsartiklar som hittades med hjälp av Linköpings universitets biblioteks sökmotor.
I den andra delen av examensarbetet presenteras en fallstudie som genomfördes. I fallstudien ska-pades och jämfördes tre prototyper innehållande olika typer av monteringsinstruktioner. Prototyperna utvärderades med hjälp av sex stycken testpersoner. Testpersonerna valdes utifrån att hälften var er-farna montörer och den andra hälften helt saknade erfarenhet av montering. Denna uppdelning av testpersonerna gjordes eftersom både arbetsprocessen för erfarna montörer samt upplärning av oer-farna montörer undersöktes i examensarbetet som beskrivs i den här rapporten.
Kapitel 2
Monteringsinstruktioner och dokumentation
i AR
I det här kapitlet presenteras de viktigaste resultaten från litteraturstudien som genomfördes i exam-ensarbetet. Kapitlet ger inledningsvis en bakgrund till vad förstärkt verklighet (AR) innebär för att sen övergå till forskning som var av intresse för Combitech, som i framtiden troligtvis kommer arbeta med tillämpningar i förstärkt verklighet (AR). Avslutningsvis motiveras, i det här kapitlet, varför fall-studien i kapitel 3 genomfördes. En stor del av det som presenteras i det här kapitlet låg till grund för val som gjordes vid skapandet av prototyperna i fallstudien som beskrivs i kapitel 3.
2.1
Förstärkt verklighet (AR)
Förstärkt verklighet (från engelskans Augmented Reality - AR) är en del av det som kallas "Reality-Virtuality Continuum" [5], se figur 1, som sträcker sig från reell verklighet (RR) till virtuell verklighet (VR). Reell verklighet (RR) kan beskrivas som den tillvaro vi lever i, helt utan virtuella objekt. Virtuell verklighet (VR) är däremot en tillvaro som är helt virtuell. Med en helt virtuell tillvaro menas en miljö med datorgrafik-genererad kontext. Spannet mellan dessa två ytterligheter kallas för mixad verklighet (MR). I mixad verklighet (MR) ingår förstärkt verklighet (AR) och förstärkt virtualitet (AV). Förstärkt virtualitet (AV) innebär en virtuell kontext som förstärks med verkliga objekt.
Figur 1: "Reality-Virtuality Continuum" sträcker sig från verklighet till virtuell verklighet [5].
Förstärkt verklighet (AR) innebär: en verklig kontext med virtuella objekt. Förstärkt verklighet (AR) innebär alltså att man med hjälp av någon typ av hård- och mjukvara genererar virtuella objekt i en reell kontext. I figur 2 nedan visas ett exempel på förstärkt verklighet, en verklig miljö med virtuella objekt. För att generera de virtuella objekten i figur 2 har Microsoft Hololens använts. Microsoft Hololens är ett par högteknologiska glasögon som har stöd för mixad verklighet (MR) där förstärkt verklighet (AR) ingår. Hur AR har använts och används idag i olika projekt beskrivs i 2.2 nedan.
Figur 2: Förstärkt verklighet (AR), verklig kontext med virtuella objekt i Microsoft Hololens [6].
2.2
Relaterade studier och projekt
På tidigt 90-tal genomfördes ett första försök att använda AR för elektroniska monteringsinstruktioner för kabelmontering till flygplan [7]. Slutsatsen från försöket var dock att den tidens teknik för AR inte var redo för att lösa den komplexa uppgiften.
Boeing genomförde senare ett större projekt för att utvärdera kabelmontering genom att använda CAD-modeller för AR. Man kom fram till att skapandet av monteringsinstruktioner var mycket tid-skrävande, att synfältet var begränsat samt att tidsfördröjningar i applikationen vid körtid var ett prob-lem [8].
Curtin University har genomfört studier för att jämföra traditionell inlärning med inlärning i AR [8]. Inlärning i AR kan innebära stora möjligheter eftersom det innebär "learn-by-doing" istället för ett mer traditionellt tankesätt med "learn-by-reading".
Projektet GAIS (Global Assembly Instructions Strategies) 2 är ett samarbete mellan bland annat Saab och Chalmers och har som syfte att förbättra informations- och kunskapsutbytet inom ett globalt produktionsnätverk [9]. Fokus för det här projektet är beredningsprocessen för att ta fram monter-ingsanvisningarna samt upp- och inlärning för montörer [9].
I Skövde pågår ett projekt inom AR-instruktioner med namn ”Young operator 2020” som syftar till att skapa förutsättningar för operatörer inom industrin att ta optimala beslut [10]. Projektet riktar sig mot unga personer som i framtiden kommer att arbeta med AR-tekniken i en industriell kontext. Som visas ovan pågår forskningsprojekt på området monteringsinstruktioner i AR. För att resultaten av forskningsprojekten ska tillämpas på Combitech måste för- och nackdelar med monteringsinstruk-tioner i AR beaktas. En sammanställning av aktuell forskning på området beskriver för- och nackdelar med monteringsinstruktioner i AR i 2.3 nedan.
2.3
För- och nackdelar med monteringsinstruktioner i AR
I [3] visas att en person lärde sig lika bra med eller utan AR, vilket innebär att det vid upplärningen inte behövdes någon fysisk övningsmontering som tog upp tid och plats. Studien studerade
parame-KAPITEL 2. MONTERINGSINSTRUKTIONER OCH DOKUMENTATION I AR 6
trarna ”Tolka instruktioner” och ”Kvarhållande av information från instruktioner”. Enligt [3] var AR-instruktionerna vid utvärderingen 20 % lättare att använda än vanliga pappersinstruktioner. Det var inte bara upplärningsprocessen som effektiviseras med monteringsinstruktioner i AR, utan även det faktum att expertisen stannade i företaget [3] eftersom den fanns digitalt sparad och tillgänglig för alla.
I [11] beskrivs de största faktorerna för skador inom industrin som: otillräcklig träning och monotona arbetsuppgifter. Monotonitet är också en anledning till att erfarna montörer och operatörer gör fel [11]. Om monteringsuppgifterna gjordes med AR, kan monotoniteten minskas genom att lägga till interaktionsmoment under monteringen.
Unga montörer är ofta otränade på uppgiften och läser inte instruktionerna tillräckligt noga [11]. Enligt [12] var elektroniska monteringsanvisningar i AR roligare att använda, än vanliga instruktioner på papper, för yngre montörer. Detta påverkar upplärningsprocessen eftersom om en person tycker inlärningsprocessen är rolig kommer personen lära sig mer [12]. Upplärningsprocessen för en montör är ofta kostsam för ett företag och enligt [13] fungerar ”learn-by-doing” bättre än ”learn-by-reading”. Detta stöds även av [14] som presenterar Edgar Dales ”Cone of learning” som innebär att folk kommer ihåg cirka 10 % av vad de läser och 90 % av vad de gör.
Som bland annat motiveras i [18] så finns mycket tid att spara med AR-instruktioner men problem med enheternas (AR-hårdvaran) ergonomi kan göra enheterna oanvändbara under längre tidsperioder. Ett annat problem som i framtiden måste tas hänsyn till är integritet och datasäkerhet [1], troligtvis är tillverkningsföretag mycket måna om att skydda sina produkter och monteringsprocedurer.
Enligt [16] minskar AR den mentala arbetsbördan eftersom montören slipper spatialt översätta mod-ellen på ritningen till verkligheten eftersom instruktionen redan är i verkligheten. Artikeln visar också på snabbare färdigställning av uppgifter och färre antal fel med AR-instruktioner. [13] visar också på förbättrad rumslig uppfattning med monteringsinstruktioner i AR.
En annan fördel med AR-instruktioner är att alla montörer får tillgång till exakt samma informa-tion, instruktionerna blir alltså oberoende av ”såhär brukar jag göra” [15]. Till sist visar [16] att AR-instruktioner är tillfredsställande och enkla att använda, att AR-instruktionerna blir mer intuitiva jämfört med traditionella instruktioner samt reducerar montörens huvudrörelser.
I [15] jämförs AR-instruktioner med traditionella instruktioner. Eftersom "ansikte mot ansikte" är det vanligaste sättet att få instruktioner på och eftersom AR-instruktioner liknar detta mer än tradi-tionella pappersinstruktioner så är AR-instruktioner fördelaktiga [15]. Både [18] och [19] visar på att AR-instruktioner ger förbättrad kvalitet (beräknades på antal fel montören gjorde) vid första-gångs-montering, vilket vid komplex kabelmontering innebär att man kan lägga mindre tid på att rätta till fel. [19] Visar också på att det går avsevärt mycket snabbare att montera första gången med mon-teringsinstruktioner i AR. För att dokumentera och mäta effektiviteten föreslår [19] att montörens huvudrörelser bör dokumenteras och analyseras.
En annan fördel med AR-instruktioner är att dessa kan underlätta monteringen när man arbetar med produkter som snabbt förändras [20] för att man då snabbt kan nå ut med den senaste versionen av de digitala instruktionerna. Dessutom finns idag, på många tillverkningsföretag, 3D-modeller av delar och ritningar vilket underlättar för företag att ta steget till AR-instruktioner [20].
Både [10] och [18] tar upp den ergonomiska aspekten av dagens AR-enheter, exempelvis väger Mi-crosoft Hololens, som bärs på huvudet, 579 gram [23]. Ett annat hinder för AR-instruktioner kan vara att få montörerna som jobbar på ”golvet” att acceptera den nya tekniken [15].
Monteringsinstruktioner i AR möjliggör att man kan schemalägga och övervaka montörens indi-viduella framsteg i stora projekt [7]. I [7] beskrivs också ett antal fördelar med AR vara: ”röntgen-syn” d.v.s. att en montör kan se igenom den del som monteras, samarbete och interaktion med 3D-modeller möjliggörs samt att effektiviteten ökar eftersom montören slipper släppa monteringsbordet
med blicken.
I [21] och [7] jämförs traditionell montering med AR-montering och resultatet visade på stor skillnad vad gäller monteringstid till fördel för AR. Även när det kommer till att minimera den mänskliga faktorn i monteringsarbetet är AR-instruktioner ett fördelaktigt alternativ jämfört med traditionella monteringsinstruktioner [22].
För- och nackdelar har studerats och beskrivits ovan men få riktlinjer för hur ett företag bör arbeta med monteringsinstruktioner i AR har presenterats. Riktlinjer för hur ett företag bör arbeta med mon-teringsinstruktioner i AR beskrivs i 2.4 nedan.
2.4
Riktlinjer för monteringsinstruktioner i AR
När man skapar monteringsinstruktioner i AR bör man använda så många typer av interaktion som möjligt av ”Vision”, ”Audio”, ”Sounds” och ”Text” [3]. Man bör också alltid ange antalet som exem-pelvis ska skruvas åt (ex. ”Skruva åt två skruvar”) [3].
En annan aspekt som man bör arbeta med när det kommer till AR-instruktioner är verifiering att mon-tören har utfört monteringen korrekt och därmed minimera eller allra helst eliminera den mänskliga faktorn [10]. För att verifiera att montören har utfört monteringen korrekt, att digital 3D-modell är identisk med monterad modell, kan avancerad bildbehandling användas [24].
Ett företag som arbetar med AR-instruktioner bör inte låta montören gå vidare till nästa monter-ingssteg i monteringsordningen fören föregående monteringsuppgift är slutförd [11][12]. Samtidigt bör man anpassa monteringsinstruktionerna efter montörens expertis [11], en erfaren montör bör få mindre detaljerade instruktioner än en novis montör. I [25] föreslås ett AI-expert-system som anpassar informationsmängden i monteringsinstruktionerna efter hur monteringen fortskrider.
I [15] nämns att man bör ta hänsyn till miljö och ljushet där AR-instruktioner ska användas och detta skiljer sig på så sätt åt jämfört med traditionella desktop-applikationer. Dessutom är bra datorgrafik viktigt för uppfattningen (likhet med verkligheten) av AR [18]. I [26] föreslås användningen av en extern kamera för dokumentation av monteringsarbetet.
Eftersom tekniken som krävs, för monteringsinstruktioner och dokumentation i AR, först på senare tid mognat så finns få riktlinjer för hur man ska arbeta. Följande punkter bör enligt [27] uppfyllas vid framtagning av AR-instruktioner:
• Alla steg av monteringen ska vara med i instruktionen. • Tydlig numrering av uppgifter och vad som ska göras först. • Användaren ska alltid få se vilka bitar som ska monteras. • Var och hur något ska monteras bör alltid vara synligt.
• Pilar och linjer som indikerar vad som ska sättas ihop bör användas. • Undvik att byta vypunkt för montören.
Det finns forskning som identifierar andra riktlinjer än ovan, dessa presenteras i punktform nedan:
• Om montören arbetar länge med samma instruktion så kan det indikera att montören behöver hjälp [2]. Det blir alltså enklare att, för en överordnad, följa monteringen eftersom använ-daren digitalt stegar sig fram genom instruktionerna. När använanvän-daren stegar framåt via ett AR-gränssnitt kan detta loggas och automatiskt skickas till överordnad.
KAPITEL 2. MONTERINGSINSTRUKTIONER OCH DOKUMENTATION I AR 8
• 4-5 olika delar av information i en monteringsinstruktion samtidigt är optimalt för upplärningen av montörer [29]. Det gäller att hitta en bra balans i mängden information i monteringsinstruk-tionerna. En erfaren montör behöver troligtvis mindre information än en oerfaren montör. En annan viktig aspekt när det kommer till hur man ska arbeta med monteringsinstruktioner i AR är hur man ska designa gränssnittet som montören ska interagera med. Enligt [15] ska ett gränssnitt fungera som medlare och förstärkare av mänskliga handlingar. AR är unikt i gränssnittsvärlden på så sätt att det förändrar användarens perception av världen och därför påverkar hur användaren beter sig [15]. I gränssnittet för AR-instruktioner bör enkelhet eller effektivitet prioriteras, beroende på om användaren ska använda systemet för första gången eller om användaren är expert [15].
Ett användbart sätt att interagera med gränssnittet är via röst-kommandon [30]. Ett ljudgränssnitt kan förslagsvis, för monteringsinstruktioner till kabelmontering, innehålla olika röst-kommandon som: ”Startpunkt”, ”Dragningssträcka för kabel” och ”Lokalisera kabel”.
Att få användaren att känna igen sig i ett gränssnitt som finns i en miljö som användaren är ovan vid är en utmaning. Användaren kan dock få en mjukare övergång från 2D till 3D om vissa element i gränssnittet känns igen från 2D-applikationer [18]. Följande designprinciper bör beaktas när man skapar ett gränssnitt av något slag [17]:
• ”Visibility” - Användaren bör direkt kunna se alla möjliga interaktionsalternativ och hur de ska användas.
• ”Feedback” - Varje interaktion som användaren gör ska ge någon typ av feedback tillbaka. • ”Affordance” - Relationen mellan hur något ser ut och hur det ska användas.
• ”Mapping” - Relationen mellan kontroll och effekt. Kontroller som användaren ska använda sig av ska vara nära kopplade till den effekt som uppstår när användaren använder kontrollen. • ”Constraints” - Begränsningar för interaktion eller ett gränssnitt.
• ”Consistency” - Samma interaktion måste orsaka samma effekt varje gång. I [28] beskrivs ett bra gränssnitt med orden:
• ”Clarity” - Ett gränssnitt ska vara tydligt och enkelt för användaren att förstå.
• ”Flexible” - Ett gränssnitt bör vara förlåtande och ge möjlighet till att exempelvis "gå bakåt". • ”Simple” - Ett gränssnitt som är så enkelt så att det knappt märks är det bästa gränssnittet. • ”Familiar” - Användaren ska känna igen sig i gränssnittet.
• ”Consistency” - Använd liknande element i gränssnitt för att användaren ska känna igen sig. Riktlinjerna ovan är rekommendationer och behöver anpassas till det specifika företaget som ska implementera monteringsinstruktioner i AR. För att forskare och företag ska kunna förbättra sina monteringsprocesser i AR behöver utvärderingar genomföras. Saker att ta hänsyn till när det kommer till utvärderingsprocessen beskrivs i 2.5 nedan.
2.5
Utvärdering av AR-instruktioner
[30] föreslår att man bör testa prototyper på framtida industriarbetare, det är trots allt de som i framti-den troligtvis kommer att arbeta med monteringsinstruktioner i AR. Monteringsinstruktioner ska tes-tas och i aktuell kontext [30], det vill säga om det är monteringsinstruktioner för kabelmontering som ska utvärderas så ska instruktionerna testas vid kabelmontering och inget annat.
I [8] utvärderas AR-instruktionerna baserat på parametrarna effektivitet och användbarhet, monter-ingstid och antal fel. Parametrar som bör testas vid utvärdering av AR gränssnitt är enligt [31]:
• ”Completion time” - Tiden det tar för montören att slutföra monteringen.
• ”Mapping time” - Tiden tar det för montören att kartlägga var och hur ett monteringssteg ska genomföras.
• ”Errors” - Antal fel som montören gör under monteringen.
För att i framtiden förbättra AR-gränssnitt kan man mäta och analysera användarens rörelser genom ”Gaze-tracking” [4]. Att analysera Gaze-tracking innebär att man studerar hur användarens blick förflyttar sig under en given tidssekvens.
Först när ett företag har genomfört flera utvärderingar är det redo för att ta steget till monteringsin-struktioner i AR. Att ta steget från traditionella monteringsinmonteringsin-struktioner till monteringsinmonteringsin-struktioner i AR beskrivs i 2.6 nedan.
2.6
Steget från traditionella monteringsinstruktioner till AR
För att gå från traditionella instruktioner till AR-instruktioner rekommenderas i [3] att IT-avdelningen på företaget skapar någon form av programvara för att skapa instruktioner, men att monterings-experten senare bygger instruktionerna. Även [32] menar att ”icke-programmerare” behöver kunna skapa monteringsanvisningar. Att automatiskt generera monteringsanvisningar är ett kommande forskn-ingsområde [8]. Nyligen lanserade företaget PTC sin programvara ThingWorx [33] som bland annat möjliggör skapande av monteringsinstruktioner, till ett flertal AR-plattformar, för icke-programmerare. I [2] föreslås en metod för att gå från 3D-CAD-modell till XML och därifrån skapa monteringsin-struktioner. Detta görs till en början med hjälp av avancerad bildbehandling och instruktioner skapas sedan automatiskt från XML-filen med hjälp av programvaran Unity’s ”Rendering Module”.
Att ta steget till monteringsinstruktioner i AR innebär också att välja AR-teknik som företaget ska använda sig av. En alternativ AR-metod för monteringsinstruktioner beskrivs i 2.7 nedan.
2.7
Projicerade monteringsinstruktioner
En alternativ metod för att presentera monteringsinstruktioner inom given kontext skulle kunna vara att projicera instruktionerna direkt på arbetsbordet. För- och nackdelar när det kommer till upplärn-ing av oerfarna monterare samt monterupplärn-ingsprocessen för erfarna monterare med denna metod får en utvärdering visa. Den här typen av monteringsinstruktioner har tidigare skapats [34], dock vid en i för kontexten i det här arbetet oanvändbar arbetsbänk. [35] nämner dock att man vid vissa upplärn-ingsprocesser för komplexa monteringsarbeten ofta får instruktioner via någon typ av AR-arbetsbänk. Att använda projicerade monteringsinstruktioner i AR innebär också att elektronisk dokumentation kan användas. Olika tänkbara dokumentationsmetoder vid AR-montering beskrivs i 2.8 nedan.
KAPITEL 2. MONTERINGSINSTRUKTIONER OCH DOKUMENTATION I AR 10
2.8
Dokumentationsmetoder vid AR-montering
Forskningsunderlaget när det kommer till dokumentation vid AR-montering är mycket begränsat. Detta skulle kunna bero på att olika hårdvara används för att visa AR och att det därför saknas en standard för dokumentation. I [26] används en extern kamera vid dokumentation i en AR-applikation för byggnadsindustrin. En extern kamera hade troligtvis också kunnat användas vid montering av kablage till flygplan. Ett komplement till en extern kamera, som nämndes i 2.4, är att avancerad bildbehandling skulle kunna användas för verifiering av montering. Om den typen av verifiering hade använts hade man kunnat, efter verifiering, dokumenterat montörens fortskridande.
En alternativ dokumentationsmetod hade kunnat vara att samla in punktmoln från monteringen och verifiera dessa mot företagets 3D-modell. Problemet med den här metoden är precisionen, det är heller inte alla AR-enheter som är utrustade med djupkameror vilket är ett krav för insamling av tredimensionella punktmoln.
Elektronisk dokumentation kan också användas för att övervaka montörernas progression i monterin-gen. Om monteringsinstruktioner i AR-används så använder troligtvis montören en applikation av något slag. Man skulle kunna tänka sig att när montören går vidare till nästa instruktion verifierar montören att monteringssteget slutförts. Vid verifieringen skulle informationen, att monteringssteget är slutfört, kunna skickas till montörens överordnade som i sin tur kan övervaka monteringsprocessen. En annan aspekt av elektronisk dokumentation av kabelmontering är säkerheten. Eftersom AR-enheter, som på olika sätt dokumenterar och verifierar, ofta är uppkopplade till någon form av nätverk innebär det en säkerhetsrisk. Ett företag vill troligtvis inte att monteringsprocessen samt företagets teknik finns att tillgå på ett nätverk, eftersom detta är information som teoretiskt sett skulle kunna stjälas. Eftersom forskningsunderlaget för elektroniska monteringsinstruktioner och dokumentation är be-gränsat så behövs fler studier på området. En motivering till varför en fallstudie genomfördes i arbetet som beskrivs i den här rapporten ges i 2.9 nedan.
2.9
Motivering till genomförande av fallstudie
Mängden forskning på området elektroniska monteringsinstruktioner och dokumentation i AR är be-gränsad. Ännu mindre forskning finns inom området för den specifika tillämpningen komplex ka-belmontering för flygplan. För att jämföra olika typer av monteringsinstruktioner i AR genomfördes därför, som beskrivs i kapitel 3, en fallstudie. Dokumentationsdelen av fallstudien består av, för proto-typerna innehållande AR, endast verifiering av att monteringssteget är slutfört. Denna avgränsning när det kommer till dokumentationsdelen i fallstudien gjordes bland annat på grund av rådande fotoför-bud på Combitech samt tidsramen för examensarbetet som beskrivs i den här rapporten. Att utreda hur man bör arbeta med punktmolnsinsamling samt verifiering mot 3D-modell är troligtvis ett exam-ensarbete i sig. Fallstudien i kapitel 3 ska tillföra ytterligare kunskap om hur Combitech bör arbeta med komplex montering av kablage till flygplan i AR.
I fallstudien skapas och utvärderas tre olika prototyper, både kvantitativt och kvalitativt, med test-personer. Utvärderingen av prototyperna ska, genom att studera olika utvärderingsparametrar samt genom formulär och intervjuer med testpersonerna, komplettera forskningen i litteraturstudien i det här kapitlet. Fallstudien kompletterar inte bara litteraturstudien i det här kapitlet, litteraturstudien lig-ger även till grund för skapandet av prototyperna i fallstudien i kapitel 3.
I det här kapitlet beskrevs inledningsvis AR och vilka studier och projekt som pågår inom området. Närmast efter det beskrevs vilka för- och nackdelar som enligt forskningen kan finnas med mon-teringsinstruktioner i AR. Kapitel 2.4 innehöll riktlinjer för vad man bör tänka på när man skapar monteringsinstruktioner i AR, vilka kommer ligga till grund för prototypskapandet i kapitel 3. Även
innehållet i 2.5 används i fallstudien, mer bestämt för utvärderingen av prototyperna. En av proto-typerna i fallstudien i kapitel 3 kommer bestå av projicerade monteringsinstruktioner som beskrivs i kapitel 2.7.
Kapitel 3
Fallstudie - Komplex montering av kablage
till flygplan
Som nämndes i 2.8 ovan så var anledningen till att fallstudien genomfördes att jämföra olika mon-teringsinstruktioner eftersom forskningen på området var begränsad. Inledningsvis beskrivs i det här kapitlet det fall som studerades. Därefter följer en beskrivning av hur Combitech idag arbetar med monteringsinstruktioner. Vidare beskrivs hur prototyperna som skapades utifrån fallet i fallstudien implementerades. I den avslutande delen av det här kapitlet beskrivs utvärderingen av de tre proto-typerna som skapades i fallstudien. Resultatet av utvärderingen redovisas i kapitel 4.
3.1
Fallbeskrivning
Dagens flygplan innehåller stora mängder elektronik och datorer som kopplas samman med kablar. Kablarna monteras ihop till kabelstammar innan de monteras och ansluts i flygplanet. Monteringen av kablarna, till kabelstammar, görs på ett stort bord vilket en ritning har limmats fast på. På bordet med ritningen sitter spikar, två spikar nära varandra bildar en ”port”, som kablarna ska dras genom. Den här typen av kabelmontering är mycket komplex och för en erfaren montör tar monteringen av en kabelstam cirka en månad att slutföra. Det tar lång tid och det kräver mycket övning för att bli en duk-tig kabelmontör. Om det finns möjlighet att förbättra arbetsprocessen och upplärningsprocessen för, genom att studera alternativa metoder för kommunikation av monteringsinstruktioner, den komplexa kabelmonteringen så är detta av stort intresse för Combitech.
3.2
Combitechs nuvarande monteringsinstruktioner
Som beskrevs i 3.1 ovan monteras kablarna genom portar av spikar på ett bord med en fastlimmad ka-belritning som visar kablarnas dragning, se exempel i figur 3. På ritningen finns även beteckningar för olika monteringspunkter. Dessa beteckningar används för att visa montören varifrån och vart en kabel ska monteras. Informationen för en kabels start- och slutpunkt finns i en tabell på papper. Montören får även tillgång till en 3D-ritning på en datorskärm. 3D-ritningen används mest till 3D-montering av kablar, det vill säga kablage som inte bara monteras längs bordets yta utan även i höjdled. Som nämndes i 1.5 så begränsades prototyperna i det här arbetet till 2D-kabelmontering. En annan as-pekt av Combitechs nuvarande kabelmontering är att den genomförs i en industrimiljö med starka ljusförhållanden.
Figur 3: Exempel på färdigmonterad kabelstam på monteringsbord [36].
3.3
Prototyp I - Traditionella monteringsinstruktioner
Den första prototypen av totalt tre, som skapades i examensarbetet som beskrivs i den här rapporten, var tänkt att efterlikna de monteringsinstruktioner som idag används på Combitech. Den skapades för att fungera som en referens, som skulle motsvara Combitechs nuvarande monteringsinstruktioner, att jämföra med prototyp II och prototyp III vid utvärdering. Prototyp I innehöll en monteringstabell (se bilaga A) samt en kabelritning på monteringsbordet. Kabelritningen innehöll förutom vilken väg ka-beln skulle monteras längs även markerade start- och slutpunkter. Kabelritningen i den här prototypen gjordes svartvit för att efterlikna Combitechs befintliga kabelritning. Start och slutpunkterna på kabel-ritningen namngavs med slumpmässiga siffror och bokstäver. I monteringsstegen i monteringstabellen återfanns start- och slutpunkterna. Den färdiga prototypen visas i figur 4 nedan. Hur skapandet av pro-totyp I gick till och vilket material som användes beskrivs i 3.3.1 nedan. Eftersom sträng sekretess råder gällande kabelritningarna som Combitech monterar enligt så var kabelritningarna påhittade för samtliga tre prototyper. Andra avgränsningar som gjordes för att möjliggöra skapandet av prototyp I beskrivs i 3.3.2.
3.3.1
Material och konstruktion
En träskiva på cirka en gånger två meter monterades fast på ett skrivbord med hjälp av en tving. Som distans mellan träskiva och bord användes två lika tjocka böcker. Distansen skapades för att möjlig-göra skruvdragning i träskivan utan att underliggande bord riskerade att förstöras. Träskivan kläddes sedan in i vitt, väl ljusreflekterande, papper som fästes med tejp. I taket rakt ovanför monteringsbordet monterades en bärbar projektor vars syfte var att projicera ritning och monteringstabell på monter-ingsbordet. Projektorn var i sin tur kopplad till en dator för att kunna projicera ritning och tabell på bordet. Bordet som projektorn projicerade kabelritningen och tabellen på tejpades fast i golvet för att undvika kalibrering av projektorns projektion vid varje användningstillfälle.
Under tiden projektorn projicerade ritningen på monteringsbordet skruvades skruvar i träskivan. Skru-varna skruvades i där kablarna på ritningen bytte riktning. Längs skruSkru-varna skulle sedan kablarna monteras. Kablarna i olika färger som testpersonerna i utvärderingen skulle montera klipptes till rätt längd. I ändarna på kablarna knöts öglor som gjorde att kablarnas ändar kunde fästas på skruvarna vid start- och slutpunkter. Varje kabel märktes också med ett slumpmässigt namn. Dessutom skapades
KAPITEL 3. FALLSTUDIE - KOMPLEX MONTERING AV KABLAGE TILL FLYGPLAN 14
Figur 4: Prototyp I - Monteringsbord med traditionella monteringsinstruktioner innehållande tabell, kabelritning samt start- och slutpunkter.
en grön yta på monteringsbordet, för att skapa kontrast mellan de vita buntbanden och underlaget, vid kablarna där vita buntband placerades före montering. Buntbanden användes vid montering till att bunta ihop kablar och de var en del av kabelmonteringen och monterades av testpersonerna vid utvärderingen. I figur 4 visas den färdigbyggda prototypen och kablarna som skulle monteras av test-personerna i utvärderingen. I figur 5 visas den projicerade bilden innehållande monteringstabell och kabelritning.
3.3.2
Avgränsningar för prototyp I
För att inom ramarna för examensarbetet som beskrivs i den här rapporten skapa en prototyp som efterliknar Combitechs nuvarande monteringsinstruktioner så gjordes vissa avgränsningar. Ett exem-pel på det var att monteringsbordet samt komplexiteten på kabelmonteringen skalades ner. Det hade varit orimligt att det som vid Combitechs nuvarande kabelmontering skulle ta cirka en månad att slut-föra en kabelmontering. En annan sak som skiljer prototyp I från hur Combitech idag arbetar med monteringsinstruktioner för komplex kabelmontering är hur själva kabelritningen visades på monter-ingsbordet. För Combitechs nuvarande montering är kabelritningen ritad på bordet. Däremot var den för prototyp I projicerad på bordet.
Eftersom tillgången på träskivor var begränsad och det faktum att samma skiva skulle användas för samtliga tre prototyper så projicerades istället ritningen på bordet. Det hade nämligen för prototyp III (projicerade monteringsinstruktioner i AR) inte gått att projicera över ritade kabellinjer. Detta hade gjort att endast den på monteringsbordet ritade kabelritningen hade synts. Alltså hade monteringsbor-det inte gått att återanvända för samtliga prototyper. Ovanstående avgränsningar kan ha haft inverkan på resultatet av utvärderingen av prototyperna. Avgränsningarnas eventuella påverkan på resultatet diskuteras i kapitel 5.
3.4
Prototyp II - Monteringsinstruktioner för Microsoft Hololens
När testpersonerna monterade kablar i prototyp II använde de sig av de högteknologiska glasögonen Microsoft Hololens. Prototyp II var tänkt som en av två alternativa metoder till Combitechs nuvarande monteringsinstruktioner. Dokumentationen för den här prototypen genomfördes i form av verifiering från montören att instruktionssteget slutförts. Kabelmonteringen genomfördes för både prototyp II och prototyp III i AR. Istället för att, som i prototyp I, kabelritningen och monteringstabellen pro-jicerades på monteringsbordet så visades här kabeldragningen som ett hologram på monteringsbordet (se figur 6a). Ett hologram är ett delvis genomskinligt virtuellt objekt som kan visas för användaren med bland annat Microsoft Hololens. I figur 6b visas kabeldragningen med tillhörande start- och slut-punkter i prototyp II. Pilar som markerade var buntbanden skulle monteras på monteringsbordet visas i figur 6c. Denna prototyp skapades för att ta reda på om Microsoft Hololens var redo för den här typen av tillämpning samt om testpersonerna hade kunnat tänka sig att montera kablar i AR på det här sättet.
I prototyp II skapades monteringsinstruktionerna delvis efter forskningen i litteraturstudien i kapitel 2. Från litteraturstudien användes följande vid skapandet av prototypen: alla steg i monteringen var tydliga och med i varje instruktion, var och hur något skulle monteras var alltid synligt samt att 4-5 olika delar av information presenterades för montören vid varje steg av monteringen.
Att Microsoft Hololens skulle användas som en av de alternativa metoderna för att kommunicera mon-teringsinstruktionerna var förutbestämt av Combitech. Det fanns även andra goda skäl för att utvärdera montering med Microsoft Hololens. Glasögonen är nämligen trådlösa och de enda av sitt slag som har all nödvändig funktionalitet inbyggd. Hårdvaran och funktionaliteten hos Microsoft Hololens beskrivs i 3.4.2 nedan. Mjukvaran som användes för att implementera applikationen innehållande monteringsinstruktionerna beskrivs i 3.4.3 nedan. Materialet som användes och hur konstruktionen av prototyp II såg ut beskrivs i 3.4.1.
KAPITEL 3. FALLSTUDIE - KOMPLEX MONTERING AV KABLAGE TILL FLYGPLAN 16
(a) Holografisk kabelritning
(b) Kabeldragning och start-/slutpunkter
(c) Pilar markerade var buntbandet skulle monteras
Figur 6: Prototyp II - Monteringsinstruktioner för Microsoft Hololens.
3.4.1
Material och konstruktion
Monteringsbordet med skruvarna som användes i prototyp I användes även för den här prototypen. Skillnaden var dock att kabelritning, monteringstabell samt start- och slutpunkter inte projicerades på bordet. Istället fick montören i prototyp II monteringsinstruktion och kabelritning presenterad framför sig i form av hologram genom Microsoft Hololens. Även kablarna från prototyp I återanvändes vid monteringen i prototyp II. Skillnaden på prototyp I och prototyp II var hur monteringsinstruktionerna presenterades för montören. Däremot fanns en stor skillnad när det kom till att få kabelritningen, som för den här prototypen var ett hologram, att matcha skruvarna i monteringsbordet. För att möjliggöra matchningen så att montören skulle kunna följa de holografiska kabeldragningarna var någon typ av trackning tvungen att användas.
Trackningen bestod av en QR-kod som kunde registreras av Microsoft Hololens, för att Hololens skulle kunna placera ut kabelritningen så att den matchade skruvarna (som kablarna monterades med hjälp av) på monteringsbordet. Matchningstekniken med QR-koden var dock inte helt exakt utan finjusteringar fick göras genom att göra den holografiska kabelritningen grepp- och flyttbar.
Match-ningen behövdes dock endast göras vid uppstart av applikationen. Hur trackMatch-ningen implementerades med hjälp av programvarumodulen Vuforia beskrivs i 3.4.3 nedan.
3.4.2
Hårdvara
För skapandet av prototyp II användes en bärbar dator med god prestanda samt Microsoft Hololens som visas i figur 7 nedan. Kortfattat skulle man kunna säga att Hololens är en dator som bärs på huvudet och som visar hologram för användaren via projicerat ljus genom lager av speciella linser. Det är dock en väldigt förenklad bild med tanke på vilken teknik som Hololens innehåller. För att Hololens ska kunna rendera holografiska 3D-objekt och att dessa ska vara kvar på samma position i rummet när användaren rör sig krävs ett stort antal sensorer. Hololens har följande inbyggda sensorer [28]:
• En IMU (Inertia Measurement Unit) som hanterar huvudets orientering och kompenserar för eventuella precisionsfel hos det inbyggda gyroskopet.
• Fyra stycken omgivningssensorer som ger Hololens en förståelse för omgivningens spatiala karaktäristik. Dessa sensorer skapar ett rutnät av omgivningen som Hololens sedan kan använda för att placera hologram i förhållande till.
• En djupkamera som används för att mäta formen på 3D-objekt. Den här typen av kamera an-vänds i Kinect för bland annat Microsoft Xbox One.
• En ljus-sensor som mäter bakgrundsljus och som även används för avståndsberäkningar. • En 2 megapixel HD-kamera som används för att ta bilder och spela in video.
• Fyra mikrofoner som lyssnar efter användarens röstkommandon.
Figur 7: Microsoft Hololens.
Hårdvaruprestandan hos Hololens är motsvarande den som återfinns i dagens mobiltelefoner och ap-plikationerna som byggs till enheten måste därför anpassas efter detta. Enheten har även inbyggda högtalare och ett lagringsutrymme på 64GB. Hololens går ännu inte att köpa i Sverige utan måste specialbeställas och priset ligger på 3000$. För att implementera applikationen till Hololens behövdes särskild programvara som beskrivs i 3.4.3 nedan.
3.4.3
Mjukvara
Det fanns olika sätt implementera applikationer på till Hololens. Det var möjligt att implementera en applikation till Hololens genom att enbart skriva programkod. Ett enklare och smidigare sätt var
KAPITEL 3. FALLSTUDIE - KOMPLEX MONTERING AV KABLAGE TILL FLYGPLAN 18
däremot att skapa applikationen till Hololens med hjälp av programvaran Unity. Unity erbjöd bland annat en "editor" som exempelvis underlättade placeringen av virtuella objekt vid implementationen. Unity och annan mjukvara som användes för att implementera prototyp II beskrivs ingående nedan.
Unity & Microsoft Visual Studio
För att implementera applikationen i prototyp II användes bland annat programvaran Unity. Unity är en programvara som oftast används till att skapa datorspel. Unity tillsammans med Microsoft Visual Studio användes i skapandet av prototyp II eftersom detta var det enklaste sättet att komma igång med att skapa Hololens-applikationer på. Dessutom var Unity’s ”editor” ett mycket värdefullt verk-tyg eftersom det möjliggjorde ett intuitivt arbetssätt när det kom till att placera ut hologrammen i applikationen. Utplaceringen av hologram innebar, vid implementeringen av prototyp II, placeringen av kablar på kabelritningen.
Från Unity exporterades ett programvaru-paket innehållande applikationen i ett format som Visual Studio kunde hantera. Visual Studio användes sedan för att kompilera och bygga projektet som ska-pades i Unity till Hololens. Efter det att Visual Studio kompilerat och byggt paketet från Unity dis-tribuerades applikationen till Hololens via lokalt trådlöst nätverk. Arbetskedjan från det att en viss funktionalitet implementerades till dess att funktionaliteten kunde testas i Hololens var cirka fem minuter.
Holotoolkit & Vuforia
För att snabbt komma igång med att skapa en applikation för Hololens finns Holotoolkit, som in-nehåller färdiga moduler att importera till Unity. Holotoolkit byggs och underhålls av en grupp utveck-lare som är specialiserade på Unity och Hololens. Färdiga moduler som ingår i Holotoolkit är bland annat muspekare samt funktionalitet för att flytta runt objekt med gester.
Ett annat verktyg som importerades till Unity och användes vid skapandet av prototyp II var Vuforia. Vuforia tillhandahåller programvara för bildigenkänning och har skapat en speciell modul till Unity och Hololens. I prototyp II användes Vuforia vid avläsning av QR-koden för att den virtuella kabel-ritningen skulle matcha skruvarna, som kablarna skulle dras längs, på monteringsbordet. Vuforia var gratis att använda i småskaliga projekt. För att använda Vuforia för Hololens krävdes också att man på deras hemsida skapade en databas där man lagrade sina QR-koder. Databasen, som laddades ner och lagrades lokalt, får vid nedladdning automatiskt rätt struktur för att användas tillsammans med Unity och Hololens.
3.4.4
Implementation av monteringsinstruktioner i Unity
Anledningen till att Unity användes, för att implementera monteringsinstruktionerna för prototyp II, var att programvaran var det snabbaste, enklaste och mest använda sättet att komma igång med att skapa applikationer för Microsoft Hololens. Det går att skapa applikationer till Hololens genom att enbart skriva programkod i exempelvis Microsoft Visual Studio. Dock var det, för tillämpningen som beskrivs i den här rapporten, en stor fördel att ha tillgång till en ”editor”. Tillgången till en editor är nödvändig om man i Unity ska arbeta med ett stort antal objekt. Editorn skapar förutsättningar för att utvecklaren skulle få en överblick över objekten i scenen samt objektens relativa positioner. I editorn kunde även objekt enkelt flyttas. En annan stor fördel med Unity var att man kunde skapa en applikation som sedan kunde exporteras till flera olika plattformar. Hur prototyp II implementerades beskrivs och motiveras nedan.
Struktur och uppbyggnad
I Unity bygger man upp en scen av så kallade GameObjects. Ett GameObject kan exempelvis vara en geometrisk form eller 3D-modell, men även ”tomma” GameObjects går att skapa. I scenen skapar man också ljuskällor och en kamera som representerar användarens vy. Till GameObjects kopplar man skript, skrivna i programspråket C#, som beskriver ett GameObjects beteende. Beteenden som implementeras i ett skript kan vara allt från vad som händer om användaren klickar på ett GameObject till ett GameObjects fysikaliska egenskaper.
Tomma GameObjects används främst som förälder-objekt i en hierarkisk struktur eller som ”manager-script”. Alla GameObjects som är barn till ett annat GameObject ärver förälderns egenskaper som exempelvis skalning, translation och rotation. Däremot ärver barn-objekten inte förälderns visuella egenskaper som exempelvis material och färg.
För att hantera och styra alla GameObjects användes ett tomt GameObject med tillhörande skript som döptes till manager. Manager-skriptet innehöll programkod för att hantera applikationens olika till-stånd samt hantera användarens interaktion med gränssnittet. Det första tilltill-ståndet i applikationen var ett initieringstillstånd som syftade till att ge den holografiska kabelritningen korrekt tredimensionell position i förhållande till det fysiska monteringsbordet. Alltså, spikarna på det fysiska monteringsbor-det som kablarna skulle dras via, skulle matcha kabeldragningen på den holografiska kabelritningen. För att i initieringstillståndet möjliggöra matchningen mellan verkligt monteringsbord och virtuell kabelritning användes Vuforia, som tidigare beskrivits i den här rapporten. Vuforia-modulen innehöll ett speciellt GameObject som anpassades och lades till på kameran i scenen. Vuforia-modulen möjlig-gjorde avläsning av QR-kod för bordstrackningen i Hololens.
Varje monteringsinstruktions-steg hade också varsitt tillstånd implementerat. För vart och ett av dessa tillstånd belystes, med kod i skript, korrekt kabel och övriga kablar gjordes mindre synliga. I respek-tive tillstånd definierades även positionerna för flaggorna som visades vid start- och slutpunkter för kabeln som skulle monteras. Användaren stegade mellan applikationens olika tillstånd och därmed instruktioner genom att interagera med gränssnittet. Gränssnittet som användaren interagerade med i prototyp II beskrivs nedan.
Gränssnitt
Gränssnittet i prototyp II visas i figur 8 nedan och presenterades som flera hologram på väggen rakt framför användaren. Det bestod av två stora knappar som användaren skulle använda för att stega fram och tillbaka mellan de olika instruktionsstegen. Den gröna knappen användes för att godkänna att monteringen färdigställts enligt instruktionen och stega vidare till nästa instruktion. För att gå tillbaka till föregående monteringsinstruktion användes den röda knappen. När montören tryckte på den gröna knappen för att stega vidare till nästa steg i monteringen verifierades därmed monteringssteget. Till höger om de två knapparna fanns en informationsruta innehållande information om vilken kabel eller vilket buntband som skulle monteras. I informationsrutan kunde användaren också se vilket nummer det nuvarande monteringssteget hade och därmed hur många monteringssteg återstod att slutföra.
Gränssnittet som visas i figur 8 utformades efter ett antal av designprinciperna som nämndes i 2.4. Knapparna gjordes stora och tydliga för att användaren direkt skulle se knapparna som möjliga in-teraktionsalternativ. Knapparna gjordes i 2D för att efterlikna majoriteten av dagens gränssnitt. An-vändaren fick, vid klick på en av knapparna, feedback i form av ljud och ändrad kulör på knapparna. Gränssnittet begränsades till endast två möjliga interaktioner; att stega framåt och bakåt mellan mon-teringsinstruktionerna. Knapparna ändrade aldrig funktionalitet, samma interaktion gav samma effekt. Hänsyn togs vid skapandet av både gränssnitt och kabelritning till att Hololens renderar svart färg
KAPITEL 3. FALLSTUDIE - KOMPLEX MONTERING AV KABLAGE TILL FLYGPLAN 20
Figur 8: Gränssnitt för prototyp II.
som genomskinlig, det vill säga alla hologram som är svarta blir i Hololens osynliga för användaren. Nedan beskrivs hur den virtuella kabelritningen skapades i Unity.
Virtuell kabelritning
Den virtuella kabelritningen, som baserades på samma kabelritning som i prototyp I, skapades genom att kablarna byggdes upp som GameObjects av smala liggande cylindrar i Unitys editor. Respektive kabel hade ett förälder-objekt som kabelns beståndsdelar grupperades under. De virtuella kablarnas material skapades efter vilka färger kablarna hade i verkligheten.
Buntbandens positioner markerades med två gröna pilar som visades när monteringssteget för bunt-bandsmonteringen var aktivt. Detta gällde även för kablarna på kabelritningen, endast den för mon-teringssteget aktiva kabeln syntes tydligt. Kablar som i monmon-teringssteget inte skulle monteras tonades ner och färgades neutralt.
3.5
Prototyp III - Projicerade monteringsinstruktioner
Prototyp III var tänkt som den andra av två alternativa metoder till Combitechs nuvarande monter-ingsinstruktioner och därmed prototyp I. Dokumentationen genomfördes även för den här prototypen i form av verifiering från montören att instruktionssteget slutförts. Monteringsinstruktionerna projicer-ades, för den här prototypen, rakt ovanifrån på monteringsbordet. Precis som i prototyp II användes AR i prototyp III, verkligheten förstärktes alltså med virtuella objekt. Den stora skillnaden jämfört med prototyp I, där endast kabelritningen och monteringstabellen projicerades, var att användaren här stegade sig genom instruktionerna med hjälp av ett gränssnitt. Alltså visades här instruktionerna för respektive kabel var för sig. En annan stor skillnad jämfört med prototyp I var att kablarna för proto-typ III inte bara visades var för sig utan även färgades enligt den kabel som skulle monteras. Det var dock inte bara kabelfärgen som skulle underlätta monteringen utan också att start- och slutpositioner tydligt märktes ut för varje steg i monteringen. Figur 9 nedan visar en monteringsinstruktion som den såg ut i prototyp III.
Den tredje prototypen skapades för att undersöka om Combitech på något annat sätt, än det som beskrivs för prototyp II ovan, skulle kunna använda AR för att kommunicera monteringsinstruktioner och samtidigt låta montörens händer vara fria för montering. Användaren behövde för den här proto-typen inte, till skillnad från prototyp II, bära AR-glasögon. Vidare beskrivs hur prototyp III skapades och motiveringar till designbeslut ges.
Figur 9: Prototyp III - Projicerade monteringsinstruktioner.
3.5.1
Material och konstruktion
Samma monteringsbord, som beskrivs i 3.3.1, som skapades och användes för prototyp I användes även för prototyp III. Hårdvaran var för den här prototypen var densamma som för prototyp I. Den bestod som tidigare nämnts av en dator kopplad till en projektor som projicerade rakt nedåt på mon-teringsbordet. Den stora skillnaden mellan prototyp I och prototyp III var vad projektorn projicerade på monteringsbordet. Vad som projicerades och hur det gjordes beskrivs nedan.
3.5.2
Mjukvara
Som beskrevs ovan så skulle användaren, med hjälp av ett gränssnitt, stega sig framåt eller bakåt mel-lan instruktionsstegen. För respektive monteringssteg skulle endast den kabeln eller det buntbandet som skulle monteras visas tydligt och övriga kablar och buntband tonas ner. För att möjliggöra detta användes Microsoft Powerpoint. Varje monteringssteg motsvarades alltså av en bild i Powerpoint. Hur själva implementationen gjordes beskrivs nedan.
3.5.3
Implementation av monteringsinstruktioner
Implementationen av monteringsinstruktionerna och gränssnittet implementerades med Microsoft Powerpoint. Ett monteringssteg samt gränssnittet för prototyp III visas i figur 10.
KAPITEL 3. FALLSTUDIE - KOMPLEX MONTERING AV KABLAGE TILL FLYGPLAN 22
Figur 10: Monteringssteg för projicerade monteringsinstruktioner.
Gränssnitt
Gränssnittet i prototyp III som syns nere till vänster i figur 10 ovan var inte funktionellt utan krävde att testledaren under användartesterna tryckte på knappar på ett tangentbord kopplat till datorn. Detta för att Powerpoint i datorn skulle stega framåt eller bakåt genom monteringsinstruktionerna. Samtidigt som användaren valde att gå vidare till nästa steg i monteringen noterade testledaren att monter-ingssteget verifierats av montören.
Det som skiljde gränssnitten, i prototyp II och prototyp III, åt var informationsrutans utseende. För prototyp III visades monteringsinformationen enligt figur 10 som: instruktionsnummer, namn på ka-bel som skulle monteras, start- och slutpunkt samt en pil som indikerade färgen på kaka-beln som skulle monteras. Knapparna som användaren kunde interagera med, genom att testledaren tryckte på tan-gentbordet, var tänkta att tydligt ge användaren interaktionsalternativen. När användaren tryckte på någon av knapparna gavs feedback i form av ett ljud samt att nästa monteringsinstruktion visades. Knapparna i gränssnittet för prototyp III liknade knappar som idag används vid de flesta typer av 2D-gränssnitt. Likt gränssnittet i prototyp II var gränssnittet, med användarens interaktioner, begränsat till att endast utföra två olika saker nämligen att stega framåt och stega bakåt mellan monteringsin-struktionerna.
Kabelritning
Som tidigare beskrivits visades i prototyp III inte alla kablar belysta på samma gång, utan en åt gån-gen. Det faktum att Powerpoint användes för att stega genom monteringsinstruktionerna gjorde att en specifik ritning per kabel och buntband skapades. Varje bild innehållande kabelritningen i Pow-erpoint var alltså unik. Den kabeln som skulle monteras i det specifika monteringssteget markerades med färgen på kabeln för att tydliggöra vilken väg den skulle dras. Buntbanden markerades med ett svart streck på positionerna där dessa skulle monteras. Även start- och slutpunkter markerades tydligt för att montören snabbt skulle hitta dessa. Kablarna som inte skulle monteras för just det specifika monteringssteget gjordes inte osynliga utan tonades bara ner, detta för att efterlikna de holografiska instruktionerna prototyp II. Detta gjordes för att de olika teknikerna för AR skulle jämföras istället för själva instruktionerna, vilket var fokus för fallstudien som genomfördes.
