3.5 Testing - Test av prototyp
3.5.2 Uppgift
Vid val av uppgiftsområde så togs de fynden som gjorts i de tidigare metodstadier i åtanke. Detta inkluderar även Hagelbergs (2018) studie som även gjorts på
Indentive. Dessa visar på att installation är ett av de mest återkommande huvudproblemen och därför ansågs det mest intressant att undersöka.
Deltagarna ombads att installera en gateway och en dörrsensor. De introducerades till enheternas syften samtidigt som en gateway, dörrsensor, ett batteri, ethernhetkabel samt strömkabel lades framför deltagaren. Installationen gjordes inte på riktigt, vilket i detta fall betyder att inga anrop gjordes till Indentives servrar för att koppla enheten på riktigt. Denna kompromiss gjordes för att spara in på utvecklingstiden och då det inte ansågs vara något som testar systemets design, utan snarare de tekniska aspekterna.
3.5.3 Testmetoder
3.5.3.1 Tänka högt-metoden
En väletablerad metod när det kommer till användbarhetstestningen är tänka högt-metoden, vilket går ut på att man ber användaren tänka högt medan de använder
35 systemet (Nielsen, 2012). Nielsen beskriver bland annat metoden som billig, robust, och flexibel. Kruger (2014) menar att man har möjligheten att se systemet genom användarens ögon om man kombinera observation av användaren i samband med deras resonemang kring handlingarna. Detta gör det lättare att förstå varför vissa saker kan vara frustrerande för användaren. Testerna spelades även in via en dator, vilket i kombination med denna metod gör det lättare att analysera testerna i
efterhand.
3.5.3.2 System Usability Scale
Denna metod skapades av John Brooke 1986 och kan numera ses som
industristandarden för betygsättning vid test av produkter (Usability.gov, 2020).
Metoden går ut på att användaren svarar på tio frågor om produkten efter att ha använt den (se Bilaga 3). Användarna får välja på en femgradig-skala hur mycket de håller med påståendet, från instämmer inte alls till instämmer helt. Varannan fråga är positiv såsom “Jag tycker systemet var enkelt att använda” och varannan fråga är negativ såsom “Systemet var alldeles för inkonsekvent” (Sauro, 2018). Dessa siffror normaliseras sedan genom att på de positiva frågorna ta bort ett från siffran, och för de negativa subtrahera talet fem med siffran. Detta gör att samtliga frågor får en poäng mellan 1 och 4. Man adderar sedan samtliga frågors poäng och sedan
multiplicerar man det med 2.5. Snittet för allas test blir systemets poäng, vilket landar mellan 0-100. Man brukar oftast säga att ett system med en poäng under 68 är under snitt och en över 68 bättre än snitt, detta kan även översättas till skalan F till A+ (Sauro, 2018).
Samtliga frågor översattes till svenska och den första frågan ändrades genom att lägga till “förutsatt att du har ett smart hem och Connective”, då denna prototyp inte är en produkt i sig och inte kan användas självständigt.
3.5.4 Frågor efter testet
Efter testet ställdes en del frågor, bland annat i ett formulärformat. Detta innehöll bland annat frågorna i SUS-metoden men inkluderade även sådana som hade med deltagaren att köra, såsom könstillhörighet, ålder, samt veckovis mobilanvändning (se Bilaga 3). Detta samlades in för att kunna se om upplevelsen potentiellt skiljer sig
36 mellan grupper. Efter formuläret ställdes fem kvalitativa frågor för att tillåta en
diskussion kring systemet. Frågorna ställdes efter att användaren fyllt i SUS-poängen för att inte påverka betygsättningen. Frågorna var bland annat om dess helhetsintryck av systemet, vad de gillade mest och minst, vad som kan förbättras eller saknas, samt hur de skulle beskriva agentens personlighet. Efter detta gavs testdeltagaren en möjlighet att lämna övriga kommentarer. Testledaren kunde även ta upp och diskutera intressanta händelser som uppstått under testets gång.
4 Resultat
Här presenteras resultatet från samtliga faser.
4.1 Empathise - Förståelse av användare och marknad
Resultat från Empathise-fasen, presenterat i teman.
4.1.1 Teman
Teman från intervjuerna identifierades genom att först föra samman alla
transkriptioner i ett samlingsdokument. I dokumentet skapades sedan kluster utifrån sammanhängande citat. Detta resulterade i tre huvudteman och två sekundärteman.
Denna process utfördes efter att samtliga intervjuer hade genomförts för att undvika att dessa teman skulle påverka hur kommande intervjuer utförs och tolkas.
4.1.1.1 Huvudteman
De tre huvudteman som identifierades var installation, optimering, och hållbarhet. I samtliga intervjuer dök minst ett av dessa teman upp, ofta alla tre.
4.1.1.1.1 Installation
Något som kom upp som ett problem i samtliga intervjuer var installeringsprocessen (se citat 16 – 25 nedan). Detta ansågs vara en av de största trösklarna för nya användare. För att användaren på ett framgångsrikt sätt ska kunna installera enheterna krävs det att de förstår varje enhets relativt unika installationsprocess,
37 samt att enheterna monteras på rätt sätt. Vissa enheter ska enligt vissa
intervjudeltagare ha så många som 13 steg i installationsprocessen (se citat 18).
Denna kunskap kan i nuläget hämtas via den medföljande manualen. Dock tyckte flertalet intervjudeltagare att denna manual var onödigt krånglig och lång. Det fanns även en oro kring att många användare undviker att läsa manualen.
Ett stort problem med installationsprocessen ligger dock inte hos användaren.
På grund av både mjukvaru- och hårdvarufel kan en handling som från användarens sida är rätt resultera i en misslyckad parning, det vill säga att enheten inte kopplas till systemet. Denna information presenteras aldrig. En intervjudeltagare beskrev att den ofta behöver göra om parningen tre gånger, fast att den gör rätt varenda gång (se citat 17). Brist på feedback från appen togs även upp som ett problem. Appen säger bara “nu är det din tur” och visar sedan “något gick fel” om parningen inte slutförs inom ett visst antal sekunder. Det har gjorts försök att förenkla denna process men detta är inget som har prioriterats och har därför inte implementerats än. Något som lugnar vissa av de oroade intervjudeltagarna är den potentiella kundens
teknikintresse. Vissa menade dock att detta är ett problem även för dessa typer av användare, och att problemet lär öka markant i takt med kundtillväxten. Detta
problem sägs finnas hos nästan samtliga konkurrenter, och verkar vara ett generellt problem inom smarta hem-marknaden. En intervjudeltagare var övertygad om att ett yrke som hjälper till med just denna process lär aktualiseras i framtiden (se citat 25).
16. “Det är jättejobbigt”
17. “Man vet att man gör rätt men ingenting händer förrän tredje gången. Hur ska man som slutanvändare veta att man gör rätt?”
18. “Du måste följa typ 12-13 steg”
19. “Inte enkelt, jag är orolig för kunden”
20. “I framtiden kommer detta bli ett problem för kunden”
21. “Det är en tekniktröskel”
22. “Måste komma ifrån att man måste förstå vad för radioteknik en lampa använder”
38 23. “99% läser nog inte manualen”
24. “Om ingen klarar av att installera så blir det ju inga kunder”
25. “Det kommer finnas yrken i framtiden som hjälper folk med installationen”
4.1.1.1.2 Hållbarhet
På frågan ”vad är hett på smarta hem-marknaden just nu” var ett väldigt vanligt svar
“hållbarhet”, detta gällde även på frågan vad som kommer vara populärt om fem år.
Detta svar följdes upp med olika argument för varför ämnet är intressant (se citat 26 - 28). Då smarta hem och smarta städer är nära kopplat till energiförbrukning, både i hemmet och samhället, finns stor potential till positiv påverkan. Indentive är som tidigare nämnt för stunden med i ett projekt med mål att minska energitoppar (stor mängd kumulativ effekt på elnätet) vid namn Vägvisaren. Bland annat så refererades det till Agenda 2030, en proposition från FN som bland annat innehåller
hållbarhetsmål såsom “hållbar energi för alla”, “hållbar industri, innovationer, och infrastruktur”, “hållbara städer och samhällen”, “hållbar konsumtion och produktion”, och “bekämpa klimatförändringarna” (Regeringen.se, 2016). För att klara dessa mål behövs nya innovationslösningar som ändrar energikonsumtionen, där menar många att IoT har en stor möjlighet. Ett exempel på detta kan vara att köra tvättmaskinen när intermittenta energikällor såsom vindkraft och solklart producerar som mest el.
Här skulle en konversationsagent kunna coacha och ge förslag till användaren hur den kan förändra sina konsumtionsvanor för att belasta energinätet mindre.
26. “Alla större bolag har en tydlig profil att de ska bli mer hållbara”
27. “Det är ett investeringsområde för alla idag”
28. “Det är ingen som inte vill jobba med hållbarhetsfrågor”
4.1.1.1.3 Optimering
Ett av appens problem som ofta togs upp var skapandet av rutiner (se citat 29 - 33).
Rutiner görs i nuläget med ett “it this then that”-tänk, vilket låter användaren pussla
39 ihop händelser med handlingar. Ett exempel på detta är att alla lampor i hemmet ska tändas när solen går ner. Dessa kan även inkludera undantag, såsom att detta endast ska ske på vardagar. Många intervjudeltagare ansåg att denna process var för krånglig. Bland annat togs det upp att det är svårt att översätta en tanke om en rutin till det pusseltänket som presenteras i nuvarande appen. Många ansåg att implementeringen helt enkelt blir för teknisk och att den mindre tekniskt lagda personen kan uppleva det som komplicerat.
Förutom problemet med att skapa rutinen diskuterades det kring en funktion som tänkts implementeras men som aldrig hunnit skapas, vilket är förslag på nya rutiner. Detta skulle kunna göras via mönsterigenkänning och exempelvis vara att man ser att användaren manuellt sätter på alla lampor när den kommer hem, och att appen då föreslår att göra det automatiskt istället. Optimering kan även röra
hållbarhet som tidigare nämnt, exempelvis flytta en tvättid för att förbruka elen under en mindre konsumtionspåverkande tid. Följande citat handlar om skapande av rutiner samt upptäckandet och användningen av funktioner generellt.
29. “Oklart vad som hör till vad”
30. “Målet har alltid varit att man inte ska behöva vara inne i appen”
31. “Måste abstrahera bort att man behöver förstå logiken bakom”
32. “Svårt att hitta och förstå alla bra funktioner”
33. “Tända och släcka lampor via appen är inte nog för att få användaren att fortsätta använda den”
4.1.1.2 Sekundärteman
Feedback och support var två sekundärteman som identifierades. Dessa teman dök ofta upp i intervjuer, men inte i samma grad och med samma emfas som
huvudteman.
4.1.1.2.1 Feedback
Det uttrycktes en uppenbar brist på kontakt med slutanvändare (se citat 34 och 35).
Detta problem är kopplat till problematiken kring det stora antalet funktioner och
40 tjänster som utvecklats. Många uttryckte en oro kring osäkerhet angående vilka funktioner som är efterfrågade och vilka som knappt kommer användas. Indentive får bland annat beställningar på funktioner av sina kunder, men har då ingen koll på hur slutanvändarna förhåller sig till dessa implementationer.
34. “Vet aldrig om funktionsförfrågningar kommer från kunden eller slutkunden”
35. “Implementerar massa funktioner, men vet inte om de uppskattas av slutkunden”
4.1.1.2.2 Support
Supporten sker på olika sätt beroende på kund. Vissa kunder har sin egen support, vilket i sin tur hör av sig till Indentive vid problem. Vissa kunder ska ha funderat på att förändra sättet de hanterar ärenden, då nuvarande sättet inte kan hantera mängden supportärenden. Det ska även finnas en brist på uppföljning på supportärenden, då användaren inte har något sätt att hantera påbörjade
supportärenden. Utöver detta uttrycktes en oro kring att supporten ofta behöver svara på samma frågor (se citat 36).
36. “Jag kan tänka mig att supporten är väldigt trött på att behöva svara på samma frågor hela tiden”
4.1.2 Sammanfattning intervjuer
Sammanfattningsvis gav intervjuerna en insikt i den problematik som finns inom installation, optimering, hållbarhet, feedback och support. Dessa insikter inkluderade områden såsom marknaden, kunder och slutkunder.
4.2 Define - Definiering av problem och mål
Resultat från Define-fasen, presenterat i personas och storyboards.
41 4.2.1 Studiens personas
4.2.1.1 Åke Johnsson - Primärpersona
Har koll på teknikmarknaden och har lätt att hitta och tillfredsställs av att anamma avancerad funktionalitet (se Figur 8). Genom sitt teknikintresse gillar prylnörden ofta att prata om sin upplevelse, jämför ofta lösningar sinsemellan och ser många gånger ett större värde i tekniken än i lösningen av problemet.
Figur 8. Primärpersona
4.2.1.2 Lena Gårdinger - Sekundär-persona 1
Blir glad av att förenkla sin vardag samt att göra den mer komfortabel och miljövänlig (se Figur 9). Lägger tid på att utforska lösningar på sina problem och kan därför gå
42 från okunnig till kunnig.
Figur 9. Sekundär-persona 1
4.2.1.3 Charles König - Sekundär-persona 2
Ointresserad av teknik och anammar bara den med ett tydligt värde (se Figur 10).
Kan ses som en bakåtsträvare men när den kommit över tröskeln kan den bli en utforskande problemlösare.
43 Figur 10. Sekundär-persona 2
4.2.2 Storyboards
En storyboard utformades för varje persona:
4.2.2.1 Storyboard - Åke Johnsson
Storyboard för primärpersonan Åke Johnssson (Se Figur 11).
44 Figur 11. Storyboard för Åke Johnsson
4.2.2.2 Storyboard - Lena Gårdinger
Storyboard för första sekundär-personan Lena Gårdinger (Se Figur 12).
Figur 12. Storyboard för Lena Gårdinger
45 4.2.2.3 Storyboard - Charles König
Storyboard för andra sekundär-personan Charles König (Se Figur 13).
Figur 13. Storyboard för Charles König
4.3 Ideate - Konceptgenerering
Resultat från Ideate, presenterat i exempelutdrag från skapandet av skisser och prioriteringsmatris samt en effektkarta. Totalt genererades 56 koncept.
4.3.1 Crazy eights-skisser
Exempel från Crazy Eights-skissningen innehållande koncept för installationshjälp (se Figur 14).
46 Figur 14. Crazy eights-skisser för olika installationskoncept
4.3.2 Prioriteringsmatris
Exempel på en framtagen prioriteringsmatris för installationskoncepten (se Figur 15).
47 Figur 15. Prioriteringsmatris för ovanstående installationskoncept (se Figur 14)
4.3.3 Effektkarta
Denna effektkarta kopplades till samtliga problem som identifierats i Empathise-fasen (se Tabell 2).
Problem Mål Persona Hur What
Installation Minska antalet samtal till supporten gällande installation
Charles König
Klarar av att installera
enheter, minskar tröskeln
En steg för steg
installationsguide direkt i appen
48 Optimering Öka antalet rutiner
skapade
Förslag på rutiner baserade på mönster som användaren kan skapa genom ett enkelt knapptryck
Hållbarhet Öka folks
medvetande och få tips kring saker kopplade till hållbarhet
Support Minska antalet samtal till supporten
Agenten har möjligheten att hjälpa till med
supportärenden direkt i appen.
Feedback Öka antalet
meddelanden med feedback
Alla Fler funktioner som uppskattas av användaren
Återkommande, kontextuella feedbackformulär
Tabell 2. Effektkarta
4.4 Prototyping - Utformning av prototyp
Alla funktioner förutom de som ingår i installationsprocessen är sådana som ännu inte fullt ut har implementerats på en kodbasis. Detta betyder alltså att de
presenteras som koncept och hur dessa kan utformas rent designmässigt.
4.4.1 Personlighetsskapande
Nuvarande digitala assistenter såsom Alexa, Google Assistant samt Siri är samtliga till viss mån avspeglingar av unga västerländska kvinnor (Carter & Knol, 2019). För att bryta detta mönster utvecklades därför agentens personlighet i denna studie
49 utifrån en äldre man. Agentens grund är inspirerad av karaktären Alfred, butlern från kända serietidningshjälten Batman. Kopplingen passar då Alfred i serien hjälper Batman med teknologiska implementationer, något som då kan speglas i appen.
Agenten bör inte vara så pass förankrad i karaktären att de som inte känner till serietidningarna blir förvirrade, en annan fördel med detta är uteslutningen av möjliga varumärkesintrång. Då skalbarhet genom exempelvis exportering till andra system är ett krav blir möjligheten att ändra agentens persona ett viktigt perspektiv att ha i åtanke. Personan ska alltså inte vara så pass förankrad i utformningen att en potentiell ändring skulle vara alldeles för tidskrävande att implementera. Agentens personlighet skapades även för att spegla Indentives värden: “We are one team”,
“we add value”, “we are decisive”, “we respect diversity”. Exempelvis speglas det första värdeordet genom att agenten är inkluderande och uppmuntrande med meddelande som “Snyggt jobbat!” eller “Bra val!”.
4.4.2 Startsida
På startsidan får användaren möjlighet att välja olika handlingar, såsom installation, community, hållbarhet, tips & tricks, support, samt ge feedback. Handlingarna animeras långsamt horisontellt för att visa samtliga handlingar. Under titeln finns även en interaktiv komponent där användaren beroende på kontext kan se energimål (se Figur 17), återuppta konversation (se Figur 16), eller veckans community-video (se Figur 18).
50 Figur 16. Återuppta
konversation
Figur 17. Mål Figur 18. Veckans video
Användaren har möjlighet att återuppta en
pågående konversation.
Användaren kan få en överblick av sitt
energimål.
Användaren kan se veckans community-video.
4.4.3 Spegling av personlighet
Alfreds personlighet speglas genom exempelvis emojis (se Figur 19) och skämt (se Figur 20). I ett försök att vara mer personlig tilltalas även användaren med dess riktiga namn flertalet gånger genom systemet (se Figur 21). Detta görs även för att förstärka den produktantropomorphistiska effekten.
51 Figur 19. Emojis Figur 20. Skämtsam Figur 21. Personlig
Alfred använder emojis för att förstärka den
antropomorfiska effekten
Alfred kan även skämta med användaren för att lätta upp stämningen.
På olika ställen i systemet benämns användaren med sitt namn. Detta görs även för den personliga kopplingen.
4.4.4 Hantering av inmatning
För att förenkla kommunikation ges användaren förslag både innan (se Figur 22) och medan de skriver ett meddelande (se Figur 23), vilket då baseras på stundande input. Användaren kan även använda röststyrning (se Figur 24) och fritext.
52 Figur 22. Förslag Figur 23. Autocomplete Figur 24. Röststyrning
Användaren kan välja respons direkt från lista interaktivt svar har blå bakgrund och ikon.
Användaren får förslag på kommandon baserat på vad den skriver.
Användaren kan använda röststyrning för att föra dialogen.
4.4.5 Installation
Användaren får instruktioner för enheten genom att skanna dess streckkod (se Figur 25). För att förenkla parningsflödet får användaren hjälp genom
instruktionsanimationer (se Figur 26). Användaren får även möjlighet att välja en ikon till den nyinstallerade enheten (se Figur 27), vilket är en funktion som finns i
nuvarande Connective-systemet.
53 Figur 25. Skanna
streckkod
Figur 26.
Instruktionsanimationer
Figur 27. Välja ikoner
Alfred identifierar enheten som ska paras genom att användaren skannar dess streckkod.
Animationer som bland annat visar hur enheten paras.
Användaren kan välja en passande ikon till den nya enheten direkt i chatten.
4.4.6 Support
Användaren har möjlighet att få hjälp med supportärenden. Dessa ärenden sköts med statistik och trender baserat på data från andra användares supportärenden (se Figur 28). Dessa sköts även med intern logik då Alfred kan kommunicera direkt med tekniken (se Figur 29). Om ärendet inte går framåt har användaren möjlighet att be om att få prata med en riktig människa (se Figur 30).
54 Figur 28. Statistik och
trender
Figur 29. Intern logik Figur 30. Hjälp från människa
Alfred använder tidigare rapportering för att göra val baserad på statistik och trender.
Alfred kan även
kommunicera direkt med enheter för att snabbt kunna dra slutsatser.
Det finns även
möjligheten att tillkalla en människa vid
supportärenden.
4.4.7 Optimering
Alfred kan hjälpa användaren med optimering genom att upptäcka möjligheter till nya rutiner genom mönsterigenkänning (se Figur 33) samt avvikande beteenden i
vardagen (se Figur 31). Alfred gör det även lättare att skapa rutiner genom naturlig språkprocessering (se Figur 32). Detta kan då göras genom att i följande mening
“Sätt på lampan i vardagsrummet klockan 8 varje dag förutom lördagar” exempelvis extrahera avlösare (Klockan = 8), mål (Lampan i vardagsrummet), frekvens (varje dag), samt undantag (förutom lördagar).
55 Figur 31. Upptäckande Figur 32. Skapa rutin Figur 33.
Mönsterigenkänning
Användaren har möjlighet att korrigera
energislösande
beteenden genom rutiner.
Användaren kan skapa rutiner genom skriva hur den bör fungera, vilket tolkas genom naturlig språkprocessering.
Alfred hittar mönster i användarens beteende vilket sedan kan
konverteras till en rutin.
4.4.8 Hållbarhet
Agenten kan coacha användaren genom att skapa mål och ge tips kring dess
förbrukning (se Figur 34, Figur 35 och Figur 36). Denna funktionalitet implementeras bland annat baserat på marknadens fokus på hållbarhet som uppdagades under de interna intervjuerna.
56 Figur 34. Energimål Figur 35. Möjlighet Figur 36. Skapande av
mål
Användaren blir coachad att förbruka mindre genom att sätta upp mål och få tips hur målet kan uppnås.
Alfred tar vara på möjligheter för att mer hållbart utföra
förbrukningstunga handlingar.
Alfred säger till om
användaren förbrukat mer än snittet i deras område.
4.4.9 Community
Användaren får ta del och ladda upp videos till appens community (se Figur 37). I videon kan användaren se vilka produkter som används samt eventuella rutiner eller scener (se Figur 38). Användaren kan även läsa rekommenderade artiklar, även dessa innehåller produkter och eventuella rutiner eller scener (se Figur 39). Denna funktionsgrupp baserar sig på prylnördspersonans vilja av att dela med sig av lösningar samt få inspiration på nya.
57 Figur 37. Video Figur 38. Reklam i
videon
Figur 39. Artiklar
Alfred kan rekommendera videos som andra med appen laddat upp.
Videos innehåller reklam för de produkter och rutiner som ingår.
Alfred kan även ge inspiration i form av externa artiklar.
4.4.10 Feedback
Användaren ombeds lämna feedback efter att ha utfört olika handlingar i appen (se Figur 40). Detta ger Indentive möjligheten att få en bra överblick kring vad som
Användaren ombeds lämna feedback efter att ha utfört olika handlingar i appen (se Figur 40). Detta ger Indentive möjligheten att få en bra överblick kring vad som