4.3. Utvärdering
• Vad gillade du mest med applikationen? • Vad gillade du minst med applikationen?
• Vilka aspekter i applikationen, om någon, skulle du vilja ändra?
För att se samtliga svar, se appendix [G].
Angående vad testpersonerna gillade med applikation lyftes enkelheten av 21 personer, de- signen av 10 personer, och 7 personer nämnde sökfunktionen och de resultat som presen- terades. Även tydligheten och snabb tillgång till relevant information var något som flera testpersoner lyfte som positivt.
Angående vad testanvändarna tyckte mindre om med applikationen var sidhuvudet och län- karna återkommande. Flera användare förstod inte att bokningar låg under länken Mina Sidor och försökte istället hitta dem under Mina lokaler. Ytterligare ett problem var att hemsidan in- te anpassade sig bra till alla skärmar, vilket resulterade i att användare med små skärmar inte såg tabellen med sina bokade lokaler efter en genomförd bokning, utan trodde istället att de blivit dirigerade till sina kontaktuppgifter. Störst fokus låg däremot på sökfunktionen och presentationen av lokaler. Först och främst nämndes brister i designen som försvårade sökprocessen; för små kryssrutor, att det inte gick att filtrera på tid och att reglering av pris- och kapacitetsintervallen var svårhanterliga. En användare ville också ha mer information om hur lokaler viktades mot varandra.
Flera testpersoner tyckte också att det saknades en del information på varje sökresultat. När testerna genomfördes listades varje lokal på ett kort med en bild, namn, max-kapacitet och betyg. För att ta reda på priset och tillgänglig tid skulle användaren klicka på knappen Vi- sa mer, då expanderades kortet och en tabell med tid, pris och huruvida mat inkluderades presenterades på kortet. Testpersonerna ville istället kunna se priset, eller ett prisintervall, utan att behöva trycka på en knapp. Dessutom önskades fler bilder och mer information om respektive lokal.
Ytterligare brister som testanvändarna fann var att mejladressen var känslig för versaler, att det inte fanns krav på lösenordets längd och tecken, att användaren direkt kommer till betal- ning efter en bokning, att användaren dirigeras till Registrera dig vid försök av en obehörig bokning och att det var för många steg för att genomföra en betalning. Dessa nämndes däre- mot av enstaka användare. En synpunkt var även att det var för få resultat som presenterades vid en sökning, samt att flera lokaler hade samma bild - något som grundar sig i utformandet av testet i sig mer än applikationen.
När önskade funktioner och ändringar efterfrågades upprepades möjligheten att sortera på fler aspekter eller påverka sökalgoritmen. Testpersonerna ville också kunna se priset direkt och ha mer information om lokalen. Utifrån ett designperspektiv önskade användarna bätt- re länkar, mindre skrollande, bättre anpassning till olika skärmar, och förklarande texter när användaren håller musen över olika knappar. Dessutom önskades ett förbättrat betygssätt- ningssytem, samt möjligheten att avboka en lokal efter en betalning.
4.3.6
SUS
SUS används för att utvärdera användbarheten av en applikation. I slutet av varje användar- test fick testanvändaren ta ställning till tio olika påståenden, varav fem är positiva och fem är negativa. Resultatet från SUS kan utläsas i tabellen nedan.
4.3. Utvärdering
Tabell 4.1: Tabellen visar sammanställningen av SUS resultaten. Figuren avser svar från 41 testpersoner.
För att ta fram den genomsnittliga användbarheten av systemet enligt SUS beräknas värdet enligt nedan ekvation.
Summa poäng av positiva påståenden:
4, 24+4, 66+4, 37+4, 73+4, 15 ´ 5=17, 15 Summa poäng av negativa påståenden:
25 ´ 1, 32 ´ 1, 12 ´ 1, 37 ´ 1, 15 ´ 1, 07=18, 97 Slutgiltiga SUS-värde:
2, 5 ˚(17, 15+18, 97) =90, 3
Sett till de individuella testresultaten är det lägsta SUS-värdet 72,5. I 27 av de 41 testesterna värderades användbarheten till 90 eller högre, och fem personer värderade användbarheten till 100. Det slutgiltiga resultatet från alla användartester presenteras i diagrammet nedan. Samtliga värden från testerna kan hittas i appendix [H] och frågorna finns listade i avsnitt 2.5.4.1.
4.3. Utvärdering
Figur 4.23: Diagrammet visar det sammanställda SUS-resultatet från samtliga tester.
4.3.7
Vilsenhet
Vilsenhet undersöker hur vilse en användare är när denne navigerar på hemsidan. Det ge- nomsnittliga vilsenhet-värdet från alla tester landade på 0,06.
Figur 4.24: Figuren visar vilsenhet för de olika uppgifterna som testpersonerna utförde.
Två av testuppgifterna sticker ut något från mängden, uppgift tre och nio. Uppgift tre hade det enskilt högsta värdet på vilsenhet, 0,12 och denna uppgift är första gången testpersoner ska söka efter en lokal från Mina sidor. Uppgift nio är att användaren ska ta reda på informa- tion om sidan som inte finns, och därmed behöver skicka en fråga via ett kontaktformulär. Uppgift nio hade i snitt ett vilsenhet-värde på 0,06.
4.3. Utvärdering
5
Diskussion
I följande avsnitt presenteras diskussion kring resultaten, metoden och arbetet i ett vidare sammanhang. Målet med diskussionen är framförallt att:
• Förklara och resonera kring utfallet av resultatet och koppla det till frågeställningen • Presentera motiveringar bakom de beslut som togs
• Utifrån ett bredare perspektiv reda ut vad Hyrslok har för roll och ansvar samt vilka problem och utmaningar som kan finnas i framtiden
En stor del av diskussionen är även tillägnad åt metoden och hur denna kan ha påverkat utfallet.
5.1
Resultat
Nedan följer en diskussion kring resultaten som erhölls av utvecklingen och under utvärde- ringen samt hur och varför beslut fattades.
5.1.1
Användbarhet
För att kunna dra några rimliga slutsatser från SUS-resultaten måste antal tester vara minst 12-14 [70]. Testledarna genomförde sammanlagt tester på 41 olika testanvändare vilket är betydligt högre än det antal tester som krävs och testerna kan därför anses ge en god grund till vidare diskussion om webbapplikationens användbarhet.
Det lägst värderade SUS-testet fick SUS-resultatet 72,5 vilket överstiger gränsen för accep- tabla system [73]. Samtidigt ansåg drygt 12% av användarna att användbarheten på webb- applikationen var av hösta nivå och det slutgiltiga SUS-resultatet hos dessa var 100. Testresul- taten från SUS tyder alltså på att webbapplikationen har en hög användbarhet. Då ändamåls- enlighet är en bidragande faktor till användbarheten kan det argumenteras för att de beslut som tagits vid implementationen gällande ändamålsenligheten kan ha bidragit till den höga
5.1. Resultat
användbarheten [7]. Då teorin menar att ändamålsenlighet och användbarhet korrelerar kan det, baserat på ovannämnda resultat, antas att ändamålsenligheten är hög [35].
5.1.2
Ändamålsenlighet
Resultaten för framgångsgrad var utmärkt, vid 81 av 82 sökningar var testanvändaren nöjd med sina resultat och även svaren kopplat till kvalitet av resultat var väldigt bra då 76 av 81 sökresultat betygsattes med fyror och femmor. Då ändamålsenlighet är ett subjektivt mått och kan därmed vara svårt att mäta som helhet kan det vara svårt att hitta någon stark koppling utifrån dessa test och god ändamålsenlighet. Dock valde författarna att mäta den subjektiva nöjdheten hos testanvändarna genom framgångsgrad och lösningskvalitet och försöka dra en stark koppling genom att kombinera dessa två. Då både testen från framgångsgrad och lösningskvalitet gav höga resultat anser författarna utifrån denna kombination att användar- na var nöjda med resultatet vilket innebär en hög ändamålsenlighet. Dessutom nämnde flera användare i retrospektiv sondering att enkelheten och smidigheten med applikationen var något de uppskattade, se appendix [G], vilket stärker detta ytterligare.
5.1.3
Upplevd ändamålsenlighet
För den upplevda ändamålsenligheten krävdes god navigerbarhet, kort laddningstiden, väl genomtänkta designval, samt god interaktion med användarna [36]. För att uppnå dessa im- plementerades olika funktioner i applikationen och genom diverse användartester kunde de olika aspekterna utvärderas. För att mäta navigerbarheten användes testet vilsenhet. Reste- rande faktorer hade inga enskilda tester; istället används svaren från CTA och retrospektiv sondering för att undersöka om dessa faktorer var något som användarna reflekterade över.
5.1.3.1 Navigerbarhet
Navigerbarheten testades genom vilsenhet som gav ett mycket lågt värde, vilket tyder på god navigerbarhet [17]. De två uppgifter där användarna generellt hade svårare att navigera sig på gav ändå värden som underskred gränsen för en ineffektiv navigering. Således kan det konstateras att användaren hade lätt för att hitta de funktioner och den information de sökte på webbapplikationen. Däremot kommenterade flera testanvändare att namnet på län- karna kunde förbättras. Exempelvis var det flera som gick till Mina lokaler för att se över sina bokningar eller inte förstod varför länken till att söka lokal hette Hem. För att öka naviger- barheten ytterligare skulle namnen på länkarna kunna ses över och väljas ut mer noggrant
navigation.
En av de viktigaste faktorerna för att öka navigerbarheten var implementationen av sökfunk- tionen och rekommendationenssystemet. Dessa underlättar för användaren vid sökning och bokning av lokal då användaren inte behöver söka igenom alla de lokaler som finns i databa- sen för att kontrollera om de uppfyller användarens behov och sedan vikta de mot varandra
navigation. Sökfunktionen och rekommendationssystemet diskuteras djupare i 5.1.4, men det kan argumenteras för att sökfunktionen ökade navigerbarheten och därmed ändamåls- enligheten.
En aspekt som påverkat navigerbarheten negativt, men inte inkluderats i vilsenhet-testet är att användaren alltid måste trycka på Visa mer för att hitta information om pris, tid och ägare. Flera testanvändare kommenterade att de hade velat ha ett prisintervall eller liknande som syns direkt på korten. Utvecklingsgruppen gjorde ett aktivt beslut att inte visa priset direkt då det varierade mellan de olika time_slot, men som testanvändarna nämnde hade ett intervall eller pris från kunnat nyttjas för att undvika detta problem.
5.1. Resultat
Att navigerbarheten blev väldigt låg trots att flera användare lyfte namnen på länkarna som ett problem kan bero på att webbapplikationen som helhet bestod av relativt få sidor och att funktionerna var begränsade. Detta leder till att antalet optimala klick var få och när an- vändaren blev vilse hittade den snabbt tillbaka till rätt sida. Med det sagt hade de flesta användare inga svårigheter med att navigera sig på sidan och slutsatsen kan därför dras att navigeringen i webbapplikationen var hög och bidragande till ändamålsenligheten.
5.1.3.2 Laddningstid
För att minska den faktiska och upplevda laddningstiden användes cache, dessutom ladda- des lättare element först i enlighet med teorin [37]. För att ytterligare minska laddningstiden utnyttjades lazy load som endast laddar kritiska element och utvecklingsgruppen valde att ladda få resultat åt gången. Beslutet togs för att användaren inte skulle bli överväldigad av överflödig information, samt för att inte överbelasta datorn med alla resultat som måste lad- das.
I den retrospektiva sonderingen var det en testanvändare som uppgav att sökuppdateringen var långsam, utöver det var det ingen som reflekterade över laddningstiden. Huruvida an- vändaren som var missnöjd med laddningstiden var mer uppmärksam på laddningstid än övriga testanvändare eller hade tekniska problem som medförde långsammare laddning är oklart. Däremot innebär det att resterande användare upplevde laddningstiden som låg eller skälig för de funktionerna som nyttjades. Att laddningstiden inte upplevdes som ett problem av majoriteten av användana tyder på en låg laddningstid, vilket ökar den upplevda ända- målsenligheten.
5.1.3.3 Designval
Kommentarerna kring designen varierade mycket mellan de olika testanvändarna, där vissa testanvändare lyfte designen som en av de aspekter de gillade mest med systemet, och andra som en av de aspekter de gillade minst, se appendix [G]. Något som kan ha påverkat använ- darnas upplevelse av designen på applikationen är vilken skärm de hade. För stora skärmar krävdes mindre skrollande och användarna kunde snabbt se all information som presentera- des. För mindre skärmar däremot kunde viktig information gömma sig längre ner på sidan vilket påverkade både navigationen och designen negativt. Detta grundar sig i att applikatio- nen inte var tillräckligt anpassningsbar till olika skärmar och kan enkelt förbättras genom att använda en grid-layout på samtliga sidor och komponenter. De som uttryckte brister i desig- nen i retrospektiv sondering nämnde specifika delar, komponenter eller vyer och uttryckte att webbaplikationen stundvis kunde se oprofessionell ut.
Genom att använda regeln om tredjedelar till den mån som var möjlig kunde webb- applikationen få en estetisk struktur [46]. Detta styrks även av testanvändarna som lyfte lay- outen och strukturen som en av aspekterna de gillade bäst. Flera användare nämnde även designen, som de beskrev som snygg och stilren. Det uppnåddes genom att använda enhetli- ga färger genom de olika sidorna, samt genom nyttjandet av jinja-templates som skapade en enhetlig struktur och gemensamma komponenter. Utifrån svaren kan slutsatsen dras att an- vändarna överlag gillade designen på hemsidan, men att mindre komponenter och enskilda vyer upplevdes som mindre genomarbetade.
5.1.3.4 Interaktion med användare
Interaktionen mellan Hyrslok och användaren var något som var svårt att uppnå på grund av tidsbristen. För att uppnå en viss interaktion och öka tvåvägs-kommunikationen på webb- applikationen utvecklades sidan Vanliga frågor där användaren kunde få svar på diverse frå- gor de hade samt ställa en egen via ett formulär om det krävdes [49]. Dessutom implemente-
5.1. Resultat
rades ett betygsystem för att användarna ska kunna betygsätta lokalerna de bokat, samt för att kunna sortera bokningar på betygen de fått. Enligt teorin ökar betygsättningen både in- teraktiviteten och förtroendet för webbapplikationen vilket medför ökad ändamålsenlighet [49]. Detta styrks även av testerna som genomfördes då ett flertal användare valde dyrare lokal över andra på grund av ett högre betyg. Dessutom valde flera testanvänare lokaler med fler recensioner än andra trots ett lägre betyg, då de ansåg att fler recensioner gav en mer tillförlitlig bedömning.
Samtidigt önskade användarna mer interaktion på hemsidan, som exempelvis ett sätt att kommunicera direkt med lokalägarna. Detta hade medfört ökad ändamålsenlighet då an- vändarna inte hade behövt använda en annan plattform efter en bokning och hade kunnat uppfylla sitt mål med lokalbokning och kontakt med ägaren på webbapplikationen. Författar- na tror att de funktioner som implementerades i syfte att öka interaktiviteten är begränsad, men har bidragit positivt till den upplevda ändamålsenligheten. Däremot krävs ytterligare åtgärder för att nå en hög interaktivitet.
5.1.4
Sökfunktionalitet
Följande avsnitt ämnar redogöra för hur sökfunktionalitetens utformning och algoritmer kopplar till presenterad teori och hur utfallet kan tolkas.
5.1.4.1 Parametrar för rekommendationer
I sammanställningen av anledningar till att testaren bokade en viss lokal (figur 4.22) är det några variabler som utmärker sig. Pris och betyg är det som överlägset flest uppger som grund för beslutet. De följs av bild, relativ plats i listan samt tidigare kännedom om loka- len. Betyg förväntades vara en avgörande faktor och har stor påverkan för rangordningen av resultatet. Prisets betydelse var inte förutsett och är troligen en stor anledning till att använ- darna valde lokaler som presenterades längre ner i resultatlistan.
Betydelsen av bilden är en stor felkälla för användartesterna eftersom de i stor utsträckning är godtyckligt valda och inte representativa för lokalen. Trots att en lokals bilder inte är något som kan vägas in i en sorteringsalgoritm så kommer de troligtvis att speglas i betyget. För att skydda användare mot lokaler med bilder som inte är representativa kan recensionerna göras mer utförliga där användare kan beskriva sin upplevelse och om den stämmer överens med det utlovade.
Att användaren tog hänsyn till lokalens plats är positivt och tyder på en viss tillit till rekom- mendationerna. Testanvändarna ifrågasatte dock varför vissa resultat presenterades ovan- för andra som de ansåg mer relevanta. Frågan är där om algoritmerna bör anpassas för att stämma överens med användarnas förväntningar eller om användarna bör upplysas om de parametrar som påverkat lokalernas placering. För närvarande har andelen bokningar som lokalen fått samt hur frekvent den blivit bokad vid tidigare sökningar stor påverkan, men är osynligt för användaren.
5.1.4.2 Algoritmer för rekommendationer
Trots att många användare primärt valde lokal av andra anledningar än betyget så bokade drygt 93 % en av dem tre lokaler som visades först, och därmed var rekommenderade. Att testanvändarna i så stor utsträckning valde dessa när det fanns andra, ofta billigare, alternativ talar för att rekommendationerna fungerade.
Applikationens algoritmer för rekommendationer kan enligt resultatet delas i två delar; sor- tering och justering, vilka båda bygger på kollaborativ filtrering på olika sätt. Sorteringen
5.1. Resultat
baseras på tidigare användares åsikter eftersom kunder som har tyckt lika i det förflutna, antas tycka lika även i framtiden [81]. Om tidigare användare har visat sitt omdöme om en lokal genom betygsättning kan det användas för att anta framtida kunder ha en liknan- de uppfattning. Formeln för värdena som sorteringen utförs på tar även hänsyn till antalet betyg en lokal har fått och andelen bokningar av det totala antalet som har gjorts på den aktuella lokalen. Formeln har utvecklats för att betydelsen av en lokals betyg ska öka ju fler som har betygsatt den, men endast upp till en gräns. Detta för att undvika att en lokal med många betygsättningar och ett lågt betyg uppnår ett högre värde än en lokal med ett högre betyg och få betygsättningar. Vidare bedömdes det relevant att ta hänsyn till hur stor andel av det totala antalet bokningar som finns i databasen som är gjorda på den aktuella lokalen eftersom det i sig visar på lokalens popularitet. Det minskar också effekterna av att använ- dare kanske inte återkommer till sidan och betygsätter de lokaler de bokat. Enligt resultaten från användartesterna framgick inte påverkande parametrar tillräckligt för användarna för att rangordningen skulle upplevas relevant.
Justeringen som görs utifrån tidigare sökningar som lett till bokningar baseras på antagandet att om en användare i det förflutna valt en specifik lokal så är den relevant för den nuvarande användaren om samma kriterier gäller. Det medför en gruppering av användare och därmed kollaborativ filtrering. Vidare grupperas användare som studenter och icke-studenter. Lokaler bokade av studenter rekommenderas till studenter, och flyttas längre ner i resultatet för icke- studenter.
Systemet är ytterst begränsat i hanteringen av kalla starter (avsnitt 2.4.4.2). Kvaliteten på re- kommendationerna är nästan likvärdig oavsett om användaren är ny eller ej eftersom majori- teten av systemet använder tidigare användares data. Om få användare har använt systemet skulle dock rekommendationerna inte vara särskilt givande. Genom att ge lokalerna i den genererade databasen godtyckliga värden på attributen som används i algoritmerna, samt skapa fiktiva sökningar undveks dessa problem. Om applikationen skulle lanseras skulle det- ta behöva adresseras. Algoritmerna tar heller ingen hänsyn till nya lokaler. En ny lokal med värdet obefintliga betygsättningar och bokningar skulle med nuvarande algoritmer hamna sist i resultatlistan. Med en stor mängd lokaler i databasen riskerar dessa att aldrig synas för användaren, och därmed aldrig bokas.
Den begränsade omfattningen av testerna både vad gäller innehåll i databasen och antalet användartester gör det svårt att bedöma hur väl justeringen fungerar. Det är möjligt att det är för kraftig justering att flytta en lokal en eller flera positioner i rangordningen baserat på tidigare sökningar. Ett alternativ skulle vara att väga in detta i poängen som generas inför sorteringen.
För att systemet skulle kunna nyttja innehållsbaserad filtrering behöver fler egenskaper till- skrivas lokalerna. I nuvarande implementation används majoriteten av egenskaperna för att göra den initiala filtreringen av resultat och inga fler parametrar kan användas för att grup- pera resultat som liknar det en användare visat en preferens för. En personligare rekommen- dation vad gäller kollaborativ filtrering skulle även kräva fler egenskaper och preferenser hos användare.
5.1.4.3 Sökfunktionalitetens utformning
Sökprocessen i applikationen grundar sig i utforskande tack vare att användaren efter en ini-