B EDÖMNINGSVERKTYG SOM STÖD FÖR MATURITYMODELLER
–M ED FOKUS PÅ N IELSEN UX
MATURITYMODELL
Kandidatuppsats i Informatik
Mattias Enerås
Olivia Friberg
VT 2020:KANI02
Svensk titel: Bedömningsverktyg som stöd för maturity modeller
Engelsk titel: Assessment tool for supporting maturity modells
Utgivningsår: 2020
Författare: Mattias Enerås och Olivia Friberg
Handledare: Bim Fagerström Kareld
Abstract
In 1993, the first maturity model was created by Software engineering group (SIE). The framework was developed to help developers increase the maturity of their software processes (Paulk et al.
1993). Since then, several maturity models have been added to support the evaluation and improvement of different processes. Despite the inevitable benefits of maturity models there are several criticisms towards the usability of these models. This study focuses on the need for an easy-to-use application of maturity models. To investigate this, a quantitative assessment tool has been developed based on the Nielsen UX Maturity model (2006a, 2006b).
In this study, four companies have tested the assessment tool to see if the tool is considered useful and facilitates the implementation of the underlying maturity model. After the test, all respondents were included in a qualitative survey where the experience of the tool was examined. Based on the result obtained, it is possible to see future potential and value in the developed assessment tool, but in order to reach it, further development is needed to reach what the theory considers useful.
Criticism received during the course of the study was directed several times towards the choice of the underlying maturity model. Several companies claimed that the model was outdated and therefore the interest in the tool decreased. However, the majority of respondents who participated in the survey believe that they can see the assessment tool as a helpful tool in the implementation of the maturity model, but first further development is needed.
Keywords: Maturity model, User experience, Usability, User experience, maturity model, Nielsens corporate UX maturity model
Abbreviations
UX - User experience, UI - User interface, UXMM - User experience maturity model
Sammanfattning
1993 tillkom den första maturity modellen då ramverket Capability Maturity Model (CMM) togs fram i syfte att hjälpa utvecklare att öka mognaden av sina mjukvaruprocesser (Paulk et. Al 1993).
Sedan dess har en mängd maturity modeller tillkommit i syfte att stötta utvärdering och förbättring av diverse processer. Trots de oundvikliga fördelar maturity modeller för med sig så går det att finna en del kritik gällande tillämpningen av dem. I denna studie har vi valt att uppmärksamma behovet av ett lättanvänt tillämpningssätt av maturity modeller. För att undersöka det har ett kvantitativt bedömningsverktyg som grundar sig i Nielsen UX maturity model tagits fram.
I studien får fyra företag testa bedömningsverktyget i syfte att se om verktyget anses användbart och underlättar implementeringen av den underliggande maturity modellen. Efter testet har alla respondenter ingått i en kvalitativ undersökning där upplevelsen av verktyget undersökts. Utifrån det framtagna resultatet går det att se en framtida potential och värde i bedömningsverktyget men för att nå dit krävs det först vidareutveckling för att nå upp till vad teorin anser vara användbart.
Kritik som mottagits under studiens gång riktades flera gånger mot val av underliggande maturity model. Flera företag påstod att modellen vara föråldrad och därför sänkte intresset för verktyget.
Däremot menar majoriteten av respondenterna som deltog i undersökningen att de kan se bedömningsverktyget som ett hjälpfullt medel vid implementeringen av maturity modellen men att det återigen behövs vidare utveckling först.
Nyckelord: Användarupplevelse, Användbarhet, Mognadsgrad, Mognadsmodell, Mognadsmodeller med fokus på användbarhet, Nielsens företags UX mognadsmodell
Förkortningar
UX - User experience, UI - User interface, UXMM - User experience maturity model
Innehållsförteckning Innehåll
Innehållsförteckning 5
Tabellförteckning 7
Figurförteckning 7
Förord 8
1. Inledning 1
1.1 Bakgrund 1
1.2 Problemformulering 2
1.3 Syfte 2
1.4 Frågeställning 2
1.5 Avgränsning 2
1.6 Disposition 3
1.7 Forskningsbidrag 3
2 Teori 3
2.1 Användbarhet 4
2.2 User Experience 4
2.3 Capability Maturity Model 5
2.4 Nielsens UX Maturity Model 6
2.5 Tillämpning av maturitymodeller 7
2.6 Bedömningsverktyg 8
2.7 Organisationsteori 8
2.8 Organisatorisk implementering 9
2.9 Indikatorer 9
2.10 Tillämpning av teori 9
3 Metod 11
3.1 Forskningsstrategi 11
3.2 Val av metod 11
3.3 Design Science 12
3.4 Utformning av bedömningsverktyg 12
3.4.1 Tillämpning av Design Science riktlinjer 12
3.4.2 Utformning av intervjuguide - Kvalitativ datainsamling 15
3.5 Metod för dataanalys 15
3.6 Metodreflektion 16
3.6.1 Validitet 16
3.6.2 Reliabilitet 16
3.6.3 Etiska frågor 17
3.7 Urval 17
4 Genomförande/Tillvägagångssätt 18
4.1 Förstudie 18
4.2 Studiens fokus 18
4.3 Framtagning av frågeställning 19
4.4 Planering av verktyg 19
4.5 Indikatorer 20
4.6 Konstruktion av påståenden 20
4.7 Poängsystem 20
4.8 Feedback 21
4.9 Kontakt med företagen 21
4.10 Beskrivning av företag 22
4.11 Genomförande av intervju 23
5 Resultat 25
5.1 Bedömningsverktyg 25
5.2 Hur räknesystemet fungerar 25
5.3 Respondenternas resultat 26
5.4 Placering 26
5.4.1 Företag A 26
5.4.2 Företag B 27
5.4.3 Företag C 28
5.4.4 Företag D 29
5.5 Resultat av kvalitativa intervjuer 29
5.5.1 Respondent A1 29
5.5.2 Respondent B1 30
5.5.3 Respondent B2 31
5.5.4 Respondent C1 31
5.5.5 Respondent D1 och D2 32
6 Analys 33
6.1 Analys av bedömningsverktyget 33
7 Diskussion 36
8 Slutsats 38
9 Metodutvärdering 39
10 Framtida forskning 40
o Källor 40
Bilagor 1
Bilaga 1 bedömningsverktyg 1
Bilaga 2 - Frågeformulär 9
Bilaga 3 - Rättningsmall 10
Bilaga 4 - Indikatorer 11
Bilaga 5 - Kvalitativ intervjuguide 14
Tabellförteckning
Tabell 1 Beskrivning av företag och respondenter ... 23
Figurförteckning
Figur 1 CMM Egen bild ... 6Figur 2 Design science. Egen bild ... 12
Figur 3 Genomförandets faser. Egen bild ... 18
Figur 4 Resultat respondent A1. Egen bild ... 26
Figur 5 Resultat respondent B1. Egen bild ... 27
Figur 6 Resultat figur B2. Egen bild ... 27
Figur 7 Resultat respondent C1. Egen bild ... 28
Figur 8 Resultat respondent D1. Egen bild ... 29
Förord
Vi vill tacka vår handledare som har hjälpt oss genom hela studiens gång. Vi vill också tacka alla företag som deltagit i studien. Hjälpen från er har varit ovärderligt.
1. Inledning
User experience design (UX-design) har på senare år blivit allt mer uppmärksammat och anses vara något som bör tas hänsyn till vid utveckling av nya IT- system (Kambala 2019). I takt med att världen växer och blir en alltmer digitaliserad plats ökar också kraven på användbarhet (Lacerda
& Gresse von Wangenheim 2018). Det räcker inte längre att leverera system med värdefullt innehåll utan människor måste också vilja interagera med systemet för att de överhuvudtaget ska ha en chans på den konkurrenskraftiga marknaden (Kambala 2019).
2019 skriver SVT om hur läroplattformen Hjärntorget efter tio års tid av kritik skrotas på grund av bristande användarvänlighet (SVT 2019a). Svår använt, krångligt och tidskrävande är ord som i artikeln beskriver systemet som slutligen lades ner under våren 2019 (SVT 2019b). Det finns otaliga liknande exempel där företag och myndigheter lagt miljontals kronor på IT-system som i slutändan är helt oanvändbara för de anställda. Enligt SCB:s (2019) undersökning Digitalisering och säkerhet i svenska företag upplever 62% av större företag en otillgänglighet till IT- tjänster.
Samtidigt visar ytterligare statistik att 50% av den tid en utvecklare lägger på att åtgärda problem hade från början kunnat undvikas genom att inkludera UX-design i en tidigare del av utvecklingsprocessen (Finances Online 2020).
Idag finns det ett stort antal olika verktyg som är skapade för att underlätta för verksamheter att förbättra sitt arbete, bland annat finns något som kallas maturity modeller. (Paulk et. Al 1993).
Modellerna används för att mäta vart en verksamhet befinner sig i sitt arbete och var de finns förbättringspotential. En av dessa modeller är Nielsens Corporate UX maturity model som enligt Nathalie Hanson (2017) ger användare ett bra hjälpmedel kring sitt UX arbete men som ironiskt nog är allt för komplicerad att använda för de flesta förutom just UX ledare.
I denna studie kommer därför ett verktyg att skapas med mål att göra användandet av Nielsens model enklare även för personer utan expertkunskap inom UX arbete.
1.1 Bakgrund
Trots att det finns företag liksom Hjärntorget där bristande användbarhet leder till att webbsidor tvingas stänga ner (SVT 2019a, 2019b) så finns det ett flertal personer verksamma inom UXbranschen som menar att ett tidigare agerande hade kunnat öka företag liksom Hjärntorgets möjlighet att överleva. Några av dom är Jung, Kaß, Schramm och Zapf (2017) som påstår att det idag väl känt att användbar design kan leda till ökad kundnöjdhet men också känslor av kvalitét.
Vad som däremot ofta kan ses som ett problem är att många företag kan tro sig veta vad de egentligen inte vet och därför blunda för arbetssätt som behöver optimeras (Tomlin 2018). Tomlin menar därför att företag har mycket att vinna på att sträva efter att optimera sina UX-processer.
I inledningen av denna studie utfördes en förstudie där behovet av att enkelt kunna utvärdera sina UX-processer undersöktes. Alla tre företag som ingick i förstudien uppgav ett intresse för en sådan utvärdering varav det ena företaget även antydde möjligheten som ett behov. Utefter det har vidare undersökning i teori utförts för att se om en teoretiskt grund finns att stå på. Med hjälp av maturity modeller kan ett företag utvärdera hur de tillämpar olika sorters processer (Pino, Baldassarre, Piattini, Visaggio & Rout 2010). I teorin diskuteras det däremot ofta om modellerna faktiskt är så
användbara som de påstår sig vara. Bland annat så kritiserar Proença och Borbinga (2016) kunskapsmängden användaren förväntas besitta för att kunna tillämpa modellen. Att skapa enkla konceptuella modeller är däremot en utmaning menar Röglinger, Pöppelbuß och Becker (2012) och påstår att forskare kämpar för att hitta förbättringar som kan förenkla tillämpningen av maturity modeller. Utifrån förståelsen av vad maturity modeller kan tillföra samt det uppvisade behovet från verksamheterna växte ett intresse för att undersöka alternativa lösningar vidare.
1.2 Problemformulering
Det som går att konstatera efter genomförd förstudie är att flertalet företag i dagens läge upplever problem med att implementera ett utförligt UX arbete genom hela sin verksamhet. Trots att det många gånger finns avdelningar dedikerade för UX arbete så involveras inte avdelningen i alla projekt, eller tillräckligt tidigt i projekten. Företagen som deltog i förstudien bekräftade också att de fanns ett behov att kunna genomföra mätningar på verksamhetens förmåga att arbeta med UX och ett av företagen i synnerhet visade ett stort intresse för ett verktyg som kunde användas för denna typ av mätning.
I teorin går det att läsa om liknande fall, där tidigare forskning pekar på en mängd fördelar med att använda sig av maturity modeller. Däremot är tillämpningen inte alltid är lika enkel då den ofta kräver särskild kompetens och en viss mängd tillgängliga resurser (Proença & Borbinga 2016).
Besitter inte verksamheten “rätt” kunskap eller har tillgång till sådana resurser kan bedömningen av en organisations tillstånd bli rent av felaktig eller omöjlig att genomföra.
Utifrån gjord förstudie samt insamlad teori går det att se en avsaknad av ett lättanvänt verktyg för att placera sin organisation i modellerna. Vi ser det som ett problem och anser därför att området bör undersökas närmare.
1.3 Syfte
Utifrån den funna problematiken har följande syfte för studien tagits fram:
Syftet med uppsatsen är att utveckla och undersöka om ett bedömningsverktyg som grundar sig i Nielsens UX Maturity Modell (UXMM) kan underlätta implementeringen av UXMM i verksamheter.
1.4 Frågeställning
Utifrån syftet har följande frågeställning tagits fram:
o Anser företagen att det framtagna bedömningsverktyget som grundar sig i Nielsens UXMM är användbart? o Uppfattar de undersökta företagen att användandet av bedömningsverktyget kan hjälpa dem att implementera Nielsens UXMM?
1.5 Avgränsning
Då studien kräver att både ett bedömningsverktyg skapas och utvärderas för att kunna besvara frågeställningen kommer enbart en iteration av verktyget att skapas. Frågeställningen kommer framförallt att besvaras med hjälp av den kvalitativa undersökningen och därför ligger inte mer fokus på att ta fram ytterligare iterationer av verktyget.
Trots att frågeställningen i huvudsak besvaras genom den kvalitativa undersökningen kommer mycket tid och resurser gå åt till utvecklingen av bedömningsverktyget för att skapa en så bra
första iteration som möjligt. Detta leder till att enbart fyra verksamheter kommer delta i den kvalitativa studien för att säkerställa att materialet kan bearbetas på ett bra sätt. Ytterligare beskrivning av verksamheterna som deltagit i studien återfinns i genomförande kapitlet.
Intervjuerna kommer också att avgränsas till att hållas online med hjälp av kommunikationsverktyg på grund av de rådande omständigheterna i samhället gällande Covid-19.
1.6 Disposition
Inledningsvis ges en inledning av studien som presenterar uppsatsen och leder läsaren in på undersökningens bakgrund som sedan följs av en beskrivning av problemformulering och tillhörande syfte. Därefter presenteras den teori som studien bygger på för att ge läsaren en förståelse för termer och begrepp som är återkommande under studiens gång. Efter det löper Metod-kapitlet som beskriver planerat tillvägagångssätt och val av metod samt en reflektion av det. Eftersom genomförandet av studien är såpass omfattande har en beskrivning av bedömningsverktygets och intervjuguidens konstruktion och tillvägagångssätt valt att brytas ut i kapitlet genomförande. Därefter presenteras resultatet av det framtagna bedömningsverktyget samt genomförda kvalitativa intervjuer i kapitlet resultat som följs av analys, diskussion och slutsats.
Avslutningsvis beskrivs även framtida forskning för det framtagna bedömningsverktyget.
1.7 Forskningsbidrag
De förväntade forskningsbidraget för denna studie är i huvudsak ett påvisat värde av bedömningsverktyg som stöd till Maturity modeller. Proença & Borbinga (2016) menar att maturity modeller är svåra att använda för verksamheter, förhoppningen är att denna studie skall belysa en metod för att underlätta arbetet med alla maturity modeller inte enbart Nielsens UXMM (2006a, 2006b). Detta skulle bidra med värde till praktiker som får ökad möjlighet att mäta mognadsgraden av sina olika processer. Dessutom bidrar det till området informatik och mer specifikt till User Experience då detta öppnar upp för ett nytt angreppsätt att mäta UX förmåga och även möjligheter att skapa fler bedömningsverktyg för andra maturity modeller.
2 Teori
Teorikapitlet utgör den teoretiska referensram som krävs för att studera studiens valda ämne. För att djupare förstå problemområdet, skapa en artefakt och analysera insamlad data har teori samlats in för att stödja undersökningen. Den teori som ansetts relevant är följande:
● Användbarhet
● User experience
● Capability maturity model
● Nielsens UX maturity model
● Tillämpning av maturity modeller
● Bedömningsverktyg
● Organisationsteori
● Indikatorer
Vidare följer en beskrivning av varje område och därefter avslutas kapitlet med en kort förklaring av vad varje område har använts till under studiens gång.
2.1 Användbarhet
Användbarhet är idag ett omtalat begrepp i forskningsvärlden som ofta beskrivs som en princip med många fördelar (Lacerda & Gresse von Wangenheim 2018). Genom att designa system utifrån användarcentrerad designprocess kan ett företag bland annat minska utvecklingskostnaderna markant eftersom träffsäkerheten gör att misstag minskar och utvecklingsteamet slipper omarbeta i senare steg av systemutvecklingscykeln. Att fokusera ytterligare på användarcentrerad design ger dessutom ett konkurrenskraftigt försprång med ökad vinstmarginal, nöjda kunder och ett
“accepterat” system. Lacerda och Gresse von Wangenheim (2018)
Det finns flera olika definitioner av begreppet användbarhet, i denna studie har två definitioner valts som grund för den analys som skall genomföras.
Internationella standardiseringsorganisationen (ISO) har själva publicerat flera olika definitioner av användbarhet, 2018 släppte de en uppdaterad definition av begreppet som lyder:
"Usability: Extent to which a system, product or service can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use" (ISO 9241–11:2018)
Nielsen (2012) menar att användbarhet kan definieras genom att delas upp i fem olika delar eller kvalitetskomponenter:
● Lärbarhet: Hur lätt det är för användare att utföra grundläggande uppgifter första gången de använder ett gränssnitt?
● Effektivitet: Hur snabbt kan användarna lösa uppgifter när de är vana att använda gränssnittet.
● Förmåga att minnas: När användare återvänder till systemet utan att ha använt de på ett tag, hur bra kommer de ihåg funktionerna i gränssnittet.
● Fel: Hur många fel gör användarna, hur allvarliga är dessa fel och hur snabbt går de att återhämta sig ifrån dem.
● Tillfredsställelse: hur tillfredsställda är användarna när de använder gränssnittet.
2.2 User Experience
Begreppet User experience (UX) kan beskrivas som ett holistiskt sätt att överblicka användarens upplevelse av ett system. Donald Norman är en av de första som använde sig av begreppet UX då han ansåg att begreppet usabillity (användbarhet) var ett alldeles för smalt begrepp att beskriva interaktionen mellan människan och systemen (Lallemand, Gronier & Koenig 2015). Nielsen och Norman beskriver UX som en bred term som refererar till alla interaktioner en användare har med ett företag, dess produkter och dess olika tjänster (Jurca, Hellman & Maurer 2014). Det finns flertalet definitioner av begreppet UX. Då UX handlar om en upplevelse är det ett väldigt subjektivt och svårdefinierat begrepp. Enligt Lallemand et. al (2015) har dock forskare och praktiker kommit överens om att UX är resultatet av tre element, dessa är användaren, systemet och kontexten.
Trots att UX har blivit ett utbrett område råder fortfarande stor förvirring kring begreppet och det är svårt att definiera det på ett tydligt sätt eftersom begreppet är såpass brett. UX blandas ofta ihop med User interface (UI), något som Norman och Nielsen (u.å) tar upp i sin text The definition of User experience. De menar att trots att UI är en stor del av UX är de väsentligt att särskilja dem
båda. För att tydliggöra vikten av UX ger de ett exempel i sin text på en hemsida som är till för att hitta filmrecensioner. Trots att interfacet på hemsidan är felfritt kan användarupplevelsen (UX) vara dålig om användaren vill hitta indie filmer men sidans databas enbart innehåller storfilmer.
Norman och Nielsen (u.å) hävdar att första steget för att uppnå bra user experience är att uppfylla kundens exakta behov och förväntning och därefter se till att produkten är simplistisk elegant och rolig att använda. De menar också att UX går långt förbi att enbart ge användaren vad de säger att de vill ha och för att lyckas med detta krävs ett samarbete mellan flera discipliner inom företag.
2.3 Capability Maturity Model
Capability Maturity Model (CMM) är ett ramverk som skapades för att hjälpa utvecklare att öka mognaden av sina mjukvaruprocesser. För att förstå denna modell är de först viktigt att förstå vad en mognadsnivå innebär. Mognadsnivåer (maturity level) används för att beskriva olika karaktäriserade drag av processers tillämpning- och angreppssätt (Pino et .al. 2010).
Beskrivningarna av vad som kännetecknar respektive mognadsnivå kan tillsammans skapa en strukturerad mognadsordning som gemensamt utgör en mognadsmodell (maturity model). De karaktäriserade drag som presenteras i varje nivå erbjuder företag en möjlighet att analysera och värdera sitt beteende i syfte att kunna identifiera vilken av nivåerna som efterliknar ens företags beteende mest. Med hjälp av mognadsnivåerna kan verksamheter sedan använda nivåerna för att på ett systematiskt och strukturerat sätt utveckla och förbättra organisationens processer. (Pino et.al. 2010)
Framtagningen av CMM ramverket påbörjades 1986 av Software engineering group (SIE) och kallades från början process-maturity framework (Paulk et. Al 1993). Watt Humpfrey vidareutvecklade sedan detta i sin bok Managing the Software process och tillsammans med SEIs fortsatta arbete utvecklades modellen sedan in till vad som blev den första Capability maturity modellen (CMM). Modellen består av 5 mognadsgrader eller nivåer som alla har processmål som skall uppfyllas för att man skall kunna gå vidare till nästa steg i modellen. Figur 1 visar en modell av hur CMM från början var utformat. Efter att SEI skapade den första capability maturity modellen har de tillkommit ett stort antal modeller med samma typ av uppbyggnad som har anpassat efter andra områden.
Figur 1 CMM Egen bild
2.4 Nielsens UX Maturity Model
Maturity modellen som kommer att användas i denna studie är framtagen av Jakob Nielsen (2006a 2006b). Nielsens UX maturity modell (UXMM) bygger på 8 steg som förklarar en organisations mognad. Vilket innefattar i vilken utsträckning ett företag implementerar processer i syfte att uppnå ett utsatt mål (Lacerda & Gresse von Wangenheim 2018). Utifrån modellen kan en organisation identifiera var i modellen de befinner sig och vad som krävs för att ta organisationen till nästa steg. Genom att applicera en maturity modell menar flera forskare att företag kan finna verktyg och riktlinjer för att närma sig ett mer användarcentrerat arbetssätt samtidigt som de tar sig högre upp i modellen (Lacerda & Gresse von Wangenheim 2018).
Här följer en kortfattad förklaring av vad det innebär att befinna sig i det olika stegen av Nielsens UXMM. (Nielsen 2006a, 2006b)
Steg 1 Hostility towards usability. I detta stadie har man inget intresse av användaren och de behov användaren har. Allt fokus ligger på att skapa funktioner och vad användaren tycker är meningslöst! För att ta sig ur detta steg behöver det finnas en vilja att förändras.
Steg 2 Developer-centered UX. Här har man insett att det finns ett värde i att göra design enklare och anpassade efter människan. Dock använder man sig enbart av utvecklarnas egna kunskaper om vad som är enkelt att använda. En stor nackdel med detta är att de flesta utvecklare har en högre teknisk förmåga än den slutgiltiga användaren och det är därför lätt att de inte blir användbart för målgruppen ändå. Detta måste företaget förstå för att kunna komma vidare till steg 3.
Steg 3 Skunkwork UX. I detta steg har företaget insett att de egna utvecklarna har en alltför hög teknisk kompetens för att kunna representera en normal användare, dock väljer många fortfarande att strunta i att samla in data. Det kan finnas vissa undantag inom företaget av grupper som genomför mindre tester, dock finns det ingen dedikerad budget för UX arbetet. För att ta sig vidare till nästa steg behöver UX arbetet bevisa att de leder till bättre resultat.
Steg 4 Dedicated UX budget. Har företaget kommit så långt som till steg 4 är UX något som företaget aktivt börjar planera för och det finns en egen dedikerad budget för UX arbetet. Det finns dessutom en eller ett par UX experter inom företaget. Användartester är den metod som används mest och det kommer ofta in väldigt sent i utvecklingsprocessen.
Steg 5 Managed usability. Här finns en dedikerad grupp som arbetar med UX, de har en ansvarig i gruppen som har de slutgiltiga ansvaret för UX arbetet i hela företaget. De tar fram metoder för hela företaget så att UX arbetet blir konsekvent oavsett vart man befinner sig i företaget. Den ansvariga UX managern behöver visa affärsnyttan av UX arbete för resten av de ansvariga inom företaget för att det skall bli möjligt att ta sig vidare till steg 6.
Steg 6 Systematic UCD process. User centered design (UCD) här har företaget förstått vikten av att involvera användaren genom hela processen. Undersökningar kring användares krav genomförs tidigt i processen och företaget arbetar med en iterativ designprocess. Dock är de störst fokus på de större projekten i företaget, för att komma vidare till nästa steg behöver hela verksamheten inse att UX är en del av deras arbete och inte enbart för de stora projekten i företaget.
Steg 7 Integrated UCD. I steg 7 påverkar användardata hela utvecklingen, redan i
uppdragsbeskrivning och kravinsamling använder man sig av användarinput för att säkerställa en bra design. Det finns specifika designmål för alla projekt och de krävs att dessa uppnås för att man skall godkänna en leverans.
Steg 8 User driven Corporation. En användardriven verksamhet är det slutgiltiga målet i Nielsens model och det beskrivs som “UX nirvana” där alla beslut som tas i företaget är baserat på data från användare.
2.5 Tillämpning av maturitymodeller
Som tidigare nämnt utgörs maturity modeller av ett antal nivåer som kännetecknar olika mognadsgrader. Dessa nivåer kan därför användas av verksamheter för att identifiera var i modellen de befinner sig (Proença & Borbinga 2016). Maturity modeller kan beskrivas som en känd och etablerad konceptualisering av en komplex verklighet. För att placera sin verksamhet i en modell krävs därför en god förståelse av modellens olika nivåer men också en objektiv och välorienterad verklighetsbild av sin egen verksamhet. Bedömningsprocessen beskrivs många gånger som komplex där en viss kompetens krävs för att kunna ta till sig och använda sig av de metoder och som ingår i modellen. Det kan därför bli kostsamt att tillämpa maturity modeller om sådan kompetens inte redan finns inom verksamhet. I de flesta fall presenteras ett tillvägagångssätt i samband med en maturity modell. Generellt sett ingår det då en plan där vilka som bör vara involverade, nödvändiga dokument och en guide över vad för bevis som bör samlas in ingår.
Gruppen som valts ut för att utföra bedömningen följer planen i syfte att beräkna var i modellen de befinner sig. Bedömningen kan sedan användas som underlag vid planering för kommande förbättringar. (Proença & Borbinga 2016).
2.6 Bedömningsverktyg
Söker man efter en definition för bedömningsverktyg (på engelska kallat assessment tool) dyker en mängd likartade definitioner upp. På Gallaudet Universitys (2020) hemsida ges definitionen för assesment tool som “the instrument (form, test, rubric, etc.) that is used to collect data for each outcome. The actual product that is handed out to students for the purpose of assessing whether they have achieved a particular learning outcome(s).” (Gallaudet University 2020). Genom att följa en bedömningsmetod vet användare dessutom när och hur han eller hon kan använda bedömningsverktyget (Gallaudet University 2020)
Som tidigare nämnt påstår Proença och Borbinga (2016) att de bedömningsmetoder som medföljer en maturity modell sällan går att tillämpa i alla verksamheter då verksamheter inte alltid besitter den kunskap eller resurser som krävs för att praktisera modellen. Istället presenterar Proença och Borbingaen ny lösning i form av ett automatiserat bedömningsverktyg. Genom att visualisera maturity modellerna med hjälp av ett modelleringsverktyg liksom UML eller BPMN menar Proença och Borbinga att det går att presentera ett förenklat tillvägagångssätt. Det förenklade bedömningsverktyget grundar sig i en ontologisk analys där de annars komplexa bedömningsmetoderna bryts upp och förenklas för de personer som ska utöva modellen.
2.7 Organisationsteori
Organisationsteori handlar kort sagt om hur företag organiserar strukturerar och styr sin verksamhet. Det är ett vida utforskat område med flera olika teorier och angreppssätt, i denna studie inkluderas enbart en av dessa teorier.
Henry Mintzberg är ett stort namn inom organisationsteorin och i boken Structure in fives (1983) diskuterar Mintzberg bland annat olika sätt att strukturera en verksamhet. Mintzberg påstår att det finns 5 vanliga strukturer som verksamheter normalt kan delas upp i. Vidare följer en kort förklaring av de 5 strukturerna.
Enkel struktur infinner sig ofta i mindre verksamheter som nyligen har börjat växa eller medelstora företag. Organisationerna med enkel struktur styrs av ett direktstyre och är centraliserade. (Eriksson-Zetterquist U., Kalling T., Styhre A, 2015) Att en organisation är direkt styrd innebär att varje enskilt moment som skall utföras sker på kommando från en högre chef i organisationen. En hög centralisering innebär att makten i organisationen ligger högt upp i organisationen Eriksson-Zetterquist et.al (2015) uppger militära organisationer som ett exempel på hög centralisering där all makt finns hos den övre befälhavaren.
Maskinbyråkrati återfinns normalt i producerande organisationer, där teknostrukturen är viktigt då den påverkar arbetsmetoder ansvar för styrning samt utvecklar produkter och processer.
Maskiner samt fastigheter är av stor vikt då dessa påverkar hur arbetet utformas.
(ErikssonZetterquist et.al 2015) Teknostruktur är vad Mitzberg kallar en stabsfunktion med syfte att stötta den operativa kärnan i en organisation med exempelvis planering, forskning och även utveckling. (Eriksson-Zetterquist et.al 2015)
Professionell byråkrati återfinns i organisationer där den så kallade operativa kärnan är de viktigaste inom organisationen. Den operativa kärnan är den personal som utför arbetet i organisationen, exempel på organisationer med Professionell byråkrati är enligt ErikssonZetterquist el.al (2015) sjukhus och revisionsbyråer.
Divisionsstruktur. Organisationer som har en divisionsstruktur kännetecknas av en bred kundbas eller flera olika produkter, vilket innebär att organisationen behöver delas in i ett flertal olika avdelningar eller divisioner. De olika delarna av organisationen har sin egen chef som har de huvudsakliga ansvaret för daglig drift av avdelningen, alla dessa mellanchefer svarar sedan till ledningen för organisationen. (Eriksson-Zetterquist et.al 2015)
Adhokrati är den sista av Mintzbergs strukturer, denna struktur kännetecknas av den stora vikt stödfunktionerna har för organisationen. De används ofta i tillfälliga projekt inom organisationer där man får in kompetenser och funktioner i projekten. Ett exempel som Eriksson-Zetterquist et.al (2015) menar är vanligt när man talar om Adhokrati är Nasas Apolloprojekt där man skulle genomföra ett uppdrag en gång, nämligen att landa en människa på månen och sedan lyckas få hem henne. Under detta projekt skapades ett tillfälligt nätverk av entreprenörer och personal från Nasa för att uppnå detta mål.
2.8 Organisatorisk implementering
Implementering innebär att förverkliga eller genomföra något (Socialstyrelsen 2013). I en organisation blir detta en viktig del då man ser till en verksamhets förmåga att förändras. Enligt Socialstyrelsen (2013) är det som avgör en verksamhets förändringsförmåga hur organisationen arbetar med förändringsprocesser samt implementering. De menar också att en organisation bör ha en fastställd process för hur ett förändringsarbete bör genomföras samt utvärderas, dock är det vanligt att denna typ av process saknas i verksamheter.
2.9 Indikatorer
Till skillnad från ordet mått som innebär direkt tecken på något så innebär ordet indikator indirekt tecken på något (Socialstyrelsen 2013). En indikator är en indikation på att förhållanden finns (Myndigheten för kulturanalys 2012). En indikator kan exempelvis vara ett påvisande som uppmanar till att vissa åtgärder kan behövas vidtas om särskilda omständigheter sker.
Användningen av indikatorer behöver däremot inte innebära att det indikerade sambandet är en absolut sanning, utan bör ses som ett tecken på ett samband som behöver undersökas vidare. När definitioner om måluppfyllelse ska betecknas kan indikatorer komma väl till hands. Genom att välja ut indikatorer blir det lättare att på ett entydigt sätt mäta om något eller någon uppfyllt målet.
2.10 Tillämpning av teori
Teorin som har presenterats i detta kapitel har haft två huvudsakliga syften, de första var att skapa en grund att basera analysen på medan den andra var att skapa förutsättningar för att ta fram de verktyg som studien syftar till att skapa och utvärdera. Här följer därför en kort beskrivning av vad varje teoriområde har använts till under studiens gång.
Användbarhet används genom studien främst för att möjliggöra en bra analys med teori som grund för att besvara den frågeställning som studien syftar till att besvara.
User experience har som syfte att ge läsaren en bakgrundsförståelse för området och precis som användbarhet möjliggöra en bra analys.
Capability maturity model syftar också till att ge en bakgrundsförståelse för området och möjliggöra framtagning av de verktyg som skapats.
Nielsens UX maturity model, Tillämpning av maturitymodeller, bedömningsverktyg och indikatorer har alla som syfte att möjliggöra framtagningen av bedömningsverktyget.
Organisationsteori har använts som grund för urvalet av de företag som deltagit i studien och dessutom som bas för analysen för att undersöka huruvida organisationens uppbyggnad kan påverka resultatet.
3 Metod
I detta kapitel följer en beskrivning av metodiken som har använts i denna studie. Först motiveras valet av metod, därefter en detaljerad beskrivning av den metod som har valts, avslutningsvis följer en beskrivning av hur metodiken har applicerats i detta arbete.
3.1 Forskningsstrategi
För att besvara studiens frågeställning har både teori och empiri samlats in. Studien strävar på så vis efter att tillämpa en abduktiv ansats, vilket kan beskrivas som en kombination av en deduktiv- och induktiv ansats (Patel & Davidson 2015). En studie med abduktiv ansats tar sin utgångspunkt i enskilda empiriska fall som sedan leder till att området undersöks vidare i teorin innan frågeställningen prövas i ytterligare insamlad empiri. I denna studie har en sådan utgångspunkt tagits ur en förstudie där enstaka företag bidragit med kunskap om ett behov. Vidare har behovet undersökts i teorin för att skapa underlag för studien samt kunna skapa en användbar artefakt. För att undersöka studiens frågeställning utgör den insamlade teorin en teoretisk grund som både används för att klargöra definitioner av återkommande begrepp och för att styrka och ifrågasätta den insamlade empirin. Den insamlade empirin är avsedd att tillsammans med teorin besvara frågeställningarna utifrån hur de fyra deltagande företagen upplever användandet av bedömningsverktyget. Utifrån gjord studie ska slutsatsen sedan bidra till fortsatt forskning i form av en utvecklad teori (Patel & Davidson 2015), vilket denna uppsats har som ambition att göra.
3.2 Val av metod
Då syftet med studien är att utveckla och undersöka om ett bedömningsverktyg som grundar sig i Nielsens UXMM kan underlätta implementeringen av Nielsens ramverk, så behöver metoden som används vara anpassad för skapandet av samt utvärdering av denna typ av verktyg.
En metod som uppfyller dessa kriterier är Design Science. Design science är enligt Hevner, March, Park och Ram (2004) en metod vars syfte är att lösa problem genom innovativa lösningar. Design Science består av ett antal riktlinjer för att underlätta framtagningen av artefakter och hur en studie som strävar efter att skapa en artefakt eller i detta fall ett verktyg bör gå tillväga. Dessutom talar Hevner et.al (2004) om vikten att genomföra en utförlig utvärdering av den artefakt som skapas när man arbetar med Design Science.
Precis som Design Science rekommenderar är syftet för denna studie taget ur praktiken med hjälp av en förstudie där målet har varit att skapa ett verktyg som skall underlätta för företag att applicera Nielsens UXMM. För att göra detta krävdes ett stöd från metoden som Design Science erbjöd.
Därmed ansågs Design Science vara en lämplig metod då metoden erbjuder ett tydligt arbetssätt genom hela processen som detta arbete kommer att genomgå. Både då de gäller framtagandet av själva verktyget och även under utvärderingsfasen.
Av denna anledning har vi under genomförandet strävat efter att följa Design Science och dess riktlinjer i den mån det har varit möjligt och rimligt under skapandet och utvärderingen av bedömningsverktyget. Riktlinjerna har till olika grad gått att applicera. I kommande stycke följer en utförlig beskrivning av området Design Science och dess riktlinjer, och därefter hur dessa har applicerats för just detta arbete.
3.3 Design Science
Design Science är enligt Hevner, March, Park och Ram (2004) en metod vars syfte är att lösa problem och bidra med innovativa lösningar för en ökad effektivitet hos företag. Design Science används ofta vid framtagning av nya artefakter där en samling guidelines eller riktlinjer erbjuds för en strukturerad framtagning och utvärdering av artefakten. Tillsammans med behavioral science utgör Design Science en sammanlänkad undersökningscykel (Hevner, Chatterjee 2010).
Eftersom teknik och beteende är oskiljaktiga i ett informationssystem är det viktigt att förstå deras påverkan på varandra för att kunna identifiera och hantera problem som kan komma att drabba den framtagna artefakten. Efter tillämpning av design science ska det gå att besvara två grundläggande frågor; Vad för användbarhet bidrar den nya artefakten med? och hur demonstreras det genom artefakten? Om svaret på någon av frågorna antyder att en bristande användbarhet eller förmedling av den avsedda användbarheten saknas så menar Hevner et. al (2004) att artefakten inte fyller något ändamål och därför strider den också mot Design Science fundamentala syfte; Att leverera en artefakt som både är meningsfull och löser ett känt organisatoriskt problem. I figur 2 går det att se en abstraherad överblick över de delar som ingår i designprocessen med hjälp av Design science.
Utifrån den utvecklingsprocess som design science förespråkar har de sju riktlinjerna tagits fram.
Riktlinjerna är till för att bidra med en förenklad förståelse för hur designprocessen bör gå till för en effektiv konstruktion av artefakten. Hevner et al. poängterar dock att användningen av riktlinjerna bör användas i kombination med kreativt tänkande och med eget omdöme samt avråder personer från att följa riktlinjerna i en kronologisk följd. Det är framförallt eftersom alla utvecklingsprojekt kräver att riktlinjerna appliceras vid olika tillfällen under utvecklingens gång.
Figur 2 Design science. Egen bild
3.4 Utformning av bedömningsverktyg
För att ta fram en genomtänkt och noga framtagen artefakt var ambitionen att tillämpa Hevner et.
al.s sju riktlinjer. Genom att följa riktlinjerna säkerställdes det bland annat att rätt förståelse erhölls för problemområdet men också hur artefakten skulle konstrueras, utvärderas och kommuniceras.
Vidare följer nu en beskrivning av hur vi gick tillväga för att ta fram och utvärdera det framtagna bedömningsverktyget med hjälp av Hevner et. al.s sju riktlinjer och Nielsens UXMM.
3.4.1 Tillämpning av Design Science riktlinjer
Riktlinjerna som följer är alla hämtade ur Design Science in Information Systems Research (Hevner et. al 2004)
Riktlinje 1: Ta fram en artefakt.
Riktlinje 1 handlar om vikten av att producera en artefakt i form av en konstruktion, metod, modell eller instansiering.
Den artefakt som valts att ta fram är ett bedömningsverktyg i syfte att på ett användbart sätt kunna främja användandet av Nielsens UXMM. Konstruktionen av artefakten skedde under endast en iteration där ett antal indikatorer identifierades för att sedan formuleras till frågor. Därefter sattes ett räknesystem ihop utifrån framtagna frågor samt en layout för verktyget. En bedömningsfeedback som grundar sig i de framtagna indikatorerna samt användarens resultat togs fram i syfte att kunna leverera värdeskapande förändringsförslag. Konstruktionen av artefakten samt metoder som använts beskrivs mer i detalj under genomförandekapitlet.
Riktlinje 2: Problem Relevans
Riktlinje 2 syftar till att artefakten som tas fram grundar sig i ett relevant verksamhetsproblem.
Att användandet av maturity modeller kan bidra med en ökad förståelse för en verksamhet mognadsgrad är något som går att läsa om i ett flertal tidigare undersökningar. Men liksom Proença och Borbinga (2016) påpekar i artikeln Methods and Techniques for Maturity Assessment så gäller det inte för alla. För att kunna tillämpa en Maturity Modell gäller det att verksamheten har den kunskap och de resurser som krävs för att kunna ta till sig och utvärdera de metoder som ingår.
Utifrån vår förundersökning har vi fått kunskap om att en del mellanstora verksamheter sällan har fler än ett litet antal anställda verksamma inom UX-avdelningen. Skulle de anställda inte besitta den kompetens som krävs för att använda en Maturity Modell blir ett annars hjälpsamt verktyg plötsligt väldigt ohjälpsamt eller i värsta fall fel använt (Proença & Borbinga 2016). Utifrån den genomförda förstudien går de att konstatera att flertalet verksamheter upplever problem med att mäta sin förmåga kring UX och att användning av maturity modeller är obefintlig bland de undersökta företagen. Därmed syns ett tydligt behov bland praktiker för ett lättanvänt bedömningsverktyg som kan förenkla användandet av maturity modeller.
Riktlinje 3: Design utvärdering
Enligt design science tredje princip är det av stor vikt att genomföra utvärderingar av artefaktens kvalitet, effektivitet och användbarhet för att säkerställa att artefakten uppfyller de krav som ställs.
Hevner et.al (2004) ger ett flertal exempel på olika tillvägagångssätt för att genomföra utvärderingar. Hevner tar upp observation i form av fallstudier och fältstudier. Analytisk utvärdering genom att studera de olika statiska kvaliteterna av artefakten. Experimentell utvärdering vilket innebär en utvärdering i en kontrollerad miljö där man studerar usability bland annat. Han tar också upp Testning (blackbox och whitebox) och avslutningsvis nämner han också Beskrivande utvärderingsmetoder.
Den metod som har använts i denna studie är i huvudsak Observation. Användandet av bedömningsverktyget har studerats i verksamheter. Genom att låta ett antal verksamheter använda sig av verktyget och observera deras reaktioner och resultat. Utöver observationerna genomfördes också kvalitativa intervjuer med de respondenter som fick använda sig av bedömningsverktyget.
Detta gjordes för att kunna avgöra vilka delar av bedömningsverktyget som uppfyllde de tidigare definierade kraven som sattes upp för verktyget. Se stycke 3.4.2 för en utförlig beskrivning kring hur den kvalitativa utvärderingen togs fram.
Riktlinje 4: Undersökningens bidrag
Hevner et. al (2004) uppger också att det är ett krav att forskning som genomförs med Design science måste ge ett tydligt bidrag till forskningen i form av något nytt antingen genom en designartefakt, designfundament eller i designmetodologi.
I denna studie var det avgörande att bekräfta att de inte redan fanns liknande bedömningsverktyg som användes för att underlätta arbetet med Nielsens UXMM. Då detta skulle innebära att de bidrag som undersökningen hade som mål att bidra med inte skulle fylla någon funktion och då heller inte komma med något bidrag till forskningsområdet. För att säkerställa detta genomfördes utförliga sökningar i flertalet databaser i försök att hitta liknande forskning. Utöver sökningarna var förstudien som genomförts till stor nytta för att avgöra att studien skulle bidra med en relevant artefakt då flera företag uppvisat ett intresse för bedömningsverktyget.
Riktlinje 5: Undersökningens utförlighet
Riktlinje 5 främjar att den forskning och de metoder som undersökningen grundar sig i bör vara vedertagen och rigorös för både konstruktionen och utvärderingen av artefakten.
Vid framtagning av bedömningsverktyget har endast en iteration av artefaktens gjorts. Det är framförallt eftersom uppsatsens frågeställning i huvudsak besvaras genom den kvalitativa intervjustudien och har lett till att den kvalitativa undersökningen därför fått ta upp en större del av studiens tid. Genom att även följa Hevner et al.s sju riktlinjerna var ambitionen att möjliggöra en genomtänkt och utförlig grund till artefakten. Ytterligare metoder som tillämpats kommer presenteras under kapitlet Genomförande.
Riktlinje 6: Design som en sökprocess
I riktlinje 6 talar Hevner et.al (2004) om att design är en iterativ sökprocess som skall leda till den mest effektiva artefakten för att lösa de problem som designen syftar till att åtgärda.
Då detta arbete har som mål att konstruera verktyget under enbart en iteration så är riktlinje 6 inte något som har tagits i åtanke i någon större utsträckning. Dock blir utveckling av ett verktyg ofta en iterativ process precis som Hevner menar. Vilket har lett till att även denna process genomgått iterativa förändringar. Då processen genomgått flera steg som alla bidragit till att förbättra det verktyg som skapats. Genomförande kapitlet ger en beskrivning av hur denna process att få fram verktyget har gått till.
Riktlinje 7: Kommunikation av undersökning
Riktlinje 7 syftar till att den genomförda undersökningen behöver kunna kommuniceras ut till teknikorienterade såväl som ledningsorienterade målgrupper.
Genom att skapa ett bedömningsverktyg som siktar till att vara tillräckligt lättanvänt att de flesta inom en IT-organisation kan tillämpa den, är målet att nå en större teknikorienterad målgrupp där fler än endast experter inom UX finns. Eftersom studiens riktar sig till företag med varierande storlek gjordes valet att enbart rikta kommunikationen mot roller inom UX och roller med nära kontakt till UX arbete. Då verktyget endast utvecklats under en iteration valde vi att bortse från att komma i kontakt med strategiska chefer inom företagen. Däremot kommuniceras en utförlig beskrivning av verktyget vidare genom denna studie för att i framtiden förhoppningsvis kunna vidareutvecklas och därigenom kunna kommuniceras ut till en större målgrupp.
3.4.2 Utformning av intervjuguide - Kvalitativ datainsamling
För att ny teknik och kunskap ska kunna bidra till ökad effektivitet och värde för ett företag är det viktigt att en produktiv tillämpning av den framtagna artefakten går att förmedla till organisationen (Hevner et. al 2004). Vid framtagandet av verktyget tillfrågades fyra företag att testa verktyget för att sedan i en kvalitativ intervju undersöka hur väl placeringen stämmer överens med företagens egen uppfattning om sin placering. Först skapades en intervjuguide för att på så sätt kunna genomföra flera jämförbara intervjuer (Trost 2014). Dessa intervjuer hölls semistrukturerade då teorin liksom Trost varnar för att använda sig av en alltför detaljerad intervjuguide eftersom detta riskerar att göra intervjun opersonlig. Det som menas med en semistrukturerad intervjuguide är att ett antal fördefinierade frågor skapas som grund att utgå ifrån, under intervjutillfällena lämnades plats för ytterligare följdfrågor. Detta för att inte riskera att missa intressant information som företagen själva funderat över men som inte passade in i några av de fördefinierade frågor som skapats inför intervjutillfällena. Standardiseringen på intervjuguiden hölls relativt låg för att minimera risken att tappa flödet under intervjuerna (Patel & Davidson 2015).
För strukturering av frågorna i intervjuguiden användes studiens två frågeställningar som rubriker i den kvalitativa intervjuguiden. Under dom formulerades frågor med ambition att kunna få svar på frågeställningarna. Själva frågeställningen synliggjordes aldrig för användarna.
När arbetet med verktyget påbörjades togs fyra grundprinciper eller krav fram för hur verktyget skulle fungera. Dessa är som tidigare nämnt att verktyget skall vara enkelt att använda, icke tidskrävande, mätbart och återanvändbart. Dessa fyra principer eller krav blev därför ett stort fokus när intervjuguiden skapades. Det var viktigt att förstå om företagen ansåg att verktyget uppfyllde dessa krav och om de inte gjorde det var de av vikt att förstå vad som kunde förändras och förbättras för att på ett bättre sätt uppfylla kraven. Detta dokumenterades under intervjuerna för att därefter skapa en sammanställning av vad för förändringar som hade varit rimliga att genomföra inför en ytterligare iteration av verktyget. Vidare beskrivning om hur intervjuerna genomförts återfinns i genomförande kapitlet.
3.5 Metod för dataanalys
Trost (2014) förklarar arbetet med analys av kvalitativ data som tre steg där intervjuaren (1) först samlar in data, (2) analyserar den för sig själv för att (3) avslutningsvis gå igenom insamlat material. I denna studie har den kvalitativa datan samlats in med hjälp av ljud- och bildinspelningar där varje enskild respondent får svara på frågor samtidigt som resultatet från tidigare gjord bedömningsanalys visas. I kombination med inspelningarna skrevs även ord ner som i stunden ansågs viktiga som svar under frågorna i intervjuguiden. Orden användes sedan som underlag för att intervjuare enskilt skulle kunna reflektera över intervjun i efterhand innan insamlat material sedan gick igenom och granskades. Till slut användes det inspelade materialet för att presentera respondenternas svar i resultatet. Eftersom intervjuguidens frågor var utformade och kategoriserade ut efter studiens två frågeställningar så blev det enkelt att plocka ut väsentlig information i resultatet. Ingen ytterligare transkribering eller behandling av det inspelade materialet gjordes då det inte ansågs tillföra något för denna studie.
Den insamlade kvantitativa datan användes i huvudsak för att placera verksamheter i Nielsens UXMM. För att samla in datan användes attitydskalor där användaren kunde svara på en skala från 1 till 5. Den kvantitativa datan lät vi sedan analyseras med hjälp av det egenutvecklade bedömningssystemet. En mer detaljerad beskrivning om hur bedömningssystemet togs fram ges i kapitlet genomförande.
3.6 Metodreflektion
I detta avsnitt kommer tillvägagångssättet för insamlingen av data att diskuteras samt etiska förhållningspunkter. Avslutningsvis kommer studiens urval att presenteras i kombination med strategin för urvalet.
3.6.1 Validitet
Validitet är ett mått på hur väl datan som samlats in i en undersökning mäter det vi avser att mäta (Recker 2013). Genom att definiera vad som ska undersökas kan verktyg konstrueras i syfte att mäta undersökningsområdet (Patel och Davidson 2015). Huruvida väl verktyget mäter undersökningsområdet indikerar på så vis verktygets validitet. I denna studie har ett bedömningsverktyg utformats för att bedöma en verksamhets mognadsgrad. Hur väl verktyget faktiskt mäter mognadsgraden är därför avgörande för att bedömningsverktyget ska uppfylla sitt ursprungliga syfte. För att försäkra sig om att ett verktyg uppfyller en viss validitet presenterar Patel och Davidsson (2015) två tillvägagångssätt för att mäta innehållsvaliditeten och den samtidiga validiteten.
För att mäta innehållsvaliditeten kan en logisk analys utföras. Den grundar sig oftast i den teoretiska bakgrunden som en undersökning många gånger bygger på. Ur teorin går det att identifiera viktiga begrepp som sedan undersöks vidare för att slutligen formuleras till mätbara frågor. I denna undersökning har en sådan analys tillämpats där både analys av tidigare teori gjorts, indikatorer identifierats, och frågor formulerats. Alla delar beskrivs mer utförligt i kapitlet genomförande.
För att mäta den samtidiga validiteten kan ytterligare kriterium eller instrument tas till hjälp för att mäta om liknande utfall skulle ske i en annan studie (Patel & Davidson 2015). I denna studie har inget ytterligare instrument tagits till hjälp men en uppföljningsintervju har utförts där användarna har fått berätta om sina synpunkter om verktyget. Under intervjun har även användarens egen uppfattning om företagets mognadsgrad undersökts för att se om den stämmer överens med vad som bedömts med hjälp av bedömningsverktyget. Mer om det går att läsa i genomförande samt resultat-kapitlet.
3.6.2 Reliabilitet
Reliabilitet avser det framtagna verktygets tillförlitlighet (Patel & Davidson 2015). Genom att mäta ett verktygs reliabilitet undersöks resultaten som verktyget presenterar och om det är konsekvent samt går att uppnå vid ytterligare mätningar (Recker 2013). Det finns många orsaker som kan komma att påverka att en undersökning mäter fel och därav får lägre reliabilitet (Patel & Davidson 2015). Exempelvis kan det bero på svagheter hos verktyget, bristande kunskap hos intervjuaren men också faktorer som vi inte har någon kontroll över. Sammanfattningsvis är ett reliabelt verktyg ett verktyg som innehåller så få felvärden som möjligt och strävar efter sanningen. För att mäta ett verktygs fullständiga reliabilitet behöver statistiska instrument tillämpas (Patel & Davidson 2015).
I denna studie har de valts att inte tillämpa sådana instrument då frågeställningen främst besvaras genom insamlad data från den kvalitativa intervjun. Valet sänker på så vis bedömningsverktygets reliabilitet men förutsätter att sådana instrument tillämpas vid framtida iterationer av utvecklingen.
De kvalitativa intervjuer som genomförts gjordes däremot som en första utvärdering av bedömningsverktyget. En mer utförlig kvantitativ utvärdering med statistiska instrument är en naturlig fortsättning som går att arbete vidare på i framtiden. För att säkerhetsställa att den
insamlade datan i den kvalitativa intervjun håller en hög reliabilitet har ett mått som kallas interbedömarreliabilitet tillämpats. Det innebär att två observatörer används vid samma tillfälle i syfte att säkerhetsställa att den insamlade datan blir så korrekt som möjligt (Patel & Davidson 2015). Intervjuerna har även spelats in för att minska risken för felvärden.
Eftersom bedömningsverktyget är utformat som ett kvantitativt frågeformulär där korrekta svar är nödvändiga för en korrekt och giltig bedömning är det viktigt att frågorna är utformade på ett lättförståeligt vis (Recker 2013). För att testa det förespråkar Patel och Davidsson (2015) att personer som tillhör samma yrkesgrupp bör testa verktyget i syfte att se att inga missförstånd kan ske. Med hjälp av personer verksamma inom IT-branschen testades verktyget i förväg i form av en pilotundersökning (Eliasson 2013). Detta beskrivs närmare i det nästkommande kapitlet genomförande. Då de flesta som deltog i undersökningen har en bakgrund inom UX var det viktigt att minimera risken att deltagarna svarar som de vill arbeta med UX istället för hur de faktiskt arbetar. För att motverka felaktiga svar utan att låta intervjuareffekt påverka resultatet formulerades en kortare introduktion som alla deltagare fick ta del av innan bedömningen påbörjades. Anledningen till det var att uppmana alla deltagare om hur undersökningen kan gynna dem om de väljer att svara så ärligt de kan om deras nuvarande arbetssätt.
3.6.3 Etiska frågor
Målet med all forskning är att ta fram trovärdig information som gynnar forskningsarbetet men också samhället (Patel & Davidson 2015). För att säkerhetsställa att all datainsamling följer etiska regler har en noga övervägning av etiska aspekter gjorts. I studien har de fyra grundläggande etiska reglerna som beskrivs i boken forskningsmetodikens grunder (Patel & Davidson 2015) följts. Där ingår (1) Informationskravet som innebär att alla inblandade har rätt till att en fullständig förståelse för forskningsarbetets syfte. (2) Samtyckeskravet innebär att alla deltagare har rätt till att välja om de vill medverka eller inte. (3) Konfidentialitetskravet innebär att vi kommer försäkra alla deltagare om fullständigt konfidentialitet. I denna studie kommer alla deltagare presenteras som anonyma såvida någon form av identifierbarhet inte tillför något som inte kan uppnås med endast anonymitet. Om så är fallet kommer alla deltagare att frågas först samt informeras om konfidentialitetskravet. Andra personuppgifter och känsliga uppgifter kommer förvaras utan åtkomst för obehöriga. (4) Nyttjandekravet innebär att all insamlat material endast kommer användas i forskningssyfte. Innan företagen deltar i undersökningen kommer de att informeras om alla de etiska reglerna.
3.7 Urval
För att avgränsa arbetet var ambitionen att undersöka fyra medelstora företag där alla har en mindre UX-avdelning. Anledningen till det var att företagen skulle vara jämförbara med varandra och att det enkelt skulle gå att intervjua så många som möjligt inom samma UX-avdelningen.
Målet med studien var att få en så stor spridning av Mintzbergs olika företagsstrukturer (ErikssonZetterquist et. al 2015) som möjligt bland de olika deltagande företagen. För att på så vis avgöra om verktyget är bättre lämpat gentemot någon specifik företagsstruktur.
Med anledning av Covid-19 pandemin blev det i svårt att vara för kräsna då all kommunikation, intervjuer och tester var tvungna att ske online och många företag prioriterade all sin tid mot att hantera krisen och valde därför bort att delta i studien. Därför blev spridningen mellan
organisationer inte lika stor som hade varit optimalt. Alla företag som kontaktades för att delta i studien ansågs ändå bidra med relevant information, urvalsmetoden kan därför ses som en kombination av den typiska urvalsmetoden (Jacobsen 2017) kombinerat med enkelt urval.
4 Genomförande/Tillvägagångssätt
I detta kapitel ges en mer detaljerad beskrivning av hur processen från idé till en färdig utvärderad undersökning har gått till. I figur 3 går det att se den ordningsföljden arbetet har följt.
Ordningsföljden hade som ambition att följa Design Science designprocess där innefattande delprocesser som problemidentifikation, design, demonstration, utvärdering och kommunikation efterliknas. I kommande stycken kommer en mer detaljerad beskrivning av aktiviteterna som ingår i de tre inledande processa (problemidentifikation, design och demonstration) att presenteras för att möjliggöra en klarare inblick i studiens tillvägagångssätt.
Figur 3 Genomförandets faser. Egen bild
4.1 Förstudie
Förstudien genomfördes på 3 företag, det upprättades kontakt med dessa företag i syfte att hitta ett passande område att genomföra ett arbete på. Förstudien hade alltså från början inte ett fokus på bedömningsverktyg utan detta var ett av de behoven som hittades med hjälp av förstudien. Samtal bokades in på de 3 företagen, under samtalen hölls en öppen diskussion kring eventuella behov som företagen hade kopplat till sitt eget UX arbete. Snabbt framgick det ett gemensamt behov hos alla 3 företag som deltog i undersökningen, en möjlighet att mäta sin egen förmåga när de kommer till UX arbete. Företagen hade flera andra förslag på eventuella områden att genomföra ett arbete, men då alla gemensamt såg behov av möjlighet att mäta sin UX förmåga ansågs detta som de mest relevanta ämnesvalet för arbetet. När företag A också uppvisade ett starkt intresse för ett verktyg som kunde användas för denna mätning blev detta fokus för arbetet.
4.2 Studiens fokus
Utifrån den genomförda förstudien där ett första behov av ett bedömningsverktyg hittats påbörjades en utförlig granskning av befintlig teori, detta för att säkerställa att behovet inte redan var uppfyllt av befintliga verktyg. Teorin som togs fram hittades genom sökning i ett antal olika databaser, dessa databaser var i huvudsak Scopus, LISTA samt Google scholar.
De som gick att konstatera efter granskningen av teorin var att de fanns ett flertal olika ramverk eller maturity modeller som var skapta för att mäta en verksamhets UX förmåga bland flera andra hittade vi Nielsen Corporate UX Maturity (Nielsen, J. (2006a, 2006b)). Problemet med dessa
Maturity modeller är att de ofta har en hög komplexitet vilket gör att de är svårt för en vanlig anställd att använda sig av dem och därför blir det ofta en hög kostnad när en verksamhet skall använda sig av Maturity modeller (Proença 2016).
Därmed blev fokuset för detta arbete att förenkla användandet av Nielsens UXMM genom att skapa ett bedömningsverktyg som möjliggör för verksamheter att enkelt mäta sin egen UX förmåga.
Målet för verktyget var att de skulle vara enkelt att använda, icke tidskrävande, mätbart samt återanvändbart.
4.3 Framtagning av frågeställning
Utifrån de problem som identifierats med hjälp av förstudien och granskning av teorin formulerades studiens två frågeställningar.
För att göra det möjligt att svara på studiens två frågeställningar krävdes det att en artefakt konstruerades samt att kvalitativa intervjuer genomfördes för att kunna få svar på hur verksamheter upplevde användandet av de verktyg som skapats, men också få svar på om de förenklar användandet av Nielsens modell.
4.4 Planering av verktyg
Som tidigare nämnt var planen med bedömningsverktyget att leverera ett lättanvänt verktyg som är tidseffektivt, mätbart och återanvändningsbart. För att göra det togs beslutet att utifrån ett individualistiskt perspektiv mäta utvalda anställdas upplevelser av verksamhetens tillvägagångssätt. Utifrån insamlade stickprov med data var ambitionen att mäta ett företags mognadsgrad.
För att designa bedömningsverktyget utgick designen av frågorna huvudsakligen från Nielsens UXMM (2006a, 2006b). För att strukturera upp designarbetet och på ett effektivt sätt få en förståelse för viktiga sammanhängande delar som behöver tas i beaktning vid konstruktionen av bedömningsverktyget tillämpades Design science sju riktlinjer. I första riktlinjen ombeds användaren ta fram en artefakt. För att möjliggöra en detaljerad beskrivning kommer hädanefter valt tillvägagångssättet för att ta fram artefakten (riktlinje 1) att presenteras.
Beslutet att designa ett bedömningsverktyg som är utformat som en kvantitativ studie grundar sig i det behov som uttrycktes i förstudien och har sedan vuxit fram i kombination med teori. I artikeln (Socialstyrelsen 2013) uppkom en inspiration för hur indikatorer kan användas för att identifiera viktiga tecken i Nielsens (2006a, 2006b) beskrivning av UXMM. Dessa tecken skulle senare komma att användas för att påvisa ett samband mellan användarens arbetssätt och de olika nivåerna som ingår i Nielsens UXMM. För att kunna identifiera ett sådant samband skapades bedömningsverktyget. Bedömningsverktyget utformades som en kvantitativ undersökning eftersom svaren enkelt skulle gå att mäta (Eliasson 2013). Eftersom verktyget är avsett att mäta företagens mognadsgrad gjordes valet att använda en attitydskala för att ta reda på användarnas värderingar och tillvägagångssätt gällande UX. Skalan sträcker sig i en femgradig poängskala där användaren kan välja att svara; instämmer helt, instämmer delvis, tveksam, tar delvis avstånd eller tar helt avstånd. Inspiration till svarsalternativen hämtades ur Patel och Davidsons bok (2015) där även fler riktlinjer för andra delar av verktygets utformning kom. Vidare kommer en mer djupdykande beskrivning av moment i bedömningsverktygets konstruktion att beskrivas.
