7. Presentation av IT-system och Återförsäljaren
8.5 Utvärdering med kriteriebaserad utvärdering
Jag valde metoden för att utvärdera respektive målgrupps gränssnitt i användning med respektive användare. Jag tycker det är viktigt att utvärderingen genomförs tillsammans med respondenten för att fånga dennes uppfattningar om gränssnittet.
Metoden utgår från tio kvalitetspunkter och hela koncentrationen ligger på användarens gränssitt. Metoden väljs för att utvärdera om system är handlingsbart. Det går att välja andra utvärderingspunkter om man så vill. Metoden kräver endast att man sitter vid datorn och går igenom de olika punkterna antigen med användare eller utan.
Metoden har inte några givna regler för hur man ska bedöma om idealen är uppfyllda eller inte. Metoden ger inte heller någon rekommendation för hur svaren ska dokumenteras. Jag valde att kategorisera svaren efter dessa:
• Om kriteriet är uppfyllt eller inte • I viken grad kriteriet är uppfyllt • På vilket sätt kriteriet är uppfyllt
Eftersom det inte finns någon given ram för hur det är tänkt att dokumentera utvärderingens resultat, har jag valt följande sätt:
Uppfyllt = Då anser jag att kriteriet är uppfyllt, alltså inga påpekanden har framförts av
respondenten eller något framkom under observation.
Delvis uppfyllt = Då anser jag att det bara till hälften är uppfyllt alltså det finns ett eller två
påpekanden på kriteriet. Antingen så visade respondenten påpekandet eller så framkom det under utvärderingen av kriteriet.
Ej uppfyllt = Då var inte kriteriet alls uppfyllt och det var till stor betydelse för
respondentens arbetsuppgifter.
Jag valde att genomföra kriterierbedömningarna efter respektive kontextuell intervju med respondenterna.
Problemsituation under
Metoden kräver inga förkunskaper, så det är bara att läsa frågorna för användaren som då ska svara om det stämmer eller inte. Men det gäller att kunna förklara innebörden för
respondenters som inte direkt förstår vad som menas.
Det är viktigt att man sitter vid datorn när respondenterna ska svara på frågorna för om det behövs kan de visa vad de menar. Jag ställde nedanstående frågor och de svarade eller visade på skärmen om det var uppfyllt eller ej (Cronholm & Goldkuhl 2003):
Utvärdering av IT-system
_________________________________________________________________________ 4. Förstår konsekvenserna av föreslagna och utförda handlingar (handlingstransparant) 5. Direkt se att det man försökt göra blev gjort (feedback)
6. Enkelt få hjälp att veta vad som gjorts (tydligt och lättåtkomligt handlinsminne) 7. Vet vem som sagt vad (”personifiering”)
8. Förstår använda begrepp (känd och begriplig vokabulär) 9. Förstår kommunikativ avsikt med olika medelanden 10. För ett bra stöd för handlande i verksamheten
Metodens kvalitetsideal gick inte att framföra utan en omformulering så att respondenten förstod vad jag menade. Respondenten var tvungen att få en förklaring om vad som menades med idealet. Jag fick anpassa förklaringarna efter respektive respondent och metoden kändes alltmer otymplig med alla förklaringar för att få det begripligt för respondenten.
Respondenterna missuppfattade ibland min förklaring och svarade på något helt annat. Detta kan givetvis bero på mig. Men jag känner spontat att denna kombination genomförs bäst utan användare. Att jag valde metoden beror på att jag ville ha en metod som utvärderade
gränssnittet.
Jag prövade även på en respondent från servicemarkand som var SuperUser/expert men inte heller denna expert förstod vad jag menade, utan att jag fick förklara.
Problemsituation efter
Metoden blev komplicerad att använda. Det var svårt att hela tiden omformulera respektive kvalitetsideal så att respondenterna förstod vad jag menade. Det kändes inte bra att använda ett sådant språk som respondenter inte kände igen. Det var helt otänkbart att ställa frågorna rätt ut eftersom de inte förstod vad jag menade. De måste omformuleras efter respektive respondents erfarenhet och datamognad. Det finns en stor risk att respondenterna känner sig dumma som inte förstår vad utövaren menar och detta kan resultera i att fel svar ges om inte utövaren är uppmärksam. Det gäller även att utövaren förstår innebörden av kvalitetsideal. Metoden ska visa om ett IT-system är handlingsbart, men det hänger mycket på att
metodanvändaren kan formulera och säkerställa att respondenterna förstår frågan.
Jag valde att sammanställa alla svar i en tabell så de skulle bli överskådligare, se tabell 4. Hela utvärderingen kan ses i bilaga 1, efter respektive intervjusammanställning.
Metoden visar att målgrupperna servicemarknad, lager och ekonomi har högst uppfyllda kriterier, medan kundmottagning och verkstad har lägst.
Tabell 4, Resultat kriteriebaserad utvärdering Service- marknad Ekonomi Lager- ansvarig Kund- mottag- ning Leverans- ansvarig Verkstad Antal upp- fyllda Tydlig handlings-
repertoar Uppfyllt Uppfyllt Uppfyllt uppfyllt Ej uppfyllt Ej uppfyllt Delvis 3 st Tillgodose kommunikations- behov Uppfyllt Ej uppfyllt Uppfyllt Ej uppfyllt Uppfyllt Delvis uppfyllt 3 st Lättnavigerbar
Uppfyllt Uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt 2 st Handlings-
transparant Uppfyllt Uppfyllt Uppfyllt Delvis
uppfyllt Uppfyllt Uppfyllt 5 st
Feedback Uppfyllt Delvis uppfyllt Uppfyllt Delvis uppfyllt Ej uppfyllt Delvis uppfyllt 2st tydligt och lättåtkomligt handlinsminne
Uppfyllt Uppfyllt Uppfyllt Uppfyllt Uppfyllt Ej
uppfyllt 4 st
Personifiering
Uppfyllt Uppfyllt Uppfyllt Uppfyllt Uppfyllt Delvis
uppfyllt 4 st Känd och begriplig vokabulär Ej uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt 0 st Förstår kommunika- tiv avsikt med olika medelanden Uppfyllt Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt Ej uppfyllt Uppfyllt 2 st För ett bra stöd för handlande i verksamheten Delvis uppfyllt Delvis uppfyllt Delvis uppfyllt Ej uppfyllt Ej uppfyllt Ej uppfyllt 0 st Summa % 80 % 50 % 60 % 40 % 20 % 20 %
Översikt över egna lösningar under metodens gång
Utvärdering av IT-system
_________________________________________________________________________
8.5.1 Analys och diskussion utifrån Ramverket
Jag har valt att analysera och diskutera problemsituationen före, under och efter tillsammans.
Problemsituation
Metoden ska hjälpa utövaren att fastslå om IT-systemet är handlingsbart. Metoden kan utgå från olika kvalitetsideal, checklistor eller principer. Det är upp till utvärderaren att välja. Det är även upp till utövaren om den ska göras tillsammans med användare eller inte. Metoden kräver ingen teknisk kompetens från utövaren utan den kan användas utan förkunskaper. Metoden problemdefinition är i en kombination av tekniska/funktionella termer. Det kräver att utövaren förstår och är på att förklara de olika kriterierna så användaren som ska svara på kriterierna förstår vad som menas. Metoden ger endast svar på ställda kriterier vilket inte kan ses som en lösning på ett organisationsproblem eller på hur väl de mänskliga kognitiva processerna stöds. Min uppfattning är att metoden bör användas som komplement till andra metoder och inte tillsammans med användare.
Resultatet av utvärderingen visar att systemet är mest handlingsbart för servicemarknad med 80 % av kriterierna uppfyllda. Därefter är det lager på 60 % och ekonomi på 50 %, sedan kommer kundmottagning på 50 % och sist är leverans och verkstad på vardera 20 %. Det som är intressant med detta resultat är att det påvisar som processutvärderingen att det är
stödprocesserna som har störst handlingsbarhet och huvudprocessen minst. Dessutom visar även denna utvärdering att servicemarknad är den målgrupp som är bäst tillgodosedd i systemet.
Enligt Jayaratnas krav på stöd i problemlösningsprocessen så upplever jag att metoden endast stödjer utövaren i första steget att förstå ”situation av intresse”. Därefter får utövaren göra egna antaganden f att förbereda diagnosen och definiera prognosen. P.g.a. för kvalitetsidealen är svåra att kommunicera med användarna så blir det svårt att skapa ett ömsesidigt deltagande. Jag tycker att min egen lösning att dokumentera idealen och bedöma om de var uppfyllda, eller fungerade inte bra.
Metodutövaren
Metoden kräver ingen kunskap eller erfarenhet från utövaren.
Metoden
Metoden fokuserar endast på de valda kriterierna. Metodens kvalitetsideal känns inte konstruerade för att använda praktiskt. Kvalitetsidealen som ska ställas till användaren är svårförståeliga för användaren. Det gör att utövaren måste omforma kvalitetsidealen så användaren förstår innebörden och kan svara. Därför känns hela metoden utformad för forskare och inte för att använda i praktiken. Jag ser en risk att en utövare kan få
utvärderaren. En annan av metodens svagheter är att den inte utvärderar de kognitiva processerna (kort - lång minne, syn etc.)
Metoden saknar regler/stöd för hur kriterierna ska dokumenteras och kategoriseras. Detta ansvar läggs helt på utövaren att hitta en bra lösning. Metoden ser inte hur arbetsprocessen är bakom gränssnittet utan fokus ligger på hur systemet svarar på arbetsuppgifterna som utförs. Den uppmärksammar därför inte hur arbetet utförs utan bara vad systemet ger för feedback på utförda moment.
8.5.2 Teoribaserad analys och diskussion utifrån IT-systemets funktioner Här genomförs en analys och diskussion utifrån teorikapitlet informationssystem och
användbarhet.
Ett IT-systems funktioner är viktiga och det gäller att få dessa användbara oavsett målgrupp. Jayaratna (1994) menar att många praktiker kanske inte känner igen alla funktioner i
organisationen. Olika målgrupper har olika behov och krav därför är det viktigt att inte bara utgå från en enskild målgrupps behov utan studera samtliga som ingår i verksamheten . Funktioner som passar bra för en målgrupp eller användare kan vara helt fel för andra målgrupper eller användare. Därför är det viktigt att det övervägande hänsynstagandet tas utifrån de olika verksamhetsmässiga omgivningarna av funktioner. Men den kriteriebaserade metoden gör ingen sådan utvärdering utan är mer en generell utvärdering av gränssnittet oavsett målgrupp eller användare. Ändå är resultatet intressant eftersom hos
målgruppen/användare servicemarkand är hela 80 % av kriterierna uppfyllda medan hos målgrupperna kundmottagning och verkstad är endast 20 % uppfyllda. Återigen visar en metod att servicemarknad är den målgrupp som IT-systemet stödjer mest och kundmottagning och verkstad minst.
De kriterier som inte var uppfyllda för någon målgrupp var ”få ett bra stöd för handlande i verksamheten” och ”känd och begriplig vokabulär”. Resultatet med avseende på det
sistnämnda kriteriet är oroväckande utifrån att systemet är ett branschsystem och leverantören borde ha kunskap om branschen. Jayaratna (1994) menar att är viktigt att förstå den domän som informationssystemet verkar inom, för genom den insikten blir förståelsen för
organisationskontexten klarare. Det ger även nödvändig kunskap för att analysera och diskutera funktionernas relevans i informationssystemet. Men även kriteriet att få ett bra handlande för sin arbetsuppgift borde leverantören ha en god kännedom om, men utvecklarna är inte experter på de arbetsuppgifter som utförs av användarna. Därför utvecklarna vet inte vilka beslut som kommer att tas på den information som IT-systemet producerar, det kan endast användarna göra. Detta medför att användarna bör involveras innan beslut tas för vilken information som behövs eller inte.
Det kriterium som är mest uppfyllt är handlingstransparens, vilket visar på att respondenterna förstår vad som händer i systemet och vad som gjorts. Det näst mest uppfyllda kriterierna är tydligt och lättåtkomligt handlingsminne, och personifiering. En tydlig historik har saknats och upplevdes som positivt av respondenterna.
Utvärdering av IT-system
_________________________________________________________________________ måste åtgärdas. Visserligen skulle man kunna komplettera utvärderingsresultatet med olika åtgärdsförslag för varje målgrupp. Men det jag menar är att kriterierna är svåra att
kommunicera även för mig själv.