Felkällornas påverkan på resultatet

Vid en studie av den här storleken är risken att fel uppstår stor. Därav kommer möjliga felkällor som kan ha uppstått under arbetets gång att presenteras för läsaren att ha i åtanke vid bedömning av rapportens resultat.

Eftersom denna studie baserats på en icke-slumpmässigt vald urvalsmetod finns risk att

övertäckning kan ha uppstått då exempelvis testning som gjorts internt på Scanias riggar finns med i test-populationen.

Ett fel som med all säkerhet har uppstått är täckningsfel, typen undertäckning har uppstått då alla objekt i populationen inte har haft samma möjlighet att medverka i studien. Stor del av framförallt den reella-populationen valdes medvetet att lämnas utanför studien på grund av kostnad.

Bortfallsfel är en feltyp som kan ha förekommit under studiens gång. Vid insamlandet av data finns inget som garanterar att alla parametrar haft samma möjligheter att komma med i urvalet, risken finns att vissa parametrar som aldrig påträffats i undersökningen bortfallit på grund av att sökningarna utformats på ett felaktigt sätt, ett exempel är Industri och marinmotorer som aldrig påträffats.

Ytterligare fel som kan ha uppstått vid dataanalysen och insamlandet av data är mätfel. Vid t ex Splunk-förfrågningar finns risken att data som inte efterfrågas uppkommer som en del av resultatet eller att data uteblir.

Då delar av datakällorna inte varit skapade för analys har bearbetning varit en del av

lösningsmetoden. Här finns risk att fel kan ha uppstått vid bearbetningen av data. Fel koder kan ha valts för att få fram det önskade resultatet. Överlag har inte användandet av SPII databasen som källa varit en optimal lösning. Dels är det kostsamt men inför också en nivå av osäkerhet. Att bedöma storleken av det totala felet är som tidigare beskrivits svårt, det enda som med all säkerhet går att garantera är att ett delmål till studien varit att minimera det totala felet så gott som möjligt för att behålla resultatets objektivitet och trovärdighet.

61

8 Slutsats

Under de fyra senaste fälttesterna bockas i snitt 47% av parametrarna av. Funktionstäckningen bockar i snitt av några fler parametrar än konfigurationstäckningen där den del av strukturen som skiljer sig från mängden är guiderna som körs i högutsträckning. Flera av parametrarna dyker varken upp i testpopulationen eller den reellapopulationen vilket tyder på att parametern antingen är för specifik eller att det inte går att identifiera parametern ur datamängden. Resultatet och

insamlingsmetoden behöver kontrolleras av en anställd på Scania med större tekniskerfarenhet innan en parameter kan förkastas eller korrigeras, detta för att utesluta att resultatet skulle vara felaktigt. Därefter borde en första korrigering vara att utesluta de parametrar som inte förekommer i reellpopulation ur strukturen då det anses osannolikt att de kommer att dyka upp i framtiden. I jämförelsen mellan frekvenserna i test- och verklig population går det att se ett mönster i att nyare konfigurationer är något överrepresenterade i testpopulationen (främst förekomster av S8 enheter). Samtidigt som äldre konfigurationer är överrepresenterade i den reella populationen (främst

förekomster av S6 enheter). Detta påverkar också frekvensen av typen av arbeten som utförs där det finns en tendens till att arbeten mot nyare konfigurationer är vanligare i testpopulationen än i den verkliga. Vilket också känns naturligt, men om målet är att hitta ett så representativt användande som möjligt så bör verkstäderna undersökas ytterligare för att eventuellt justeras i framtiden. Även här är avsaknaden av teknisk kunskap ett problem för analys där åter igen en mer erfaren

medarbetare på Scania behöver lämna feedback för att kunna hitta fler mönster i frekvenserna. Tidsbrist har gjort att detta inte har genomförts.

Att använda den nuvarande teststrukturen för att jämföra kvalitén på fälttesterna är svårt för en som inte är insatt i det övriga testarbetet. Brist på dokumentation över valet av parametrar och klara mål för fälttestomgångarna försvårar jämförelsen. Att exempelvis styrenheten APS2 genomgått en reservdelsprogrammering i testomgång ett men inte i testomgång två säger klart något om

pålitligheten och i slutänden kvalitén på mjukvaran. Men hur stor är kvalitetsskillnaden? Någon form av poängsystem (t ex att säkerhetskritiska parametrar har högre vikt än enskilda guider) bör

introduceras tillsammans med klara mål för att verkligen kunna utvärdera fälttesten.

Av de tre testkategorierna så är det endast funktionstäckningen som ger oss information om kvalitén på mjukvaran. Både användartäckningen och funktionstäckningen saknar idag helt eller till viss del koppling till användandet av mjukvaran. Men det är viktigt att poängtera att det främst är

funktionaliteten som kan utvärderas i en statiskmall, i alla fall om man ska se till kvalitetsaspekterna som presenteras i ISO/IEC 2510-2011. Ska teststrukturen fortsatt vara statisk så är det

funktionstäckningsdelen som ska vidareutvecklas

Ett av målen med denna studie var att kunna ta fram kvantitativa krav på fälttesten. Efter avvägning fattades beslutet att målet måste förkastas. Kostnad i tid är den främsta anledningen men också att ett annat resultat troligtvis skulle vara till större nytta för gruppen. Den nuvarande teststrukturen anses också något för osäker för att kunna ställa kvantitativa mål på fälttesterna, att förekomsterna av parametrar inte är linjärt med antal inkomna loggfiler skapar ytterligare osäkerhet.

För att ta teststrukturen vidare behöver frågorna i avsnitt 7.7 besvaras. Svaren avgör hur strukturen ska förbättras. Viktigt att ha i åtanke är att beslutet om vidare testning vilar på en avvägning mellan kostnaden för ytterligare test och sannolikheten att nya defekter kommer att hittas. Det finns en punkt där det inte längre är värt att utsätta mjukvaran för mer tester då sannolikheten att hitta fler

62 defekter har krympt i takt med att fler tester har utförts. Att hitta denna punkt är inte enkelt och vart på kostnadsskalan den befinner sig är olika för varje mjukvaruapplikation.

Om ett förbättringsförslag ändå ska ges utifrån de nuvarande omständigheterna så rekommenderas att användartäckningen och konfigurationstäckningen pausas. Användartäckningen i väntan på att en stabilare struktur ska ta form. Konfigurationstäckningen borde istället utvecklas till en påverkansgraf där varje guides konfigurationsberoende kartläggs. Med stabilare struktur menas en struktur som korrigerats utefter parametrar som inte förkommer och som utvecklats i linje med en av de i avsnitt 7.6 presenterade profilerna. Om fälttestet ska ha ett fortsatt testande fokus så rekommenderas att inspiration tas ur den testande profilen. Något som varit ett orosmoment är den stora kombinatorik som mjukvarufunktionalitet och konfigurationer skapar. Rekommenderat är att se till dessa

kombinationer först när förändringar i mjukvaran ska följas upp. .

63

Källförteckning

Björklund, Maria & Paulsson, Ulf. Seminarieboken: att skriva, presentera och opponera, Studentlitteratur, 2003.

Dahmström, Karin. Från datainsamling till rapport. Studentlitteratur, 2005.

Homès, Bernard. Fundamentals of Software Testing. ISTE Ltd och John Wiley & Sons, Inc, 2012 Jonsson, Dag & Norell, Lennart. Ett stycke statistik, Studentlitteratur, 1999.

Körner, Svante & Ek, Lars & Berg, Sven, Deskriptiv Statistik, Studentlitteratur, 1993 Lutz, Mark & Ascher, David. Learning Python. O’Reilly & Associates, Inc, 1999

Majchrzak, Tim A. Improving software testing – Technical and organizational developments. Springer Heidelberg New York Dordrech London, 2012.

Mohanty, Hrushikesha & Arunkumar Balakrishnan, J.R Mohanty. Trends in software testing. Springer Science+Business Media Singapore, 2017.

Myers, Glenford J & Badgett, Tom & Sandler, Corey, The art of software testing, 3. 3 uppl. John Wiley & Sons, Inc, 2012.

SCB, Urval – från teori till praktik

Internetkällor

http://bi-effekten.se, hämtad 2017-04-24 från http://bi-effekten.se/2012/03/25/qlikview-etl-extract-transform-load/

http://www.daxcom.se, hämtad 2017-04-24 från http://www.daxcom.se/logger-seg-til-bedre-flyt-med-splunk/ https://www.runns.se/, hämtad 2017-04-26 från https://www.runns.se/felkodslasare/?twsListGroup-62730557-article-group-custom-page=g-position-a-24-1 https://www.scania.com, hämtad 2017-04-18 från https://www.scania.com/se/sv/home/experience-scania/about-us.html http://www.statisticssolutions.com, hämtad 2017-05-23 från http://www.statisticssolutions.com/binomial-test-of-significance/

64

Appendix A

68