I kapitlet utvärdering av studien diskuteras metodutvärderingskriterierna validitet och reliabilitet samt valet av metodansats och hur det har påverkat studien. Vidare motiveras valet av att göra en enkätundersökning, hur frågorna i den utformats på bästa sätt samt vad alternativet till insamling av empiri hade kunnat vara. Förslag för framtida forskning kommer att avsluta utvärderingen.
7.1 Kvalitetskriterier
Vid reflektion och utvärdering av trovärdigheten i en genomförd kvantitativ studie bör validitet och reliabilitet tas i beaktning (Recker 2013). Validitet beskriver huruvida den data som studien samlat in verkligen mäter det som studien från början avsett att mäta. Valida mätningar representerar kärnan eller innehållet som konceptet fokuserar på (Recker 2013).
Bryman och Bell (2015) menar att det finns ett problem med validitet och mätning och att individer alltid kommer att ifrågasätta ifall mätningen verkligen återspeglar det konceptet som studien undersöker. Med reliabilitet menas att resultatet från en studie ska gå att upprepa igen med hjälp av samma förutsättningar. Är studien inte reliabel, kan den inte heller vara validerbar (Robson 2011).
7.1.1 Validitet och reliabilitet
Det finns olika sätt som speglar sättet att mäta en studies validitet (Bryman & Bell 2015). För teoretiska bedömningar på validitet kan bland annat construct validity användas (Recker 2013). För att säkra validitet under studiens gång har det som tidigare nämnts skickats ut ett utkast av enkäten i form av en testenkät. Där fick några utvalda individer komma med kommentarer och synpunkter till varje fråga på utkastet (se 2.5 enkätundersökning).
Testenkäten kan ses som en typ av construct validity som enligt Recker (2013) handlar om operationalisering eller mätning mellan konstruktioner. Ett problem som kan uppstå vid construct validity är att frågor i ett frågeformulär kan uppfattas som tvetydiga och ge intrycket att de betyder något annat än vad som var tänkt (Recker 2013). Testpiloternas svar användes sedan för att statistiskt försöka fastställa att frågorna som var avsedda att mäta samma konstruktioner hade liknande statistiska poäng, samtidigt som det fastställdes att de skiljde sig från de mått som var avsedda att mäta andra konstruktioner.
För att mäta validitet på empiriska bedömningar kan face validity användas (Recker 2013).
Författarna har under studiens gång använt handledaren som ett bollplank för att säkerställa att mätningarna speglar innehållet i konceptet. Handledaren har fått agera som en domare och säga om han tycker och tror ifall mätningarna visar rätt spegling. Detta kallas Face validity och är en process som är grundad på intuition (Bryman & Bell 2015).
För att få en mer reliabel studie finns det en genomgående förklaring i hela metodkapitlet till hur resultatet i studien har tagits fram, behandlats och analyserats. Frågorna i enkäten var välutformade och tydliga för att inga missförstånd skulle uppstå och en bilaga av enkäten
respondenten kan vara anonym och därför tenderar att svara mer sanningsenligt (Cohen, Manion & Morrison 2007).
7.2 Metodutvärdering
För att kunna besvara frågeställningen som behandlats i studien krävdes ingen djupare förståelse då frågan var av mätbar karaktär och författarna endast ville ta reda på vilken medvetenhet som finns hos individer i allmänhet kring riskerna vid användningen av smarta enheter i hemmet. Därför kändes valet av att göra en forskning via en kvantitativ metod befogat då en sådan fokuserar på frågor som är mätbara genom att samla in kvantitativa data via exempelvis enkätundersökningar (Recker 2013). Anledningen till att författarna valde att undersöka individens medvetenhet var för att litteraturstudien som gjordes visade att de flesta forskare fokuserat på nyttan och säkerhetsriskerna som enheterna bidrar med och att det saknades eller fanns lite forskning som var gjord utifrån ett användarperspektiv. Författarna anser att ju mer digitaliseringen går framåt och sträcker sig mot det privata hemmet, desto viktigare roll spelar individen.
Då infallsvinkeln var användaren och frågeställningen syftar till att svara för hela populationen i Sverige över 20 år, valdes en enkätundersökning som den bästa undersökningsmetoden för studien. En alternativ metod istället för, eller som komplettering till enkätundersökning hade kunnat vara att genomföra ett antal individuella intervjuer. Med intervjuer hade det varit enklare att ställa följdfrågor till en fråga, om ett svar skulle vara oklart eller ifall opponenten velat utveckla respondentens svar. Med intervjuer kan undersökningen ge mer specifika och djupa svar inom ämnet och frågorna hade kunnat förklaras mer utförligt om det hade behövts (Robson 2011). Anledningen till att intervjuer inte genomfördes i studien berodde på att det inte var sådant material som efterfrågades för att kunna ta fram ett resultat och besvara frågeställningen. Studien eftersträvade ett mer generaliserat resultat från ett större antal respondenter och på grund av det valdes en enkätundersökning då det är lämpligt att samla in empiri via en enkätundersökning om ett större antal respondenter vill nås (Robson 2011).
Författarna la ner mycket tid för att utforma enkäten så tydlig som möjligt med frågor som inte skulle vara riktade mot svaret som efterfrågades och för att ha frågor som var relevanta för att kunna analysera fram ett resultat till studien. Det är lätt att de frågor som ställs riktas mot det svar som är mest passande för studien (Robson 2011). I det här fallet skulle det kunna ha varit att frågorna riktades mot att få respondenterna att svara att de inte är medvetna.
Av de svar som mottogs har det inte visat att någon skulle ha missförstått någon fråga och det var inte heller någon som hörde av sig med funderingar om att någon fråga skulle ha varit otydlig eller liknande, vilket kan tyda på att enkäten var bra utformad. Självklart kan ytterligare frågor alltid adderas i efterhand men det är inga specifika frågor som författarna ansåg sig sakna. En internetbaserad enkätundersökning kan ibland förknippas med låg svarsfrekvens (Robson 2011). Av 150 utskickade enkäter var det 103 svar som registrerades.
Författarna ansåg svarsfrekvensen som acceptabel med över hundra svar, men hade enkäten fått ligga ute några dagar till hade kanske en ännu högre svarsfrekvens uppnåtts.
Studien har som tidigare nämnt utgått från ett stratifierat urval vilket ökar chansen för att den blir representativ mot populationen (Robson 2011). Det har dock tagits i beaktning att urvalet av studien delvis inte är representativt mot hela populationen då respondenterna till största del har varit facebookvänner och “vänner till vänner”. För att generalisera till hela populationen
hade en mer omfattande studie rekommenderats med fler respondenter och en större spridning.
7.3 Framtida forskning
Denna studie har behandlat problemet med individens medvetenhet och de risker som finns med de smarta enheterna, vilket har öppnat många dörrar för framtida forskning. Det rekommenderas vidare forskning inom ämnet för att stärka slutsatsen om att individen inte är så medveten som hen tror. Passande hade varit att utföra intervjuer med individer där det finns möjlighet att ställa följdfrågor och skapa en djupare förståelse för deras tankemönster. För att lösa problemet med riskerna av de smarta enheterna hade vidare forskning behövt undersöka hur någon form av säkerhetsarkitektur ska utformas. Förslagsvis hade en gemensam standard för de olika enheterna behövts för att de bättre ska kunna fungera med varandra. Det hade varit intressant att undersöka vem ansvaret av säkerhetsriskerna faktiskt ligger på, ligger det på användaren, företaget eller på båda parter.