2 "tags": [ 3 { 4 "name": "Clothing" 5 }, 6 { 7 "name": "Coat" 8 } 9 ], 10 "video_id": "test_id" 11 }
Figur 5.3: Ett exempel på hur resultatet från en körning av VATG kan se ut.
5.3.4
Ej uppfyllda funktionella krav
I denna sektion listas de ursprungliga krav som ej uppfylls i slutprodukten.
• Systemet skall skapa taggar för världskändisar i en video. • Systemet skall skapa taggar för lokalkändisar i en video. • Systemet skall skapa taggar för känslor i en video.
• Systemet skall kunna hitta bra stillbilder som är representativa för innehåll i videoklipp.
5.4
Tester
Under projektets gång genomfördes många av de tester som var planerade. Mer detaljerad information om resultaten från dessa listas i sektionerna nedan.
5.4.1
Enhetstester, integrationstester samt installationstester
Många av enhets-, integrations- samt installationstesterna genomfördes. Dock var det även många tester som var planerade som inte genomfördes. Enhetstester var den typ av tester som gruppen skrev flest av. Fel i koden hittades tack vare enhetstesterna. Ett av de vanli- gaste felen som hittades var kod som fungerade i nästan alla fall förutom i gränsfall. Med enhetstesterna kunde och gjordes tester som testade just de gränsfallen varpå felen hittades. Integrationstester skrevs det betydligt mindre av. Installationstester gjordes inte huvudsakli- gen via skriven kod utan genom manuella tester. Det finns därmed inte dokumenterat exakt hur mycket av dessa tester som gjordes.
5.4.2
Kvalitetstester
I avsnittet nedan redovisas resultatet i de olika kvalitetstester som genomförts i projektet.
Del ett
Totalt var det fem personer som bidrog med taggar i del ett av undersökningen. Fyra av personerna skapade taggar för två utav de tre videor som hade valts ut till kvalitetstesterna och den femte skapade taggar för alla tre. Projektgruppen varierade vilka videor de som bara såg två fick se. I tabell 5.1 listas alla taggar skapade av personer, Rekognition samt VATG för en video med en videointervju med kungen.
5.4. Tester
Tabell 5.1: Taggar för en videointervju med kungen
Taggare Taggar
Person 1 Interview, King, Suit, Journalist, Microphone
Person 2 Colleague, Disussion, Democratic Team
Person 3 Swedish King Interview, TV-Interview, Formal Explanation, Pictures
Person 4 The King, Discussion, Interview, Expressen, Teamwork
Rekognition Human, People, Person, Overcoat, Clothing, Coat, Suit, Accessories, Tie, Art, Sphere, Text, Art Gallery, Diploma, Glasses
VATG Clothing, Coat, People, Suit, Tie
Liknande listas taggarna av människor, Rekognition och VATG för en video om ett sportre- portage om amerikansk fotboll i tabell 5.2. Notera att en person med ett visst numer i en tabell inte behöver vara samma person i en annan tabell även om numret är detsamma.
Tabell 5.2: Taggar för ett sportreportage om amerikansk fotboll
Taggare Taggar
Person 1 Football, Pro Football Weekly
Person 2 Football, Players, Coach, Sport
Person 3 Pro Football Weekly, American Football Highlights, American Football
News, American Football Updates, Football Season Update
Person 4 Jacksonville Jaguars, Carolina Panthers, Kansas Chiefs, Pro Football Week- ly, American Football
Rekognition Person, Human, People, Clothing, Crash Helmet, Hardhat, Helmet, Sports, Sport, Team Sport, American Football, Football, Team, Football Helmet, Glasses
VATG Logo, Trademark, Glasses, Helmet, Sport, Team, People
Den sista videon var ett nyhetsreportage om sagojul på Kolmården. Taggarna från personer, Rekognition samt VATG för denna video listas i tabell 5.3.
Tabell 5.3: Taggar för ett nyhetsreportage om sagojul på Kolmården
Taggare Taggar
Person 1 Kolmården, Christmas, Santa Claus
Person 2 Light, Music, Animals, Fiction Stories
Person 3 Santa Claus, Christmas, Fairy Tale, Animal, Interview, Theater, Musical, Light, Winter, Kanal24
Rekognition Person, Human, People, Plant, Flora, Tree, Animal, Conifer, Clothing, Hat, Beanie, Cap, Abies, Fir, Tent
VATG Tree, Face, Animal, Bear, People
Del två
Den andra delen av kvalitetstestet bestod av att sex personer fick poängsätta resultaten från både människor, Rekognition samt VATG. Mer om hur del två av undersökningen gick till finns beskrivet i kapitel 4. Poängen de fick sätta på hur bra taggarna beskriver videon var i intervallet 1 till 10 där ett var att taggarna huvudsakligen är missvisande medan tio var att taggarna beskrev videon väl. Poängen var per grupp av taggar, det vill säga en för varje typ av taggningsprocess (människa, Rekognition samt VATG). Testpersonerna hade även möjlig-
5.4. Tester
het att sätta en markering för varje tagg om de tyckte att taggen var olämplig för videon. Resultatet för den första videon listas i tabell 5.4.
Tabell 5.4: Resultat för en videointervju med kungen
Människa Rekognition VATG
Hur bra taggarna beskriver videon
Medelvärde 7,8 6,6 6,0
Standardavvikelse 2,7 0,8 1,6
Procent olämpliga taggar
Medelvärde 0% 22% 21%
Standardavvikelse(procentenheter) 0% 9% 16%
Vidare listas resultatet (poäng och antal missvisande taggar) från videon med ett sportrepor- tage om amerikansk fotboll i tabell 5.5.
Tabell 5.5: Resultat för ett sportreportage om amerikans fotboll
Människa Rekognition VATG
Hur bra taggarna beskriver videon
Medelvärde 7,5 4,8 6,9
Standardavvikelse 2,9 1,2 2,0
Procent olämpliga taggar
Medelvärde 16% 30% 17%
Standardavvikelse(procentenheter) 23% 18% 18%
Slutgiltligen så listas poäng samt hur många olämpliga taggar varje grupp fick för videon om sagojul på Kolmården i tabell 5.6.
Tabell 5.6: Resultat för nyhetsreportage om sagojul på Kolmården
Människa Rekognition VATG
Hur bra taggarna beskriver videon
Medelvärde 8,6 5,5 6,9
Standardavvikelse 1,4 1,9 2,6
Procent olämpliga taggar
Medelvärde 7% 34% 10%
Standardavvikelse(procentenheter) 15% 27% 10%
5.4.3
Acceptanstest
När test genomfördes så var kunden till en början inte helt nöjd med produkten. De tyckte inte att resultatet var tillräckligt bra. När de sedan tittade närmare på vad som hände såg de att de mindre bra taggarna huvudsakligen berodde på resultaten som Rekognition gav samt att VATG faktiskt förbättrade resultatet från Rekognition. När de väl upptäckt det var de mer nöjda med produkten. De tyckte även det var bra att VATG fungerade automatiskt i deras system samt att exekveringstiden var acceptabel.