Resultat

Fig. 21 och Fig. 22 sammanfattar resultatet av våra experiment. Vi har utfört fem olika experi- ment för att undersöka precision vid inlärningen.

1. I det första experimentet har vi använt okorrigerade data för att skapa modeller för pre- diktion med SVM och räknade fram RMSE samt MAPE av resultatet, se Fig.17

2. I det andra experimentet har vi använt korrigerade data, se Fig.18

3. I det tredje experimentet använde vi veckodata (0.0-1.0) som en variabel, se Fig.19 4. I det fjärde experimentet använde vi veckodata One Hot kodade, se Fig.20

5. I det femte experimentet genomförde vi i excel. Vi använder en mycket enkel linjär inlärnings- modell baserat på Baseline modellen som används av Amazon Machine Learning System [20]. Vi behövde den för att kunna göra jämförelsen med andra modeller som skapades av mer avancerat SVM. Principen är att beräkna medelvärdet av målvariabeln och använda det som prediktion för alla efterföljande värden. [20]

6 Analys

I det följande har vi analyserat två strategier, Strategi A och Strategi B, se Fig. 21 och Fig. 22. Utöver numeriska värden på prediktionernas kvalitet (RMSE och MAPE) var vi också intressera- de i hur utvecklingen av succesiva prediktioner “ser ut”. Graferna i Appendix A visar resultaten av inlärningen enligt strategier B11-B15. År 2012 är målvariabel och 2013 är året som SVM algo- ritm predikterade. Med ökat antal år som används för framtagning av modellen ökar precision.

Strategi A

I Strategi A har vi fem olika delstrategier som vi tidigare beskrivit i kapitel 5.3.1. I varje delstra- tegi har vi utfört olika tester.

Modell A1 till A15: Här byggs modellen med två års data, år 2006 och år 2007, målvariabeln är 2008. Resultatet för Baselineexperimentet på alla tester från A1-A15 är relativt bäst, det beror på att Baseline använder medelvärdet av de två tidigare åren för att prediktera målvariabeln. Vid användning av SVM-algoritmen är resultatet bäst med korrigerad data utan tidsangivelse. Test A13-A15 visar ett tydligt försämrad resultat jämfört med test A1-A12, speciellt resultatet för test A13 på okorrigerade data, detta p.g.a. test A13-A15 använder år 2011 som testdata. Under år 2011 var det litet antal cyklister jämfört med de närliggande åren. Detta kan vara en anledning till varför resultatet hade stor avvikelse jämfört med de andra testerna.

Modell A2-A24: Resultaten är likt den föregående modellen men här (A2) används ett år extra indata i skapandet av modellen. En skillnad i resultat här (A21-A24) jämfört med föregående (A11-A15) test är att experiment med korrigerad data (Exp2) gav bättre resultat i MAPE än ex- periment med Baseline (Exp5). Anledningen kan vara att modellen (A2) är ett år närmare 2013 än föregående modell (A1).

Modell A3-A33 : Experiment Baseline test A33 gav bäst resultat jämfört med de andra expe- rimenten men det blev sämre än resultaten för de tidigare modellerna. En anledning till varför experimenten för dessa tester (A3-A33) gav sämre resultat kan för att modellen (A3) använder år 2010 som målvariabel. År 2010 har en liten avvikelse i cykeltrafiken jämfört med de närlig- gande åren.

Modell A4-A42: Resultatet för experiment med korrigerade data och år 2013 som målvaria- bel(A42) gav den bästa RMSE värdet jämfört med de tidigare testerna (A11-A15, A21-A24, A31- A33). Alla experiment (Exp2,Exp3,Exp4) med korrigerade data som använder SVM algoritmen gav bättre resultat än Baseline i test A42 och A51. Detta kan vara p.g.a. att modellen A4 använ- der mer indata än de föregående modellerna. Ju mer indata man använder desto bättre blir algoritmen prediktera målvariabeln eftersom vid större mängd data påverkas inte resultatet av små avvikelser i datavärden. Detta ser man i resultatet med korrigerade data(Exp2) för test A42 och A15. Där RMSE för A42 blev 548 och RMSE för A15 blev 637.

Modell A5-A51: Experiment med korrigerad data på test A51 gav bästa resultatet i Strategi A. Några möjliga faktorer till varför detta testet gav bäst resultat är bland annat den stora mäng- den indata vid skapandet av modellen och i testet A51. Även resultatet med okorrigerade data i datavärden. Resultaten för experimentet med okorrigerade data i de tidigare testerna hade mindre datamängd som indata jämfört med test A51. Ur ett logiskt perspektiv har små avvikel- ser i datamängden liten påverkan på resultatet.

Strategi B

Strategi B innehåller tester som har året 2013 som målvariabel. Resultaten visar att experiment ger oftast bättre RMSE och MAPE (förutom för Baseline) ju flera år man använder för att ska- pa modellen. Om man t.ex. studerar Exp3 i Fig. 22 (med de bästa värdena) ser man en ständig förbättring av RMSE från 468 i B11 (2 år) till 408 i B15 (6 år). Förbättring av MAPE i samma test är från 7% till 5%. Ständig förbättring behöver dock inte gälla alltid som man kan se i resultatet av Exp2, även om skillnaden inte är stor. Detta pekar på behovet av att experimentera och testa modeller innan deras användninge i skarpa prediktioner.

Om man jämför resultaten av experiment i Fig. 21 och Fig. 22 ser man att Strategi B ger bättre RMSE/MAPE värden. Anledningen till skillnaden i prestation av modellerna i Strategi B (B11, B12, B13, B14) och modellerna i Strategi A (A15, A24, A33, A42, A51) är att i Strategi B skapas modellerna med indata från de närliggande åren. I Strategi A skapas modellerna med indata från åren som kan ligga längre bort från målvariabeln, som är år 2013. Exempelvis används in- data för år 2006 och 2007 i modellen A1, som test A15 använde för att prediktera målvariabeln 2013.

7 Diskussion

Vi har plottat grafer som representerar de ursprungliga data värdena vi fått från barometern och undersökt vilka dagar som har stor avvikelse jämfört med andra dagar. Vi har med hjälp av graferna upptäckt ett mönster i cykeltrafiken som visar att de dagar som behöver korrigeras p.g.a. stor avvikelse är vardagar och inte helger. Mönstret visar att de dagar som behöver inter- poleras p.g.a. stor avvikelse är vardagar och inte helger. Möjliga orsaker till detta kan vara att de byggarbeten på vägarna är mer på vardagar eller att antalet bussar i trafik är fler på vardagar än helger. En annan möjlig orsak är också vädret, stor avvikelse i vädret från dag till dag kan påverka cykeltrafiken. Det är viktigt att ta hänsyn till att de framtida datavärden kan ha stora avvikelser som kan påverka resultat negativ eller positivt. Om det avvikelser i datavärden som är orimliga jämfört med andra datavärden så bör man korrigera det för att få ett bra resultat. Vi har utvärderat resultaten av våra olika testmodeller med både MAPE och RMSE. De två olika utvärderingsmetoderna kan användas vid olika jämförelser. Måtten för RMSE är i antalet cy- klister, d.v.s. om RMSE är lika med 500 så innebär det att felvärden är 500 cyklister mer eller mindre än det förväntade resultatet. Om man ska göra en prognos på exempelvis 100 000 cy- klister i framtiden så är 500 i RMSE mycket bra men om prognosen är 1000 cyklister så är 500 i RMSE mycket dåligt. Det är därför vi också har använt MAPE. MAPE ger oss felvärden i procent, vilket innebär att det inte spelar roll i hur stor skala prognosen är. MAPE kan användas för att jämföra två olika tester som förutsäger olika antal cyklister.

7.1 Diskutera relevanta arbeten

Dem relevanta arbeten från avsnitt 3 har gett oss viktiga förkunskaper om cykelsystemet och användning av maskininlärningsalgoritmer i cykelsystmet. Vi kan med hjälp av de relevanta arbetena säkerställa att våra resultat är realistiska och relativt bättre. Aspegren och Dahlström har använt olika experiment i sitt arbete “En jämförelse av maskininlärningsalgoritmer för upp- skattning av cykelflöden baserat på cykelbarometer- och väderdata” där det mest relevanta ex- perimentet är prediktion med normaliserade data, som gav ett RMSE värde på cirka 2000. Det sämsta RMSE värdet vi fick var 1658 för test A13 Exp1. Det är cirka 20% bättre prediktion än Aspegrens och Dahlströms bästa resultat. En anledning till att vi fick bättre resultat än de kan vara för att SVM algoritmen är mer lämplig för prediktioner av cykelflöden än Random Subspa- ce, Bagging och REPTree.

Ett annat resultat som är intressant för vår studie är resultaten från “Prediction of bicycle coun- ter data using regression” där forskarna har använt bland annat stödvektoralgoritmen med 1,2 och 3 graders polynomkärnor för prediktion av cykelflöden. Deras resultat gav RMSE värden mellan cirka 800 till 1000, vilket är mycket sämre än vårt bästa testresultat (B15 Exp2) som gav 402 i RMSE. Majoriteten av våra tester gav ett RMSE värde på mellan 800 till 1000 vilket gör det är svårare att granska vilka faktorer som kan ha påverkat resultatet betydligt.

En stor skillnad mellan vår studie och de relevanta arbeten [19][5][16] är att vi inte har använt oss av väderdata och temperaturdata. Vi tycker att dem relevanta arbeten borde ha gett bättre prediktion än oss eftersom fler indata variabler bör ge bättre kännedom om cyklisterna bete- ende och därmed ge bättre prediktion, men så blev det inte. Det kan var något att undersöka i framtida studier.

8 Slutsats och vidare forskning

Vi valde två teststrategier för att kunna organisera arbetet eftersom det finns stor mängd av möjligheter att välja indata för modellskapande. Våra val av tester och modeller är systematise- rade, indata mellan varje test ökar successivt och är i kronologisk ordning. De två strategierna vi har använt är Strategi A och Strategi B. Resultaten av vår studie är sammanfattade i Fig. 21 och Fig. 22. Strategi B är intressantare och vi diskuterar den när vi besvarar vår forskningsfråga. RQ1: Hur påverkas precision av prediktioner av cykeldata för en given månad, mätt med RMSE och MAPE, av val av indata (cykeldata och tidsangivelse)?

Utifrån våra resultat så har vi kommit fram till att i vissa experiment blir resultatet mer precis ju större mängd indata som används. Exempelvis blir resultatet av alla fyra SVM experimenten mer precis ju större mängd indata som används men inte för experiment med Baseline. Experiment med korrigerade indata gav bättre resultat än experiment med okorrigerade data. Korrigerade indata ger automatiskt inte bättre resultat med större mängd indata, se test B12 och B13 för korrigerad data i Fig. 22 Resultaten vi fick med okorrigerat data var dåliga och vi fann ingen tydlig mönster mellan de olika testfallen.

RQ2: Hur påverkas resultatet av hur man representerar veckodagar i indata?

Experiment med veckodagar tid(0,1) är bättre och blir konsistent bättre med flera år. Denna indata gav bättre resultat än experiment med One Hot kodning och korrigerade indata. Avslutningsvis gav experimentet med veckodagar som 0.0-1.0 bästa resultatet av alla tester i Strategi B.

8.2 Vidare forskning

Det finns många andra regressionsalgoritmer som kan testas för att utföra samma undersök- ning som vi. Det är möjligt att våra resultat, med en SVM algoritm, kan förbättras. Vi studerade prediktion av oktober år 2013 med oktober-data från de tidigare åren. Man skulle kunna under- söka möjlighet att använda data från andra månader än oktober.

Man kan också använda sig av informationen av tiden vid skapande av testmodeller för att på- verka resultatet. Vi använde cyklister/dag enhet för att utföra våra tester. I framtiden kan man testa med år, årstid, månad eller timmar för att undersöka om tidens information kan ha en påverkan på resultatet. I framtiden kommer datamängden för cykelflödet vara större eftersom barometern räknar antalet cyklister framöver. Utöver cykeldata så kan man tillämpa informa- tion om vädret och temperaturen i utforskningen om cykeltrafiken.

Referenser

[1] Merembayev, T., Yunussov, R., Yedilkhan, A. (2018). Machine Learning Algorithms for Classification Geology Data from Well Logging. 2018 14th International Conference on Electronics Computer and Computation (ICECCO). doi:10.1109/icecco.2018.8634775 [2] muler, A. C Guido, S. (2017). Introduction to machine learning with Python: A guide for

data scientists. Sebastopol, CA: OReilly.

[3] Raschka, S. (2015). Python machine learning. Birmingham: Packt.

[4] Garreta, R., Moncecchi, G. (2013). Learning Scikit-learn: Machine learning in Python: Ex- perience the benefits of machine learning techniques by applying them to real-world problems using Python and the open source Scikit-learn library.

[5] Holmgren, J., Aspegren, S.,Dahlströma, J. (2017). Prediction of bicycle counter data using regression. Procedia Computer Science, j.procs.2017.08.312

[6] Romanillos, G., Austwick, M. Z., Ettema, D.,Kruijf, J. D. (2015). Big Data and Cycling. Transport Reviews, 2015

[7] Hao, J., Ho, T. K. (2019). Machine Learning Made Easy: A Review of Scikit-learn Package in Python Programming Language. Journal of Educational and Behavioral Statistics, [8] Pedregosa et al., (2011). Scikit-learn: Machine Learning in Python.

[9] Yang, H., Xie, K., Ozbay, K., Ma, Y.,and Wang, Z. (2018). Use of Deep Learning to Pre- dict Daily Usage of Bike Sharing Systems. Transportation Research Record: Journal of the Transportation Research Board.

[10] Ashqar, H. I., Elhenawy, M., Almannaa, M. H., Ghanem, A., Rakha, H. A.,and House, L. (2017). Modeling bike availability in a bike-sharing system using machine learning. 2017 5th IEEE International Conference on Models and Technologies for Intelligent Transpor- tation Systems (MT-ITS).

[11] Xu, H., Ying, J., Wu, H., Lin, F. (2013). Public Bicycle Traffic Flow Prediction based on a Hybrid Model. Applied Mathematics and Information Sciences, 7(2).

[12] Vanderplas, Jacob T. Python Data Science Handbook: Tools and Techniques for Develo- pers. Beijing: OReilly, 2016.

[13] Bishop, Christopher M. Pattern Recognition and Machine Learning. 2006

[14] Scipy Lecture Notes. Accessed March 13, 2019. http://scipy-lectures.org/index.html. [15] Sachdeva, Purnima, and K N Sarvanan. “Prediction of Bike Sharing Demand.” Oriental

Journal of Computer Science and Technology, vol. 10, no. 1, 2017,

[16] Datta, Arnab Kumar. Predicting bike-share usage patterns with machine learning. Master thesis, University of Oslo, 2014

[17] Jay F. Nunamaker J, Minder C, Titus D. M. P. Systems Development in Information Systems Research. Journal Of Management Information Systems.1990

[18] Regression-based evaluation of bicycle flow trend estimates. Department of Computer Science and Media Technology, Malmö University, 2018

[19] En jämförelse av maskininlärningsalgoritmer för uppskattning av cykelflöden baserat på cykelbarometer- och väderdata. Sebastian Aspegren, Jonas Dahlström 2016-05-27 [20] Amazon Machine Learning Development Guide, https://aws.amazon.com/machine-

learning/ 2019-05-20

[21] Marsland, Stephen. Machine Learning: an algorithmic perspective. CRC press, 2015. [22] Analys av prediktiv precision av maskininlärningsalgoritmer Jonas Remgård Teknik och

samhälle Datavetenskap 2017-05-30

[23] https://scikit-learn.org/stable/modules/svm.html 2019-05-01

[24] https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html 2019-05-03