EFFEKTUTVÄRDERING INOM HÖGRE YH–UTBILDNINGEN TEKNOLOGIBASERAT LEDARSKAP 2012–2014
Vasa oktober 2015
Stefan Granqvist och Martina Englund
INNEHÅLLSFÖRTECKNING
SAMMANDRAG ... 2
BAKGRUND ... 5
1. Kort om utvärderingsverktyget ... 6
2. Resultatredovisning ... 7
2.1 Beskrivande statistik ... 8
2.2 Bakgrundsvariabler ... 8
2.3 Utvärdering av utbildningens innehåll (I) ... 12
2.4 Utvärdering av utbildningsmetoder (M) ... 13
2.5 Utvärdering av reaktioner (R) ... 14
2.6 Utvärdering av lärandet (L) ... 15
2.7 Utvärdering av beteendet (B) ... 16
3. Analytisk statistik ... 20
4. Intervjuresultat ... 21
5. Reflektion och sammanfattning ... 22
Litteraturförteckning ... 24
BILAGA 1 Enkät
BILAGA 2 Intervjuguide
EFFEKTUTVÄRDERING INOM HÖGRE YH–UTBILDNINGEN
SAMMANDRAG
Stefan Granqvist Martina Englund
__________________________________________________________________________________
Med utvärdering förstås en systematisk undersökning av en aktivitets värde och betydelse (Sandberg & Faugert 2009) och koppling görs till följande citat: ”Evaluation is the process of the determining the merit, worth and value of things” (Scrivens 1991).
___________________________________________________________________
Yrkeshögskolan Novia inledde Högre YH–utbildning inom ingenjörsutbildningen 2007. Utbildningsinnehållet fokuserar på ledarskap inom industriell verksamhet och andra organisationer. Kurserna är självkännedom och personlig utveckling, organisationsutveckling, affärsutveckling, personal– och processledning, vetenskapsmetodik, ledning av förändringar och konflikthantering och tillämpning av nya teknologier. Dessa kurser och ett omfattande lärdomsprov om 30 studiepoäng ger 60 studiepoäng i examensformen. Den tvååriga examensutbildningen som årligen antar 20 studerande har hittills dimitterat 72 studerande.
Utbildningsplanerarna har från första början varit aktiva i en del nationella organ i fråga om utveckling av Högre YH–utbildning i Finland. Utbildningen i teknologibaserat ledarskap i YH Novia har en uttalad ambition att systematiskt utföra utvärderingsforskning vars resultat kan fungera som beslutsunderlag vid utveckling av Högre YH–utbildningen, i högskolan, och generellt för och med de utbildningsenheter där högre YH–utbildning bedrivs och utvecklas.
Denna effektutvärderingsstudie är dels förankrad i det nationellt initierade och finansierade Högre YH–projektet ”YAMK – koulutus vahvaksi TKI – vaikuttajaksi”
som pågår under åren 2013–2015, och dels i utbildningens uppsatta mål. Studien är en utökad studie jämfört med den första effektutvärderingen som genomfördes åren 2009–2012 inom samma utbildning. Denna utökade effektutvärdering tar sikte på att även kartlägga i vilken mån en vuxenstuderande, som oftast har en anställning i en organisation eller i ett företag, kan engagera sig i och bidra till utveckling av en
yrkeshögskolas FoU–verksamhet genom aktivt deltagande, i projektstudier och att utföra lärdomsprovet i nära samarbete med yrkeshögskolans FoU–avdelning. I studien utfördes också strukturerade djupintervjuer i med näringslivsrepresentanter.
Forskning, utveckling och innovation (FoU) är väsentliga byggstenar för nationens utvecklingsarbete. Det finns ett antagande att ifall examensstuderande kan involveras i dylik verksamhet gagnar det värdekedjan som utgörs av högskolan, studerande, lärare samt av nationell utveckling och välfärd.
I resultatredovisningen är respondenterna 26 dimitterade ingenjörer (Högre YH), Master of Engineering, som har dimitterats under åren 2012, 2013, 2014.
Svarsprocenten är 89, 7 %. Därtill intervjuades 6 företagsledare/företagsägare som har Högre YH–ingenjörer från ifrågavarande utbildning som medarbetare/anställda i företaget/organisationen och svarsprocenten är 100 %. Studiens resultat ska ses som gällande för sitt sammanhang och det finns ingen strävan till generalisering – det vill säga såhär är det i 10 fall av 10.
Resultatredovisningen visar att de studerande använder det de lärt sig, under studietiden, i sina nuvarande positioner som entreprenörer och/eller intraprenörer.
Det verkar även som om Högre YH–utbildningen är tydligt karriärfrämjande då undersökningen visar evidens ifråga om kopplingen mellan examen och ny position.
Det sammantagna effekttalet, indexet, ROEE 4,1980 visar att mål, innehåll och metoder upplevs som i det närmaste utmärkta, men ett antal implikationer för utveckling framkommer också i studien.
Studien visar att examensformen är behovsdriven, dels för självutveckling och dels för att utveckla i företaget/organisationen, således en win–win nyttoaspekt.
Intervjuerna med företagsledarna/företagarna förstärker det behovsdrivna då signalerna entydigt är följande: ”Detta är en utbildning som vi behöver för att utveckla och utvecklas”. Studien föreslår att utbildningens innehåll ska utvecklas kontinuerligt och i dialog med både vetenskapssamfund och näringsliv. Ytterligare förbättringsförslag finns i den specifika resultatredovisningen.
Resultatredovisningen visar även med tydlighet att det finns behov av att utveckla dialogen och interaktionen mellan denna Högre YH–utbildning och FoU i högskolan. Dialogen, informationen och engagemanget hos utbildningsledarna bör
intensifieras – men det gäller att ha förståelse för att vuxenstuderande parerar mellan att vara studerande och verka som arbetstagare i en arbetsgivares tjänst med begränsade tidsresurser – ett faktum som kan upplevas som hinder för deltagande i och bidragande till forskning och utveckling mer generellt. Det är högskolan, lärarna och utbildningsansvariga som bör fokusera på att informera om värden som kan skapas med hjälp av integrering och vi–anda. Strikt revirtänkande bör lämnas därhän. Näringslivet och högskolan måste våga och vilja samarbete för ömsesidig utveckling!
Det är rekommendabelt att en liknande effektutvärdering utförs vart tredje år inom dylika utbildningar.
BAKGRUND
Det finns fortsatt få utvärderingar av utbildningar, såväl nationellt som internationellt (jämför bland andra Fayolle & Klandt 2005 och Granqvist 2011), kanske sex modeller på den internationella arenan. Dessa modeller är Kolvereids modell (1997), Kirkpatricks modell (1998), Fayolle, Gailly & Lassas–Clercs modell (2007), Yorks &
Beechler & Ciporens modell (2007), Honigs modell (2004) och ROEE–modellen 1 (Granqvist 2011).
Det handlar ofta om att effektutvärderingar är så omfattande att man inte alls påbörjar sådana eller till och med så att man måste avbryta halvvägs på grund av resursbrist (jämför Kirkpatrick 1998 och Heinonen & Poikkijoki 2006).
Inom ramen för det nationella Högre YH–projektet 2013–2015 initierades dock denna studie utökad med koppling till forskning och utveckling. Det nationella projektet är indelat i olika arbetsverkstäder och denna studie är utförd i arbetsverkstad 2 (Työpaja 2/YAMK 2015).
I studien som är en totalundersökning har vi via enkät (e–blankett/Åbo Akademi/sg, se bilaga 1) tillfrågat 29 dimitterade Högre YH–ingenjörer vad de anser om utbildningen och i vilken mån de kan använda det som de lärt sig i utbildningen, i arbetslivet. Vi har också kartlagt hur de utexaminerade bedömer sitt intresse och sina möjligheter att delta i en yrkeshögskolas FoU verksamhet i samband med lärdomprovsprocessen. Enkätstudien utfördes under tiden 2014 – 2015.
De sex intervjuerna med företagsledare och företagsägare utfördes år 2015.
Teoribildningen om hur man utvärderar, bygger till stora delar på Kirkpatricks utvärderingsmodell från år 1998 och på Granqvists ROEE–modell från år 2011.
Granqvists modell från 2011 lyfter specifikt fram lärandet och fler pedagogiska variabler jämfört med tidigare utvärderingsmodeller.
1 ROEE = Return on Educational Efforts within Entrepreneurship Education
1. Kort om utvärderingsverktyget
ROEE–modellen som effektutvärderingsverktyg är baserad på en av de första edukativa utbildningsteorierna (Herbart 1776–1841) och Kirkpatricks utvärderings–
modell (1998). Mätningen av lärandet bygger på det stegvisa, det vill säga att lärandet byggs på i olika nivåer, från det enkla lärandet till mera reflektivt lärande och deutero–lärandet.
Utvärderingsmodellen som används i totalutvärderingen är som följer i figur 1:
Figur 1. ROEE–modellen (Granqvist 2011)
Modellen i figur 1 är konformad och likaså cirkelformad. Den förmedlar budskapet och idén om att effektutvärdering är:
a) En process omfattande sex steg, stegen bygger på varandra b) Att läroprocessen startar med insatser som processeras c) Den som tar emot utbildning reagerar på något sätt
d) Den studerande tar ”emot” utbildning och denna ger förutsättningar för beteende
e) ROEE skall ses som ett effektmått som baserar sig på mätresultat från de i modellen ingående observationsvariablerna, delmomenten.
Modellen består av enskilda delar som är kopplade till varandra med en åder och interaktionspilen, understryker koppling mellan de enskilda delmomenten (Granqvist 2011). Delarna bildar följaktligen byggstenar i helheten och helheten består av delarna som separat kan och skall analyseras men bör sättas i sitt sammanhang, sin process, här ledarskapsutbildning. Modellens struktur med sina delmoment ger utrymme för att se delmomenten som variabler och det i sin tur kan möjliggöra en ansats att finna samband mellan insatser och effekter och eventuellt finna förklaringsvariabler.
2. Resultatredovisning
Resultatredovisningen beskriver och analyserar resultaten från den empiriska studien. Studien utfördes under tiden 1.8.2014–13.6.2015. Som hjälpredskap i datahanteringen har använts dataanalysverktyget R.
Totalundersökningen omfattade 29 utdimitterade HYH–ingenjörer varav 26 svarade. I första skedet returnerades 18 svar och efter påminnelse returnerades 8 svar.
Svarsprocenten är 89,5 %. Fältundersökningen utfördes i form av enkät och med hjälp av en elektronisk blankett (e–lomake, Åbo Akademi/sg, se bilaga 1). Innan fullskalig distribution utfördes omsorgsfull och mycket tidskrävande planering, införande av frågor och systematik i den elektroniska databasen. Funktionaliteten testades med två svarspersoner och deras svar finns i resultatredovisningen eftersom det konstaterades att pilottestningen fungerade. Svarspersonerna i enkäten erhöll sin Högre YH–examen från utbildningen Teknologibaserat ledarskap under åren 2012, 2013 och 2014.
Intervjuerna utfördes under tiden mars–augusti 2015 och med nio frågor som grund i intervjuguiden (se bilaga 2). Intervjuerna utfördes antingen i företaget eller så att företagsledaren kom till intervjutillfället på YH Novia. Svarsprocenten var 100 %.
Frågorna som ställdes testades på två företagsledare innan den slutgiltiga intervjuguiden renskrevs. Resultatredovisningen inleds med enkätresultaten och därefter presenteras intervjuresultaten i kapitel 4. I resultatredovisningen presenteras resultat och kommentarer till väsentliga delar.
2.1 Beskrivande statistik
Den beskrivande statistiken presenteras i form av tabeller, mätvärden och kommentarer. De mätvärden som beskrivs utgör medeltal av svarsnoteringarna för respektive variabel, medeltal för exempelvis för utbildningens innehåll.
2.2 Bakgrundsvariabler
Fördelningen bland de som svarat på enkäten är följande:
Dimissionsåret Antal utdimitterade Antal utdimitterade som svarat
2012 9 9
2013 10 8
2014 10 9
TOTALT 29 26
Svarsprocent 26/29 89,5 %
Tabell 1. Dimissionsår och antal utdimitterade, YH Novia, Utbildning i Teknologibaserat ledarskap 2012–2014.
De 26 svarandes grundutbildning då de inledde sina studier:
- 7 maskiningenjörer (YH)
- 7 elektroteknikingenjörer (YH)
- 6 produktionsekonomiingenjörer (YH)
- 3 informationsteknikingenjörer (YH)
- 1 lantmäteriingenjör (YH)
- 1 byggnadsingenjör (YH)
- 1 diplomingenjör (DI)
Då det gäller arbetslivserfarenheten vid inledandet av studierna gällde följande:
Arbetslivserfarenhet, Under 10 år
Arbetslivserfarenhet, 11 – 16 år
Arbetslivserfarenhet,
>17 år
Medelvärde, per 26 individer
6 personer 6 personer 14 personer 14 år
Tabell 2. Arbetslivserfarenhet – fördelning i undersökningssamplet.
Svarpersonerna verkar idag (2015) i arbetslivet enligt följande:
Verkar idag som Frekvens
Som anställd i annans företag 24
Som heltidsföretagare 2
Jag är anställd och har även ett eget företag 8/26
Tabell 3. Nuläget för undersökningssamplet (06/2015).
Tabell 3 visar att de flesta av svarspersonerna verkar som anställda i annans företag.
Det finns två heltidsföretagare bland de 26 svarande. Bland de 24 anställda är det 8 svarspersoner som även är verksamma som företagare. De som är anställda i annans företag är 14 personer verksamma i stora företag och 10 verkar i sme–
företag.
I fråga om vakansen/positionen/yrkesbenämningen i svarsögonblicket registrerades följande utgående från enkätsvaren:
‐ Design Engineer
‐ Partner och It–specialist
‐ Direktör
‐ Flow Manager
‐ Företagare
‐ Technical Issue Manager
‐ Lärare
‐ Tf. räddningschef
‐ VD
‐ Systemerare
‐ Inköps– och logistikchef
‐ Planerare
‐ Senior Design Engineer
‐ IT–systemplanerare
‐ Projektingenjör
‐ General Manager
‐ General Manager
‐ Project Manager
‐ IT–utvecklare
‐ Manager System Development
‐ Information Security Manager
‐ Project Planner
‐ Design Engineer
‐ Kvalitets och utvecklingschef
‐ General Manager (Sales)
‐ Project Manager
Fråga 6 (se bilaga 1):
Har det skett någon typ av märkbar förändring i din karriärutveckling/i din arbetsbild/i din positionsbenämning efter din HYH–utbildning?
Svar: I 20 fall av 26 fall har det skett en förändring i vakans/position/yrkesbenämning. I 6 fall av 26 fall har man svarat att ingen förändring skett. Då det gäller förändringen handlar det om utnämningar till chefspositioner och ledningsgruppsmedlemskap. Sammantaget har förändringen inneburit mera ansvar, även lön och fördjupat engagemang i företaget. Förändringen beskrivs via följande kommentarer:
Om ja, vad har förändrats (verkan)?
‐ ”Lite högre lön”
‐ ”Mera renodlat ledande”
‐ ”Expert”
‐ ”Analytiker”
‐ ”Blev kvalitetschef åt ledningsgruppen”
‐ ”Från sakkunnig till tf. chef”
‐ ”Bytte tjänst och arbetsplats”
‐ ”Högre lön”
‐ ”Mera ledarskapsuppgifter”
‐ ”Högre position”
‐ ”Tror att jag inte skulle ha den position jag har idag”
‐ ”Större förtroende”
‐ ”Skolvärlden är inte som industrin”
‐ ”Positiv löneutveckling”
‐ ”Ökat förtroende ”
‐ ”Från anställd till företagare”
De som svarat nej i frågan om förändringen, tillfrågades inte orsak och dessa har inte heller kommenterat sitt svar. Ett nej – kan a) eventuellt tolkas som att det inte finns läge för ny vakans eller förändrad vakans i företaget – att b) den utexaminerade inte specifikt söker ännu högre vakans – att c) utbildningen i sig inte bidragit till eller gett förändringsincitament – men även andra inre eller yttre orsaker i ett företag eller organisation (egna reflektioner).
Sammanfattning
1. Då det gäller bakgrundsvariablerna ser vi att alla Högre YH–utdimitterade hade en ingenjörsutbildning som utgångspunkt.
2. Svarspersonerna är nu alla i arbetslivet, i annans företag eller i eget företag.
3. I 20 av 26 fall har det skett en förändring under och/eller efter examen.
4. 6 av 26 fall uppger att det inte skett någon märkbar förändring i deras yrkesbild.
Enkätens uppbyggnad inleddes med bakgrundsfrågor och därefter behandlades de specifika frågorna, det vill säga sådana som berör det som avses att mätas i ROEE–
modellen. De specifika frågorna gällde utbildningens innehåll, utbildningens metoder, hur han/hon reagerat på utbildningen, utvärdering av lärandet och utvärdering av beteendet. Detta för att kunna tillämpa ROEE–modellen som mätmodell och effektmått och sålunda ta fram siffervärden för markören ROEE.
(Granqvist 2011).
I de följande avsnitten, avsnitt 2.3–2.8, redovisas för studiens resultat i fråga om komponenterna innehåll (I), metoder (M), reaktioner (R), lärandet (L) och beteendet (B) var för sig.
2.3 Utvärdering av utbildningens innehåll (I)
Analysen av svaren visar att innehållet sammantaget värderas till 3.982 (skala 1–5). Bland de 26 svarande fanns det 20 svarande som bedömde innehållet som utmärkt och sex upplevde innehållet som tillfredsställande.
Här följer ett utdrag i fråga om svarsresultat på några utvalda delfrågor (jämför enkäten, bilaga 1) som bygger upp frågebatteriet och parametern innehållet (I) enligt följande:
Delfrågorna (se fråga 7 i enkäten):
Fråga 7.4: Hur bedömer du utbildningens innehåll och den eventuella kopplingen till ditt dagliga arbete?
Svar: Då det gäller innehållet och kopplingen till det dagliga arbetet är bedömningen 4.200, således en tydlig koppling mellan arbetet och skolan.
Fråga 7.5: Hur bedömer du föreläsarnas insikt?
Svar: Medeltal 4.300.
Fråga 7.6: Hur bedömer du föreläsarnas förmåga att överföra kunskap i fråga om utbildningens innehåll?
Svar: Medeltal 4.160.
Fråga 7.7: Hur bedömer du klargörandet av en ledares arbetssituation?
Svar: Medeltal: 4.020.
Därefter skulle svarspersonerna ta ställning till de olika kurshelheterna.
Svarsresultaten visar att 22 svarspersoner svarade att kursen Självkännedom och personlig utveckling ger mest lärdom, det vill säga bidrar med relevant kunskap som man kan använda i sitt arbete på bästa sätt. Kurserna Organisationsutveckling,
2 Skala (1–5): 1 = mycket dåligt, 2 = dåligt, 3 = tillfredsställande, 4 = bra, 5 = utmärkt.
Affärsutveckling och Ledning av förändringar och konflikthantering är de som gett näst mest lärdom till 24 svarspersoner. Då det gäller Ledning av förändringar och konflikthantering är kommentarerna enligt följande:
‐ ”Jag förstår bättre den dagliga interaktionen mellan interna och externa parter”
‐ ”Den vidgade mitt synsätt gällande bland annat förändringsmotstånd”
‐ ”Lärde mig mera om konflikthantering”
Andra kommentarer framkom inte.
I fråga om Vetenskapsmetodik fanns det endast två kommentarer. Den ena en positiv kommentar och den andra kommentaren ansåg att vetenskapsmetodiken borde vara mera praktisk.
Därtill:
Svarspersonerna skriver också att de uppskattar mycket att man kunnat föra en dialog mellan studerande och lärare i anslutning till undervisningstillfällena.
Då det gäller kommentarer och eventuella förslag till förbättringar noterades följande:
‐ ”Mera grupparbeten”
‐ ”Mera satsning på affärsutveckling”
‐ ”Fler gästföreläsare i kursen Tillämpning av nya teknologier trots att vi har åtta gästföreläsare i den kursen” (egen kommentar)
‐ ”Mera om vetenskapligt skrivande”
2.4 Utvärdering av utbildningsmetoder (M)
Då det gäller utbildningsmetoderna visar studien att det är variation i metoderna som lär bäst. Med variation förstås föreläsningar, självstudier, lärande av andra och egen reflektion.
Lärande att göra något, till exempel ett övningsarbete och lärande och genom att läsa på egen hand är också uppskattade metoder. Utbildningsmetoderna erhöll medeltalet 4,300 av de studerande.
2.5 Utvärdering av reaktioner (R)
Utvärdering av reaktioner förknippas tätt med kundtillfredsställelsemätning (se Kirkpatrick 1998 och Sörqvist 2000) där de svarande utvärderar hur de upplever utbildningen beträffande förväntningar, utfall och lärarnas insikter kring innehållet och lärarnas förmåga att transformera (se Lebermann & Doyle 2006) innehållet, det vill säga ”lärandets vad”.
Resultaten ser ut som följer:
Fråga Medeltal
Utvärdera hur väl utbildningsprogrammet motsvarade dina förväntningar? 4,600 Gör en utvärdering av fackämneslärarnas insikter i ämnet de undervisade 4,300 Gör en utvärdering av fackämneslärarnas förmåga att lära ut dessa 4,200 Tabell 4. Utvärdering av reaktioner (R) för ett undersökningssampel (06/2015).
Därefter frågades följande i fråga om reaktioner:
Fråga: Kan du rekommendera denna utbildning du avlagt för andra?
Svar: 26 av 26 svarande svarade ja och därtill erhölls följande kommentarer:
‐ ”Man får en bredare bild av ledarskapet i företaget”
‐ ”Ett viktigt redskap för en framtid som ledare”
‐ ”Nyttigt”
‐ ”Ypperlig möjlighet att utveckla sina tankesätt”
‐ ”Över lag bra”
‐ ”Utbildningen är bra”
‐ ”Ja, men kom ihåg att vara motiverad innan du börjar studera”
‐ ”Speciellt om man har ledarskapsuppgifter men det kräver nog en del arbetserfarenhet för att kunna återkoppla till utbildningen”
‐ ”Ger insikter, behörighet och nya kontakter”
‐ ”Utmärkt tillägg till den normala ingenjörsutbildningen”
Därefter frågades vad som skulle ha förbättrat utbildningen:
‐ ”Mera info i ett tidigare skede hur examensarbete ska skrivas”
‐ ”Att någon som lett ett jättestort företag framgångsrikt skulle gästföreläsa”
‐ ”Substansen kan alltid förbättras alla gånger”
‐ ”Ännu mera praktiska exempel”
‐ ”Ännu snabbare feedback på övningsarbeten”
‐ ”Inga kommentarer”
‐ ”Fler hjälpmedel”
‐ ”Mera praktik”
‐ ”Flera företagsbesök men begränsad tid”
Medelvärdet för reaktionerna var 4,400.
I avsnitt 2.6 följer utvärdering av lärandet (se enkäten, bilaga 1, fråga 16).
2.6 Utvärdering av lärandet (L)
Fråga Medeltal
Utvärdera i vilken utsträckning dina kunskaper förbättrades då det gäller ledarskap! 4,400 Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrades i fråga om
ditt synsätt på självkännedom, självförtroende och självbild!
4,500
Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrade din förmåga att hantera och leda människor!
4,100
Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrades i fråga om ditt synsätt på lönsamhetstänkandet!
4,000
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på affärsutveckling!
4,200
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på vetenskapligt arbete och forskning!
3,900
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på förändring och att leda konflikter!
4,100
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på vad ett lärdomsprov är!
4,000
Att motivera dig till att vara engagerad i det du gör i arbetet för företaget, hängivenhet (commitment)!
4,100
Hur anser du att det utbildningsprogram du valde påverkade din självkänsla och din handlingskraft senare i livet?
4,100
Tabell 5. Medeltalsvärden för variabeln lärandet (06/2015).
Frågan verkar vara uttömmande eftersom inga kommentarer avgavs. Medelvärdet var 4,250.
2.7 Utvärdering av beteendet (B)
Med beteende mäts huruvida den utexaminerade använder det han/hon lärt sig i utbildningen/ i högskolan – i sitt jobb, ”on his/her job” (se Kirkpatrick 1998 och specifikt ROEE–modellen, Granqvist 2011).
Fråga: Finns det något i ditt agerande på arbetsplatsen som du tydligt kan koppla till det du lärt dig i utbildningen?
Svar: 25 av de svarande har svarat ja och en person nej.
Om svaret är ja, beskriv i korthet vad det är du gör och hur du i så fall agerar:
‐ ”Jag är mindre aggressiv och enkelspårigheten har avtagit”
‐ ”Jag har lärt mig att bättre kommunicera med människor”
‐ ”Jag kan uppmuntra till delaktighet”
‐ ”Min helhetsbild tar form”
‐ ”Organisationsutveckling”
‐ ”Ledarskap och empati”
‐ ”Hur man leder en avdelning”
Om svaret varit nej:
‐ ”Nej, inte beroende på utbildningen utan på att allt är som förr på arbetsplatsen”
Kring beteende följde fråga 18:
Fråga 18: Arbetar Du i ett sådant företag där chefen/ägaren uppmuntrar Dig att vara kreativ, ta initiativ till nya saker samt att lära ut Dina kunskaper åt andra? I så fall vad?
Svar: 80 % av de svarande arbetar i företag där kreativitet och initiativtagande uppmuntras och de 20 % av svarande uppger att företaget inte uppmuntrar till kreativitet och initiativtagande. Här kommer kommentarerna:
‐ ”Vi är i saltgruvan”
‐ ”Business as usual ”
‐ ”Företagaren ger inte impuls”
‐ ”Micro Management”
Fråga 19: Finns det något på Din arbetsplats som Du skulle vilja utveckla men som chefen/ägaren inte direkt stöder?
Svar: Här är de fyra kommentarerna som följer:
‐ ”Personalutveckling”
‐ ”Organisationsutveckling”
‐ ”Kvalitetsutveckling”
‐ ”Höja stämningen”
22 personer har svarat nej på frågan. 14 av 26 har svarat att det finns sådant som borde utvecklats men det finns inga resurser för det. Kommentarer enligt följande:
‐ ”Stort företag = tungroddhet”
‐ ”Byråkrati borde minska”
‐ ”Vi borde införa vuxenutbildning”
‐ ”Jo det finns”
‐ ”Det går trögt”
‐ ”Chefen går i sin egen riktning, han lyssnar men gör som han vill”
‐ ”Arbetsro saknas”
Fråga 20: Då Du tänker tillbaka på Din utbildning, vad skulle ha behövts som skulle ha varit speciellt bra för Dig och varför?
Svar: De svarande har registrerat följande behov:
‐ ”Bättre support från arbetsgivaren när jag skrev lärdomsprovet”
‐ ”Att bygga bra sammanhållning”
‐ ”Jag borde ha gått en liknande utbildning 10–15 år tidigare. Jag skulle ha haft en lättare karriär och inte
behövt göra de misstag jag gjort”
‐ ”Vetenskapsmetodiken borde ha kommit först”
‐ ”Mera projektledning i stället för processledning”
‐ ”Kanske flera företagsbesök”
Sedan till avsnittet om Forskning, Utveckling och Innovation (i vardagsbeteckning FoU eller FUI). Målet var att kartlägga och klarlägga huruvida de studerande kunde tänkas vara mera engagerade i Forskning och utvecklingsarbete och konkret – mera kopplade till YH Novias forsknings– och utvecklingsarbete, till exempel lärdomprovsprocessen.
Resultaten var som följer:
Fråga 21: Bedöm företagets/organisationens FoU verksamhet
22 svarspersoner bedömer det egna företagets FoU verksamhet som omfattande i fråga om resurs och volym. FoU prioriteras och är en central aktivitet. I fråga 22 gällde det att kategorisera det egna lärdomsprovet som man utfört och där är karakteristikan enligt följande:
”Vi har utfört ett lärdomsprov som vi kategoriserar som tillämpad forskning på utveckling med och för företaget”. 6 av 26 har även noterat att lärdomsprovet innefattade innovation och nytänkande.
I fråga 23 (se bilaga 1) bedömer 23 av 26 att nyttan med lärdomsprovet var tydlig och tre att lärdomsprovet var av en viss nytta.
I fråga 24 bedömde svarspersonerna vad för typ av bidrag lärdomsprovet gett företaget. Här framkom följande:
‐ ”Affärsutveckling”
‐ ”Mot bättre HR”
‐ ”Stor insiktsförändring”
‐ ”Organisationsutveckling och ledarskap” (7 svarande)
‐ ”Helt ny teknologi kunde fokuseras”
‐ ”Nya arbetssätt”
Fråga 25: Skulle det ha gett Dig och företaget ett mervärde (added value/kontribution) att utföra Ditt lärdomsprov i samarbete med en utomstående forskningsenhet?
Svar: I 22 fall av 26 är svaret nej.
Vår egen analys:
Trots den tydligt negativa förhållningen till att utföra lärdomsprovet i samråd med en utomstående, i det här fallet YH Novias FoU–enhet – registrerades dock följande svar:
‐ ”Eventuellt skulle det kunna komma mera tyngd bakom forskningen om en utomstående instans skulle vara involverad”
‐ ”Inte sällan tror företaget mer på en konsult än på en arbetstagare”
‐ ”Bredare kontaktyta kan ge bättre och djupare insikt”
Medelvärdet var 4,100.
I kapitel 3 följer undersökningens analytiska statistik.
3. Analytisk statistik
Relaterat till ROEE–modellen och dess mätare konstaterades följande på basis av datainsamlingen i den empiriska studien:
1. Mätningen av innehållet I gav medelvärdet 3,9403 2. Mätningen av metoderna M gav medelvärdet 4,300 3. Mätningen av reaktionerna R gav medelvärdet 4,400 4. Mätningen av lärandet L gav medelvärdet 4,250 5. Mätningen av beteendet B gav medelvärdet 4,100
Summan av de fem parametervärdena blir 20,990
Innehållet står för det lägsta parametervärdet och det högsta medelvärdet noteras för metoderna. En medelvärdesberäkning (vägt medelvärde) för ROEE ger följande:
20,990 : 5 = ROEE = 4,1980
Medelstandardavvikelsen var 0.3600
Ifall tabellvärdena sätts in i formeln får vi värdet för ROEE enligt följande:
ROEE = 4,1980
ROEE kan sägas vara ett effektmått som baserar sig på mätresultat från de olika observationsvariablerna. ROEE är ett medelvärde av fem variabler som bildar
3Kirkpatrick (1998) använder uttrycket ”performance index” för mätvärden och exempelvis vid upprepningar ser han det som positivt om performance indexet stiger – det vill säga det är positivt – sjunker det är det negativt.
5
) ( )
( )
( )
( )
(
1 1
1 1
1
n B x n
L x n
R x n
M x n
I x
n
i i n
i i n
i i n
i i n
i i
variabeluppsättning i studiens effektutvärderingsmodell, ROEE–modellen, se sidan 6 i denna rapport.
Den analytiska statistiken kunde lämpligen kompletteras med multipel regressionsanalys, konfirmatorisk faktoranalys och logistisk regressionsanalys men i denna studie, där antalet svarspersoner är under trettio (30) har dylika multivariata analysmetoder utelämnats just på grund av samplets ”litenhet” (Hair 2008).
4. Intervjuresultat
Intervjuerna utfördes under tiden mars - augusti 2015. Intervjuerna utfördes med ägarna och/eller företagsledaren i två stora företag och fyra sme-företag. Basen för intervjun var intervjuguiden (se bilaga 2). Vårt mål var att ta reda på följande:
1. Vem och när initierades att den studerande kunde/skulle inleda sina studier för en Högre YH-examen?
2. Vad har den studerande bidragit med för typ av nyttor under och även efter studietiden?
3. Har ni kommentarer eller gett förbättringsförslag i fråga om studiernas mål, innehåll och metoder?
4. Kan du rekommendera denna utbildning åt de som tar initiativet - vill/önskar avlägga en dylik examensutbildning?
Resultaten från intervjuerna sammanfattas enligt följande:
A) De sex intervjuade företagsledarna är mycket samstämmiga: ”Denna typ av examen passar företaget mycket väl. Vi menar att den studerande utvecklas och så utvecklas företaget, likaså – det finns ett bidrag som är mätbart. Därtill uppskattar vi fördelningen mellan teoribildning och det praktiska inslaget”.
B) De studerande kommer med nya idéer till företaget, antingen via teoribildningen eller via den dialog de fört med sina medstuderande under
studietiden. Det verkar som om man brottas med likartade problem inom ledarskap men greppen är olika och det är just nya grepp och nya sätt som är bra att ha.
C) Fortsätt med utbildningen! Vi rekommenderar denna typ av utbildning.
D) De svarande karakteriserar sin FOU – verksamhet som viktig och omfattande.
Det bör dock komma till en tydligare dialog mellan högskolan, näringslivet och den studerande på vilket sätt lärdomsproven kunde vara kopplade till Novias FOU-verksamhet och specifikt: vem äger utvecklingsarbetet, hanteringen av sensitiva uppgifter, hur, när och vem ska fortsätta utvecklingsarbetet, finansiering, ansvar och publikation.
5. Reflektion och sammanfattning
Denna totalundersökning omfattade 26 dimitterade (nu 2010, 2011, 2012) Högre YH–ingenjörer och djupintervjuer med sex företagsledare. Detta är den andra totalutvärderingen av utbildningen i Teknologibaserat ledarskap sedan år 2007 (då som utdimitterades 2009, 2010 och 2011).
Undersökningen bland de 26 dimitterade Högre YH–ingenjörerna och de sex intervjuerna visar följande:
1. Examensformen är karriärfrämjande.
2. Det sker en mätbar förändring i form av lön och vakans som kan relateras till avläggandet av denna examen.
3. Utbildningens innehåll och metoder upplevs vara bra men undersökningen visar på möjligheter att ytterligare och ständigt förbättra.
4. I jämförelse med den tidigare undersökningen från 2009, 2010 och 2011 påvisar resultaten en stor samstämmighet. Denna undersökning påvisar inte vetenskapligt distinkt signifikanta förändringar - men i fråga om innehållet påvisas en förändring från 3,800 till 3,940. Vi ser detta som positivt därför att
vi har en ständig strävan att utveckla innehållet och det är en av de parametrar där de svarande indikerar utvecklingspotential.
5. Intervjuresultaten är entydiga – de sex svarspersonerna finner denna form av Högre YH–examen vara passande för deras verksamhet och behov. De menar att utbildningen kan rekommenderas därför att utökad teoribas jämte utvecklingsförslag bidrar till fortsatt utveckling av verksamheten.
6. Denna effektutvärdering som skett via elektronisk enkät har inte föranlett en återgång till manuell undersökningsmetodik – tvärtom, pilottesten och förarbetet baserat på de manuella handlingarna lade grunden för en tämligen lyckad process.
Vi anser att validiteten och reliabiliteten är god i denna studie. Det finns ingen strävan att generalisera på basis av studiens resultat. Resultaten gäller dock för utbildningen i Teknologibaserat ledarskap vid Yrkeshögskolan Novia, för 26 utdimitterade HYH–
ingenjörer och de sex intervjupersonerna insatt i sina sammanhang.
Litteraturförteckning
Asparouhov, T. & Muthén, B. (2009). Exploratory structural equation modeling.
Structural Equation Modeling, 16:397–438.
Augustinsson, S. (2006). Om organiserad komplexitet: Integration av organisering, lärande och kunnande. Luleå: Luleå Tekniska Universitet.
Bandura, A. (1997). Social Learning Theory. Prentice Hall: Facsimile edition.
Bechard, J–P. and Gregoire, D. (2005). Understanding teaching models in
entrepreneurship for higher education, in P.Kyrö and C.Carrier, The dynamics of learning entrepreneurship in a cross–cultural university context.
Entrepreneurship Education Series 2/2005, Hämeenlinna: University of Tampere, Research Centre for Vocational and professional Education, pp 104–134.
Faugert, S., Göransson, C., Sundberg, Y. and Dovelius, J. (1995). Cause–effect chains as a tool for learning evaluations. Paper presented at AEA/IEC – Cancover, November 3, 1995.
Fayolle, A., Gailly, B. and Lassas–Clerc, N. (2006) Assessing the impact of entrepreneurship education programmes: a new methodology. Journal of European Industrial Training vol 30, no 9, pp. 701–720.
Fayolle, A. (2005). Evaluation on entrepreneurship education: behaviour performing or intention increasing?. International Journal of Entrepreneurship and Small Business, 2 (1), pp 89–98.
Fayolle, A. (2007). Handbook of research in entrepreneurship education, Volume 1, A general perspective. Cheltenham: Edward Elgar Publishing Limited.
Fayolle, A. and Klandt, H. (2006). International entrepreneurship education, Issues and newness. Cheltenham: Edward Elgar Publishing Limited.
Fayolle, A. and Gailly, B. (2004). Using the theory of planned behaviour to assess entrepreneurship teaching programs: a first experimentation. IntEnt2004 Conference, Naples, 5–7 July.
Granqvist S. (2011): Effektutvärdering inom företagande utbildning, Doctoral Thesis.
Svenska handelshögskolan, Vasa.
Hair, J.F. (2005). Marketing Research: Within a Changing Information Environment.
Irwin Professional Pub.
Hair, J.F. (2008). Multivariate Data Analysis. Prentice Hall.
Hair, J.F., Anderson, R.E., Tatham, R.L. and Black, W.C. (1995). Multivariate data analysis with readings, fourth edition. Englewood Cliffs: Prentice–Hall.
Honig, B. (2004). Entrepreneurship education: Toward a model of contingency–
based business planning. Academy of Management Learning and Education, Vol. 3, No.3, pp 258–273.
Jöreskog, K. & Yang, F. (1996). Non–linear structural equation models: The Kenny–
Judd model with interaction effects. Advanced structural equation modelling:
Concepts, issues and applications. Thousand Oaks: Sage Publications.
Kirkpatrick D. (1998): Evaluating training programs: the four level, Berrett–Koehler Publications, Inc.
Kolvereid, L. and Moen, Ø. (1997). Entrepreneurship among business graduates:
does a major in entrepreneurship make a difference? Journal of European Industrial Training 21/4, pp 154–160.
Sheskin, D. (2004). "Test 20, the Mc Nemar Test". Handbook of parametric and nonparametric statistical procedures. CRC Press.pp.1193.
Yorks, L., Beechler, S. and Ciporen, R. (2007). Enhancing the impact of an open–
enrollment executive program through assessment. Academy of Management Learning & Education, Vol. 6, no 3, pp 310–320.
1. Jag utdimitterades från Högre YH-utbildningen vid Novia år ? 2. Jag hade från tidigare en examen från utbildningsprogrammet ?
5. Min vakans/position/yrkesbenämning som anställd är i dagsläget
8. Jag anser att kursen
Detta därför att kursen lärde mig, vad? Skriv spontant!
9. Jag anser att kursen
Detta därför att kursen lärde mig, vad? Skriv spontant!
FRÅGEFORMULÄR 1/2015
Utvärdering inom ledarskapsutbildningen
Högre YH-utbildningen - Master of Engineering 2015
BAKGRUNDSINFORMATION
Innan Du besvarar de egentliga utvärderingsfrågorna ber vi Dig vänligen lämna kort bakgrundsinformation.
--Välj--
3. Hur många års arbetslivserfarenhet har Du i svarande stund?
< 10 år 11-16 år > 17 år Arbetserfarenhet
4. Anställningsförhållande
Anställd i annans företag Egen företagare Anställd och egen företagare Inom vilken bransch?
Jag verkar idag som
6. Har det skett någon typ av märkbar förändring i din karriärutveckling/i din arbetsbild/ i din positionsbenämning efter Din HYH-utbildning?
Ja Nej Vad har förändrats?
Förändring
UTVÄRDERING AV UTBILDNINGENS INNEHÅLL (I)
7. Hur bedömer Du
Utmärkt Bra Tillfredställande Dåligt Mycket dåligt Utbildningens innehåll kopplat till ämnesområdet ledarskap
Kursernas innehåll relaterat till de sex specifika kurserna Hemarbetenas koppling till kursinnehållet
Utbildningens innehåll och den eventuella kopplingen till ditt dagliga arbete Föreläsarnas insikt
Föreläsarnas förmåga att överföra kunskap Klargörandet av en ledares arbetssituation
Då du studerade för avläggandet av examen inom Högre YH läste du kurser såsom Självkännedom och personlig utveckling,
Organisationsutveckling, Affärsutveckling, Vetenskapsmetodik, Personal- och processledning, Ledning av förändringar och konflikthantering och Tillämpning av nya teknologier. I denna undersökning är det centralt att klarlägga vilken typ av utbildning eller upplägg du anser vara viktig och som du haft mycket nytta av i ditt arbete. Fyll i och ge kommentarer vid behov!
var den som gav mig mest lärdom, det vill säga gav sådant som jag kan använda för att sköta mitt arbete på bästa sätt.
var den som gav mig näst mest lärdom, det vill säga sådant innehåll som jag bra kan använda för att sköta mitt arbete på bästa sätt.
10. Ytterligare kommentarer om utbildningens innehåll, t.ex. vad som borde tas bort eller läggas till
24.9.2015 https://survey.abo.fi/lomakkeet/6037/lomake.html?esikatselu=true
- BILAGA 1
2.
3.
Föreläsningar Självstudier
Lärande genom att göra något, t.ex. ett övningsarbete eller ett projekt Lärande via företagsbesök/exkursioner
Lärande genom att observera, titta på hur saker och ting görs Att lyssna på och lära av andra
Kombinationer av alla uppräknade, variation
12. Skriv fritt vilken metod Du anser vara suverän då det gäller att lära sig om ledarskap (någon av ovanstående metoder eller metoder utöver de uppräknade).
Övriga kommentarer?
15. Vad skulle ha förbättrat utbildningsprogrammet? Skriv fritt!
UTVÄRDERING AV UTBILDNINGSMETODER (M)
Frågekategorin behandlar olika utbildningsmetoder. Besvara frågorna jämte kommentarsmöjligheterna!
11. Rangordna följande undervisningsmetoder från 1-7 enligt hur Du anser att ifrågavarande metod gynnat Din inlärning om ledarskap! En sjua (7) visar att Du upplevde den metoden som bäst och en etta (1) som sämst.
UTVÄRDERING AV REAKTIONER (R)
Ge Dina svar på frågorna nedan om hur Du reagerade på den utbildning som Du genomgått.
13. Utvärdera
Utmärkt Bra Tillfredställande Dåligt Mycket dåligt Hur motsvarade utbildningsprogrammet dina förväntningar?
Hur var fackämneslärarnas insikter i ämnet de undervisade?
Hur var fackämneslärarnas förmåga att lära ut dessa insikter?
14. Kan Du rekommendera denna utbildning Du avlagt för andra?
Ja Nej Varför?
Jag rekommenderar
UTVÄRDERING AV LÄRANDET (L)
Följande frågor syftar till att klarlägga i vilken mån Dina kunskaper i ledarskap förbättrats under utbildningen samt huruvida utbildningen påverkade och förändrade Dina attityder.
16. Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrades!
Väldigt mycket Mycket I viss mån Inte särskilt Inte alls Dina kunskaper om ledarskap
Ditt synsätt på självkännedom, självförtroende och självbild Din förmåga att hantera och leda människor
Ditt synsätt på lönsamhetstänkandet Ditt synsätt på affärsutveckling
Ditt synsätt på vetenskapligt arbete och forskning Ditt synsätt på att leda förändring och hantera konflikter Ditt synsätt på vad ett lärdomsprov är
24.9.2015
https://survey.abo.fi/lomakkeet/6037/lomake.html?esikatselu=true
Övriga kommentarer?
17. Finns det nåt i Ditt agerande på arbetsplatsen som Du tydligt kan koppla till det Du lärt dig i utbildningen?
18. Arbetar Du i ett sådant företag där chefen/ägaren uppmuntrar Dig att vara kreativ, ta initiativ till nya saker samt att lära ut Dina kunskaper åt andra? I så fall vad?
19. Finns det nåt på Din arbetsplats som Du skulle vilja utveckla men som chefen/ägaren inte direkt stöder?
20. Då Du tänker tillbaka på Din utbildning, vad skulle ha behövts som skulle ha varit speciellt bra för Dig och varför? Skriv fritt!
Affärsutveckling
Organisationsutveckling och ledarskap Personalutveckling (HR)
Teknisk utveckling, såsom en produkt eller tjänst Utveckling av nytt marknadsområde
Säljandet i fokus Ny kundgrupp i fokus Helt ny teknologi i fokus
Nya arbetssätt (WoW), insiktsförändring Annat, vad?
1.
2.
Skicka uppgifterna URL för förhandsifyllning
Din motivation att engagera dig i företaget, hängivenhet (commitment) Utbildningens påverkan på Din självkänsla och handlingskraft senare i livet
UTVÄRDERING AV BETEENDE (B)
Målet med dessa frågor är att införskaffa information gällande i vilken utsträckning man tillämpar det man lärt sig, inom ramen för HYH- studierna, på jobbet.
UTBILDNINGENS KOPPLING TILL FORSKNING, UTVECKLING OCH INNOVATION (FoU)
21. Bedöm företagets/organisationens FoU verksamhet!
Väldigt mycket Mycket I viss mån Inte särskillt Inte alls Omfattning i resurs och volym
Prioriteras som fokusområde Som strategisk aktivitet
22. Hur karakteriserar Du det lärdomsprov du utförde inom ramen för din HYH-examen?
Tillämpad forskning Utveckling med och för företaget Innovation och nytänkande Annat Precisera!
Var det fokus på:
23. Beskriv hur Du karakteriserar Ditt lärdomsprov med tanke på nyttan för företaget/organisationen!
Tydlig nytta En viss nytta Ingen nytta alls Precisera!
Nyttan av lärdomsprovet
24. Bedöm i vilka sammanhang Din HYH-utbildning bidrar till utvecklingen i företaget/organisationen!
25. Skulle det ha gett Dig och företaget ett mervärde (added value/kontribution) att utföra Ditt lärdomsprov i samarbete med en utomstående forskningsenhet?
Ja Nej Eventuellt På vilket sätt och med vem?
Mervärde
26. Ge två konkreta förslag till sådant kursinnehåll som ytterligare skulle stöda Din kunskap om forskning, utveckling och innovation så att Du hade kunnat fokusera ännu mera på FoU processen i ditt lärdomsprov!
Skicka
24.9.2015
https://survey.abo.fi/lomakkeet/6037/lomake.html?esikatselu=true
Teknologibaserat Ledarskap, Yrkeshögskolan Novia
Järjestelmänä Eduix E-lomake 3.1, www.e-lomake.fi
24.9.2015
https://survey.abo.fi/lomakkeet/6037/lomake.html?esikatselu=true
Intervjuunderlag i en Effektutvärdering 2015 Vasa 2015
Märke: Högre Yh utbildningen, Master of Engineering/Novia
Bästa företagsledare/företagare/partner/mentor/person i ledande‐/ansvarsposition I samband med ett nationellt utvärderingsprojekt genomför vi en intervju i sådana företag där det finns en eller flera anställda med examen Ingenjör Högre YH, Master of Engineering. Eftersom det i Ert företag torde finnas en eller flera anställda och/eller delägare vänder vi oss till Er med ett antal väsentliga frågor för att generera beslutsunderlag för nulägesbedömning, framtid och utveckling.
Vårt mål är att ta reda på följande:
1. Vem och när initierades att den studerande kunde/skulle inleda sina studier för en Högre YH‐examen?
2. Vad har den studerande bidragit med för typ av nyttor under och även efter studietiden?
3. Har ni kommentarer eller förbättringsförslag i fråga om studiernas mål, innehåll och metoder?
4. Kan du rekommendera denna utbildning åt de som tar initiativet/vill/ önskar avlägga en dylik examensutbildning?
Frågorna:
1. Hur många av Era anställda har avlagt en Högre YH ‐ examen?
2. I vilken befattning/position/tjänstebefattning verkar personen i fråga?
3. Är personen engagerad i utvecklings ‐ eller ledningsfunktioner i företaget? Ja/Nej 4. Era eventuella kommentarer till fråga 3.
5. Vilka är styrkorna i den ledarskapsutbildning personen i fråga avlagt (er bedömning)? Kan dessa styrkor tillvaratas och förädlas (implementeras) i företaget? Kommentarer!
6. Lärdomsprovet – vad gav det företaget och eventuellt vad gav det personen ifråga?
7. Forskning‐ utveckling och innovation – hur aktiv sådan har Ni idag dagsläget och
finns det sådan form av/ och förslag till FOU ‐ aktiviteter som kunde utföras i samarbete med Novias forsknings‐ och utvecklingsavdelning? Konkret!
8. Till sist: Ge två förslag på utveckling av examensutbildningen!
9. Kan Ni rekommendera denna utbildning för andra anställda i företaget?
Tack för Era svar och att vi fick Er tid för dialog!
Svaren sammanställs som korta kommentarer och kategoriseras som positiva och negativa omdömen samt centrala kommentarer. Era svar är konfidentiella!
Kontaktperson/intervjuare: Yrkeshögskolan Novia/Stefan Granqvist, ekon.dr, utbildningsansvarig Stefan.granqvist@novia.fi, tel. 06‐3285534/050 537 0430
