Feedback från HYH‐examinerade och företagsledare
E ffektutvärdering 2012 ‐ 2014 inom ingenjörsutbildningen
Stefan Granqvist, Novia, PhD, Företagande och företagsledning 26.10.2015, Vasa
Effektutvärdering
Målet med utvärderingen 2012 ‐ 2014 var att undersöka värdet och betydelsen av den
ledarskapsutbildning som pågått från år 2007 –
> Detta den andra totalutvärderingen, den första 2009 – 2011 (Granqvist & Englund)
Sammanhanget och målgruppen: Utbildningen i Teknologibaserat ledarskap i Novia, 60sp,
ingenjörer (YH)/beslutsunderlag, DSS!
Ledarskap och företagsledning i fokus
Vår tes
Vi vill att den utbildning som förmedlas ska vara sådan att den kan användas i arbetet, on the job (jämför Kirkpatrick, Fayolle & Klandt, Yorks & Beechler & Ciporén 2007 och Granqvist 2011, likaså ett av yrkeshögskolans kärnuppdrag – core task!)
Det finns ingen strävan att ”ta sig bort” från teoribildning och
vetenskaplighet MEN… ”om det är så att kvaliteten och framför allt värdet av högklassig akademisk forskning blott är teori och ibland föga tillämpbart ‐ kan man komma om möjligt, sträva till att
balansera teoribildning, vetenskaplighet och dagsverklighet med varandra till något som är nyttigt och mätbart, klart, enkelt och
med verkan (jämför Kosunen och Volkmann, seminarium 6.10.2015,
Helsingfors/UKM/Wuppertal/Schumpeter School of Economics and
Business) = yrkeshögskolans roll och Masterutbildningens roll
Utvärdering
Med utvärdering förstås en systematisk undersökning av en aktivitets värde och betydelse (Sandberg & Faugert 2009) och
koppling görs till följande citat: ”Evaluation is the process of the determining the merit,
worth and value of things” (Scrivens 1991).
Teoribildningen
Teoribildningen för undersökningen är baserad på en av de första edukativa
utbildningsteorierna (Herbart 1776 ‐ 1841) och Kirkpatricks utvärderingsmodell (1998)
ROEE ‐ modellen är en sentida utvidgad
modell (Granqvist 2011) som använts i denna undersökning
Här: Pedagogiska variabler i fokus (lärandets
VAD och lärandets HUR)
Teoribildningen
Mätningen av lärandet bygger på det stegvisa, det vill säga att lärandet byggs på i olika
nivåer, från det enkla lärandet till mera reflektivt lärande och deutero–lärandet
Robust teoribas från utvärdering av
ledarskapsutbildningar i företagssammanhang internationellt (jämför Yorks & Beechler &
Ciporén 2007)
Figur 1. Mätaren ‐ ROEE‐modellen (Granqvist 2011)
ROEE‐modellen
Modellen är konformad och likaså
cirkelformad. Den förmedlar budskapet och idén om att effektutvärdering är:
• En process omfattande sex steg, stegen bygger på varandra
• Att läroprocessen startar med insatser som processeras
• Den som tar emot utbildning reagerar på något sätt
• Den studerande tar ”emot” utbildning och denna ger förutsättningar för beteende
• ROEE skall ses som ett effektmått som baserar sig på mätresultat från de i modellen ingående
observationsvariablerna, delmomenten.
Målgrupp och tidsperspektiv
1) Totalundersökningen (se
https://www.novia.fi/assets/filer/effektutvardering‐inom‐
hyh‐utbildningen‐teknologibaserat‐ledarskap‐2012‐
2014.pdf) omfattade 29 utdimitterade HYH–ingenjörer varav 26 svarade. I första skedet returnerades 18 svar och efter påminnelse returnerades 8 svar. Svarsprocenten var 89,5 %.
2) Intervjuerna utfördes under tiden mars–augusti 2015 och med nio frågor som grund i intervjuguiden (se bilaga 2).
Intervjuerna utfördes antingen i företaget eller så att företagsledaren kom till intervjutillfället på YH Novia.
Svarsprocenten var 100 %.
Resultatredovisning
1) Feedback från examinerade 2) Feedback från intervjuerna
3) Sammanfattning och om frigjorda krafter
1. Feedback från examinerade
Beskrivande statistik – grundinfo om målgruppen
Dimissionsåret Antal utdimitterade Antal utdimitterade som svarat
2012 9 9
2013 10 8
2014 10 9
TOTALT 29 26
Svarsprocent 26/29 89,5 %
Tabell 1. Dimissionsår och antal utdimitterade, YH Novia, Utbildning i Teknologibaserat ledarskap 2012–2014.
De 26 svarandes grundutbildning då de inledde sina studier:
•7 maskiningenjörer (YH)
•7 elektroteknikingenjörer (YH)
•6 produktionsekonomiingenjörer (YH)
•3 informationsteknikingenjörer (YH) 25 av 26 inom exportindustrin!
•1 lantmäteriingenjör (YH)
•1 byggnadsingenjör (YH)
•1 diplomingenjör (DI)
Arbetslivserfarenhet, Under 10 år
Arbetslivserfarenhet, 11 – 16 år
Arbetslivserfarenhet,
>17 år
Medelvärde, per 26 individer
6 personer 6 personer 14 personer 14 år
Tabell 2. Arbetslivserfarenhet – fördelning i undersökningssamplet.
Arbetslivserfarenhet
Hur upplevde man?
Innehållet
20 av 26 upplevde innehållet som utmärkt och 6 upplevde innehållet som tillfredsställande.
‐ Innehåll vs koppling till dagligt arbete, 4.200 (skala 1‐5)
‐ Föreläsarnas insikter, 4.300
‐ Föreläsarnas förmåga att överföra kunskap, 4.160
‐ Innehållsligt bästa kursen: Självkännedom och
personlig utveckling (1), Organisationsutveckling (2), Ledning av förändring och konflikthantering (3).
‐ Dialogen mellan studerande och lärare ytterst viktig.
Hur upplevde man?
Metoderna
‐ Variation i metoderna lär bäst, föreläsningar,
självstudier, lärande av andra och egen reflektion.
‐ Att göra något, det vill säga involvering är också uppskattat, jämför talesättet:
”Tell me and I forget, show me and I will remember,
just involve me and I will learn” (Lancaster & Jobber
2012)
Hur reagerade man?
Reaktionerna
‐ Reaktioner kan förknippas med
kundtillfredsställelsemätning (Kirkpatrick 1998 och Sörqvist 2000)
Fråga Medeltal
Utvärdera hur väl utbildningsprogrammet motsvarade dina förväntningar? 4,600
Gör en utvärdering av fackämneslärarnas insikter i ämnet de undervisade 4,300
Gör en utvärdering av fackämneslärarnas förmåga att lära ut dessa 4,200
Tabell 3. Reaktioner/2015
Fråga: Kan DU rekommendera denna utbildning för andra?
Svar: 26 av 26 svarande svarade ja och därtill erhölls följande kommentarer:
• ”Man får en bredare bild av ledarskapet i företaget”
• ”Ett viktigt redskap för en framtid som ledare”
• ”Nyttigt”
• ”Ypperlig möjlighet att utveckla sina tankesätt”
• ”Över lag bra”
• ”Utbildningen är bra”
• ”Ja, men kom ihåg att vara motiverad innan du börjar studera”
Hur upplevde man?
Lärandet
Utvärdera i vilken utsträckning dina kunskaper förbättrades då det gäller ledarskap! 4,400
Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrades i fråga om ditt synsätt på självkännedom, självförtroende och självbild!
4,500
Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrade din förmåga att hantera och leda människor!
4,100
Utvärdera i vilken utsträckning dina färdigheter och din förståelse förbättrades i fråga om ditt synsätt på lönsamhetstänkandet!
4,000
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på affärsutveckling! 4,200
Utvärdera i vilken utsträckning dina färdigheter och din förståelse i fråga om ditt synsätt på vetenskapligt arbete och forskning!
3,900
Tabell 4. Medeltalsvärden för variabeln lärandet/2015
Hur upplevde man?
Beteendet
Med beteende mäts huruvida den
utexaminerade använder det han/hon lärt sig i utbildningen/ i högskolan – i sitt jobb, ”on
his/her job” (se Kirkpatrick 1998 och specifikt
ROEE–modellen, Granqvist 2011).
Fortsatt om beteendet
Fråga: Finns det något i ditt agerande på arbetsplatsen som du tydligt kan koppla till det du lärt dig i utbildningen?
Svar: 25 av de svarande har svarat ja och en person nej.
• Om svaret är ja, beskriv i korthet vad det är du gör och hur du i så fall agerar:
• ”Jag är mindre aggressiv och enkelspårigheten har avtagit”
• ”Jag har lärt mig att bättre kommunicera med människor”
• ”Jag kan uppmuntra till delaktighet”
Fortsatt..
Fråga 18: Arbetar Du i ett sådant företag där chefen/ägaren uppmuntrar Dig att vara kreativ, ta initiativ till nya saker samt att lära ut Dina kunskaper åt andra? I så fall vad?
Svar: 80 % av de svarande arbetar i företag där kreativitet och initiativtagande uppmuntras och de 20 % av svarande uppger att företaget inte uppmuntrar till kreativitet och
initiativtagande. Här kommer kommentarerna:
• ”Vi är i saltgruvan”
• ”Business as usual”
• ”Företagaren ger inte impuls”
Fortsatt..
Fråga 19: Finns det något på Din arbetsplats som Du skulle vilja utveckla men som chefen/ägaren inte
direkt stöder?
Svar: Här valda kommentarer som följer:
• ”Personalutveckling”
• ”Organisationsutveckling”
• ”Kvalitetsutveckling”
• ”Höja stämningen”
• Mätningen av innehållet I gav medelvärdet 3,940
[1]• Mätningen av metoderna M gav medelvärdet 4,300
• Mätningen av reaktionerna R gav medelvärdet 4,400
• Mätningen av lärandet L gav medelvärdet 4,250
• Mätningen av beteendet B gav medelvärdet 4,100 Summan av de fem parametervärdena blir 20,990
En medelvärdesberäkning (vägt medelvärde) för ROEE ger följande:
20,990 : 5 = ROEE = 4,1980
Medelstandardavvikelsen var 0.3600
Ifall tabellvärdena sätts in i formeln får vi värdet för ROEE enligt följande:
5
) ( )
( )
( )
( )
(
1 1
1 1
1
n B x n
L x n
R x n
M x n
I x
n
i i n
i i n
i i n
i i n
i i
ROEE = 4,1980 = effektindexet
3
Analytisk statistik
Intervjuresultaten
• 6 företag i Västra Finland
• Kriterierna var:
‐ litet företag/medelstort företag/stort företag
‐ ägare/person i förmansställning, VD, vice VD, personaldirektör, utvecklingschef, strategi‐ eller utvecklingsansvarig
‐ fler än 3 anställda i företaget med ingenjör (Högre YH) titeln och verkat som sådana i mera än två år.
‐ i näromgivningen (kontoret, teamet,
ledningsgruppen, närliggande ansvarsområde)
Sammanfattning av intervju‐
resultaten
1. De sex intervjuade företagsledarna är mycket samstämmiga: ”Denna typ av examen passar företaget mycket väl. Vi menar att den studerande utvecklas och så utvecklas företaget, likaså – det finns ett bidrag som är mätbart. Därtill uppskattar vi fördelningen mellan teoribildning och det praktiska inslaget”.
2. De studerande kommer med nya idéer till företaget, antingen via
teoribildningen eller via den dialog de fört med sina medstuderande under studietiden. Det verkar som om man brottas med likartade problem inom ledarskap men greppen är olika och det är just nya grepp och nya sätt som är bra att ha.
3. Fortsätt med utbildningen! Vi rekommenderar denna typ av utbildning.
4. De svarande karakteriserar sin FOU – verksamhet som viktig och
omfattande. Det bör dock komma till en tydligare dialog mellan högskolan, näringslivet och den studerande på vilket sätt lärdomsproven kunde vara kopplade till Novias FOU‐verksamhet och specifikt: vem äger
utvecklingsarbetet, hanteringen av sensitiva uppgifter, hur, när och vem ska fortsätta utvecklingsarbetet, finansiering, ansvar och publikation.
Allt bara bra?
Nej, det finns mycket att utveckla varje dag:
• ”Mera info i ett tidigare skede hur examensarbete ska skrivas”
• ”Att någon som lett ett jättestort företag framgångsrikt skulle gästföreläsa”
• ”Substansen kan alltid förbättras alla gånger”
• ”Ännu mera praktiska exempel”
• ”Ännu snabbare feedback på övningsarbeten”
• ”Inga kommentarer”
• ”Fler hjälpmedel”
• ”Mera praktik”
• ”Flera företagsbesök men begränsad tid”
Allt bara bra?
• ”Bättre support från arbetsgivaren när jag skrev lärdomsprovet”
• ”Att bygga bra sammanhållning”
• ”Jag borde ha gått en liknande utbildning 10–15 år tidigare. Jag skulle ha haft en lättare karriär och inte behövt göra de misstag jag gjort”
• ”Vetenskapsmetodiken borde ha kommit först”
Teknologibaserat ledarskap och Novias FoU‐
verksamhet har inga uttalade kopplingar idag – här kan
och ska finnas möjligheter att utveckla!
”Kreativa frigjorda krafter”
Utbildningen förmedlat INSIKT (insight) i bland annat:
1. Stärkandet av självbilden
2. Modet (att våga) att presentera och införa nya sätt att arbeta – (new ways of working).
3. Att teoribildning och tillämpning är vardagsbestyr;
inte rocket science
4. ”Gör om – gör rätt” bevisen praktiseras öppnare 5. Mera betoning på VI än på jag och sinne för
proportioner för ett lyckligare liv
Kort tillbakablick och framåt
• Examensformen är karriärfrämjande.
• Det sker en mätbar förändring i form av lön och vakans som kan relateras till avläggandet av denna examen.
• Utbildningens innehåll och metoder upplevs vara bra men
undersökningen visar på möjligheter att ytterligare och ständigt förbättra.
• I jämförelse med den tidigare undersökningen från 2009, 2010 och 2011 påvisar resultaten en stor samstämmighet. Denna undersökning påvisar inte vetenskapligt distinkt signifikanta förändringar ‐ men i fråga om innehållet påvisas en förändring från 3,800 till 3,940. Vi ser detta som positivt därför att vi har en ständig strävan att utveckla innehållet och det är en av de parametrar där de svarande indikerar utvecklingspotential.
• Intervjuresultaten är entydiga – de sex svarspersonerna finner denna form av Högre YH–examen vara passande för deras verksamhet och behov. De menar att utbildningen kan rekommenderas därför att utökad teoribas jämte utvecklingsförslag bidrar till fortsatt utveckling av verksamheten.
• Denna effektutvärdering som skett via elektronisk enkät har inte föranlett en återgång till manuell undersökningsmetodik – tvärtom, pilottesten och förarbetet baserat på de manuella handlingarna lade grunden för en
tämligen lyckad process.
