Innan utvärdering sätts i olika sammanhang kring förbättringsarbetet bör en redogörelse kring dess definition göras för att skapa en förståelse för användningen av begreppet i denna uppsats. Enligt Stufflebeam (2000) kan utvärdering ses som en form av undersökning eller analys utformad och tillämpad att bedöma ett objekts, en handlings förtjänst eller värde. Om det är tänkt att en viss process ska fortsätta, förbättras, utvidgas eller förkortas, eller för att öka effektiviteten i processen eller arbetet med de förutsättningar som möjliggör processen så är användningen av utvärdering ytterst lämplig enligt Wandersman (2009).
Det har under de senaste åren utvecklats ett flertal utvärderingsmetoder (Stufflebeam, 2000). Genom en historisk forskning har Hansen (2005) analyserat 22 olika utvärderingsmetoder mellan 1960-1999 och kategoriserat dessa utifrån deras styrkor och svagheter. Följande redogörs sju kategorier av utvärderingsmetoder som enligt Hansen kan ses som en generell kategorisering. Resultatmetoder fokuserar på utvärdering av ett resultat av ett visst genomförande, process eller organisation. Resultatet är då endast utvärderat sett till den förutbestämda målbilden. Effektmetoder är mer övergripande än resultatmetoder. Alla konsekvenser av ett visst objekt eller en viss handling tas med i ett subjektivt beaktande i utvärderingen. Processmetoder syftar till att utvärdera en viss process utifrån dess syfte och genomförandet av den, före, under och efter processens gång. Systemmetoder av utvärdering tillämpas vid analys av ett systems input, struktur, process och output i form av resultat.
Ekonomiska metoder är utvärderingar som också ofta tillämpas utifrån ett systemperspektiv
men med skillnaden att dessa metoder även omfattar den ekonomiska aspekten med faktorer såsom eventuella utgifter under systemprocessens gång. Aktörmetoder är utvärderingar baserade på en aktörs egna kriterier på objektet eller handlingen. Handlingar eller objekt rörande kunder sker utvärderingen utifrån ett kundperspektiv, handlingar eller objekt rörande intressenter sker utvärderingen utifrån ett intressentperspektiv osv. Slutligen finns det
31 Men till skillnad mot utvärderingarna inom resultatmetoderna, som bara beaktar resultatet sett till den förutbestämda målbilden, utvärderar man i en teoretisk programmetod en mer djupgående aspekt kring en process där man tittar på den grundläggande teorin bakom upplägget av processen eller organisationen för att bedöma dess tillförlitlighet. Valet av utvärderingsmetod, dess upplägg, insamling, hantering och analysering av data och användning av resultatet bör baseras vad utvärderingen har för syfte (Hansen, 2005).
En viktig aspekt kring utvärderingsmetoderna är förmågan att tillämpa dem utifrån en objektiv synvinkel. Ekonomiska metoder och motsvarande resultatmetoder anses förutfattat vara objektiva i de resultat de frambringar (Hansen, 2005). En typ av utvärderingsmetod som ofta kritiseras för dess brist i objektivitet är egenmaktsutvärderingar. Dessa utvärderingar tillämpas inom processer och organisationer för att uppnå resultat genom att stimulera individuella förändringar i tänkande och beteende (Wandersman et al., 2005a). Då syftet med dessa utvärderingar är att uppnå ett positivt resultat har en misstro uppdagats att resultatet inte blir pålitligt eller opartiskt (Stufflebeam, 2001). Wandersman et al. (2005a) förklarar dock att kritiken besvarats genom resonemanget att människorna som utvärderas i en egenmaktsutvärdering oftast inte är lika skrämda av vad en sådan utvärdering kommer att påvisa och således är mer öppna i sin delaktighet.
Trots att forskningen kring utvärdering lett till ett flertal utformade utvärderingsmetoder kan viss personal ha en negativ inställning gentemot utvärdering och kan välja att inte samarbeta fullt ut (Wandersman, 2009). Detta kan göra att utvärderingarna inte genomförs med omsorg vilket kan leda till att resultatet blir missvisande och således skapar en vriden bild av
verkligheten (Wandersman, Goodman, & Butterfoss, 2005b). 3.8 UTVÄRDERING I FÖRBÄTTRINGSARBETET
Förbättringsverktygen som har beskrivits används alla kring förbättringsarbetet inom företagen på olika vis. Vad som även är genomgående för de flesta av verktygen är att den avslutande delen i dem handlar om att utvärdera det förändrade stadiet i syfte att bekräfta att det blev som det var tänkt, att se om förbättringen går att utveckla ytterligare eller att se till så en ny framtagen process också efterföljs. Syftet i denna uppsats är undersöka om utvärdering kan vara lösningen på den problematik som beskrivs vid implementering av förbättringsfilosofier, samt om den kan synliggöra ifall de teoretiska förbättringsverktygen verkligen tillämpas fullt ut av företagen när det kommer till utvärderingsfaserna. Matthews (1996) menar till exempel att de flesta företag som använder sig av PDCA inte använder hela PDCA cykeln. Så fort utvärderingsfasen börjar så slutar tillämpandet av PDCA cykeln varpå man utesluter utvärdering som skulle kunna påvisa ifall den nya informationen som kan leda till ytterligare förbättringar och kunskap. Man brister alltså på de två sista stegen i PDCA cykeln. När brister uppkommer i dessa steg blir det svårt att använda lyckade förbättringar på andra ställen i verksamheten. Om fallet är som Matthews beskrivit redan 1996, kan det verkligen vara så att problemet kvarstår än idag?
32
4 INTERVJUSTUDIE
Intervjustudien följer (Dawson, 2002) och (Gillham, 2008) metod. 4.1 UPPLÄGG
Deltagarna i intervjuerna var begränsade till operatör/gruppledare samt en avdelningschef för att få så nära förståelse för hur det faktiska arbetet ser ut inom företagens operativa förbättringsarbete. Intervjustudien omfattades av fem stycken företag där två respondenter representerar varje enskilt företag. Fem företag valdes med anledning av tiden som författarna hade till förfogande. Varje intervju var beräknad att ta cirka en timme. Intervjuupplägget var uppdelat i tre delar. Första delen var en introduktionsdel där syftet med intervjun delgavs tillsammans med information om intervjuarna själva och hur intervjun kommer att gå till. Den andra delen handlar om förbättringsarbetet och slutligen sista delen handlar om utvärdering av förbättringsarbetet. Frågorna på intervjun beskrivs i Tabell 4. Intervjustudien valdes att göras öppen, dels för att respondenterna skulle känna ett förtroende för intervjuarna och öppna upp sig, men även för att få valid information (Dawson, 2002).
Tabell 4 - Intervjuupplägg
1. Vem är du och hur är du som person?
2. Hur definierar du en förbättring? 3. Erfarenheter kring förbättringsarbete? 4. Vad har du för roll i företaget?
5. Rita upp er förbättringsprocess i produktionsarbetet och förklara vad vi ser 6. Vilka delar av förbättringsprocessen är du delaktig i?
7. Finns det ett enhetligt tänk kring förbättringsarbete inom hela organisationen? 8. Hur upplever du förutsättningarna ni får för att arbeta utifrån ett förbättringstänk? 9. Vilka förbättringsverktyg (modeller) använder ni er av, och vad används dom till?
10. I förbättringsarbetet, finns det något samarbete eller kommunikation med andra avdelningar? 11. Hur vet ni att ni uppnått en förbättring som är genomförd?
12. Hur viktigt tycker du det är att utvärdera utfallet av en förbättring och varför? 13. På vilket sätt ingår utvärdering i förbättringsverktygen?
14. Rita vart i processen som utvärderingen äger rum och förklara 15. Vad används utvärderingarna till?
16. På vilket sätt informeras utvärderingarna av förbättringar genom organisationen?
I n t r o F ö r b ä t t r i n g a r U t v ä r d e r i n g
33 Vid fråga 5 fick respondenten rita upp deras förbättringsprocess, dels för att ge en förståelse för intervjuarna hur processen går till, men också för att få respondenten mer avslappnad. Fråga 12 valdes att omfatta respondenternas personliga åsikter. Detta för att svaren kan bli begränsade om respondenterna ska representera hela företagets mening i frågan.
Vissa omständigheter kring genomförandet av intervjuerna var svåra för intervjuarna att påverka men en sak som påtrycktes i den inledande kontakten med samtliga företag var att intervjuerna önskades ske i ett enskilt rum. För att få med allting som sas på intervjun planerades intervjuerna att spelas in för att i efterhand kunna transkriberas. En risk att ta i beaktande med inspelning enligt Ejvegård (2003) är att den kan hämma vissa respondenter. Efter genomförandet av intervjuerna planerades en återkoppling till respondenterna eftersom respondenterna ska ha chans till att ändra sig eller om intervjuarna har missuppfattat någonting. En pilotstudie planerades för att undersöka om frågorna gav svar på det dem var avsedda för. (Gillham, 2008)
4.2 GENOMFÖRANDE
Arbetsgången i har följt en semi-strukturerad intervjuform. Frågorna ställdes till alla respondenter men frågorna var inte ställda ordagrant utifrån Tabell 4 utan ställda på ett sätt som passade konversationen i intervjun, men med samma innebörd. En sak som skiljde från intervju till intervju var att intervjuarna fick mer kunskap och blev mer erfarna allt eftersom. Ingen pilotstudie hann dock genomföras på grund av begränsad tidsåtgång.
Samtliga intervjuer utfördes i ett tyst rum med följande roller; en deltagare, två intervjuare varav en som höll reda på tid och om intervjun följde rätt riktning och en som förde dialogen med respondenten. Innan varje intervju fick respondenten skriva på sin förståelse att intervjun var konfidentiell på så sätt att varken företag eller person skulle kunna kopplas till intervjuresultatet. Samtliga intervjuer utfördes i avskilda och tysta konferensrum. Intervjuarna berättade vilka dem är och själva syftet med intervjun och hur intervjun skulle komma att gå till. Rummen där intervjuerna ägde rum var konferensrum med varierad ljudkänslighet. I ett av fallen (avdelningschefen på företag B) blev intervjun avbruten där intervjuarna och respondenten fick lov att byta konferensrum.
Alla intervjuer spelades in med ett godkännande från respondenten. Alla intervjuer transkriberades där allting som sades skrevs ner. Därefter sammanfattades transkriptionerna så att bara det som var relevant för studien, och det som svarade på frågeställningarna, presenterades (Dawson, 2002). I och med detta steg gjordes transkriptionerna konfidentiella genom att motsvarande befattningar i företagen benämndes lika, namn ströks och så vidare. Tiden för intervjuerna var planerade till en timme vilket stämde överens med 7 av 10 intervjuer. Tre intervjuer tog kortare tid och dessa var på företag A, C och D. På företag C och D berodde detta på att det inte fanns något mer att tillägga än vad som hade sagts.
Efter att transkriptionerna sammanfattats skickades de tillbaka till respondenterna för att få ett godkännande samt om respondenten ville ändra eller tillägga någonting i intervjun.
34 Fråga 5 gick som intervjuarna hade tänkt men fråga 11 blev dock en aning missförstådd i många fall varpå ytterligare förklaring fick klargöra vad intervjuarna menade. Fråga 14 och 15 kunde inte ställas till de flesta företagen eftersom utvärdering inte användes som en del utav deras förbättringsprocess. Ingen direkt fråga ställdes till respondenterna angående om de tillämpar utvärdering eller inte, men vilket framgick ändå i samtliga intervjuer.
Alla svar sattes ihop i en matris så att jämförelsen skulle bli enklare och överskådlig (se Bilaga 2). Därefter arrangerades de frågor som ställdes i intervjun och de svar med vilka företag som svarade samma på respektive fråga i en innehållsanalys (Yin, 2006; Gillham, 2008; Dawson, 2002). Data som analyserades användes för att besvara de två forskningsfrågorna.
35
5 RESULTAT
Här presenteras delar av resultatet som har kommit utifrån de tio intervjuerna genomförda på de fem företagen. Detta i form av en förklaring av företagens förbättringsprocesser beskrivna av respondenterna i respektive företag. En sammanställning av intervjutranskriptionerna har redogjorts i Bilaga 1.
En förbättringsgrupp har definierats i uppsatsen som alla berörda parter som påverkas av förbättringsförslaget. Vilka som ingår i förbättringsgrupperna har varierat på de undersökta företagen. De befattningar som kunde ingå i en sådan grupp var; operatörer, gruppledare, avdelningschefer, produktionstekniker, inköp, produktansvariga, konstruktörer, utrustningsansvariga och andra stödfunktioner kring produktionen.
5.1 FÖRETAG A
Här presenteras resultatet av förbättringsprocessen utifrån båda respondenterna inom företag A. Förbättringsprocessen illustreras i Figur 20.
AVDELNINGSCHEFEN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Arbetsgången är att operatören eller gruppledaren kommer in med en förbättring som sedan registreras i en databas som alla på företaget kommer åt och kan ta del utav. Förbättringen går till ansvarig person som ska leda ärendet. Samtidigt får avdelningschefen vem som äger ärendet. Avdelningschefen godkänner eller ger avslag på förbättringsförslaget med motivering varför den inte går igenom. Sedan implementeras förbättringen och detta registreras i databasen.
Figur 20 - Förbättringsprocess inom företag A
Verktyg Personer Möten Databas Avdelningschef Förbättringsgrupp Operatör/ Gruppledare Genomförande/ Avslag Avdelningschef Operatör/Gruppledare Förbättringsgruppsmöte
36
OPERATÖREN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Förbättringen kommer in från operatör och förbättringen och gruppledaren registrerar förslaget i databasen. Förbättringsgruppen granskar förslaget och avgör vem eller vilka som ska utföra förbättringen och om förslaget går igenom. Om förslaget stoppas ska det vara med motivering. Sedan implementeras förslaget och återkoppling sker till operatören som kom in med förbättringen.
5.2 FÖRETAG B
Här presenteras resultatet av förbättringsprocessen utifrån båda respondenterna inom företag B. Förbättringsprocessen illustreras i Figur 21.
AVDELNINGSCHEFEN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Alt 1. Operatören kommer på en förbättring som han tar upp med gruppledaren som skriver in den i en databas. Gruppledaren tar upp förbättringen på dagliga styrningen och sedan implementerar förbättringen.
Alt 2. Operatören kommer med en förbättring och sedan vänder sig till gruppledaren som tar den vidare till förbättringsgruppen. En arbetsorder upprättas och en entreprenör, i samråd med operatören, implementerar förbättringen.
Alt 3. Operatören kommer med en förbättring och går till avdelningschefen som sedan tar upp det med berörd avdelning där den berörda avdelningschefen tar upp med operatörerna som sedan implementerar förbättringen.
Figur 21 - Förbättringsprocess inom företag B
Verktyg Personer Möten Databas Avdelningschef Förbättringsgrupp Operatör/ Gruppledare Genomförande/ Avslag Alt 1 och 2 Alt 1,2 och 3 Alt 2 Alt 3 Avdelningschef Operatör/Gruppledare Alt 3 Alt 2 och 3
Daglig styrning Förbättringsgruppsmöte
Alt 1 Alt 2 och 3
Alt 1 och 2 Alt 1 Alt 3 Alt 1 och 3 Alt 1 Alt 1,2 och 3 Alt 2 Alt 2 och 3 Alt 2 och 3 Alt 3 Alt 3 Alt 3
37
OPERATÖREN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Alt 1. Operatören kommer med en förbättring som tar upp med gruppledaren som för in förbättringen i en databas. Gruppledaren tar upp förbättringen på dagliga styrningsmötet och sedan implementerar operatörerna förbättringen.
Alt 2. Operatören kommer med en förbättring och tar upp detta med gruppledaren som skriver in i databas och kontaktar förbättringsgruppen som kontaktar entreprenör som kan implementera förbättringen.
Alt. 3 Operatören upptäcker en avvikelse. Gruppledaren undersöker problemet och tar upp avvikelsen på dagliga styrningsmötet. Sedan tar avdelningschefen över och kontaktar förbättringsgruppen som lägger in i databas och åtgärdar problemet.
5.3 FÖRETAG C
Här presenteras resultatet av förbättringsprocessen utifrån båda respondenterna inom företag C. Förbättringsprocessen illustreras i Figur 22.
AVDELNINGSCHEFEN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Operatören eller gruppledaren kommer på en förbättring som sedan kontaktar avdelningschefen som dokumenterar förbättringen i databasen. Sedan tas ärendet upp i förbättringsgruppen. Förbättringsgruppen utreder och genomför förbättringen och registrerar det i databasen. Förbättringen utförs av antingen förbättringsgruppen eller av operatören. Samtliga inblandade i förbättringen får kvittens av databasen att förbättringen är genomförd.
Figur 22 - Förbättringsprocess inom företag C
Verktyg Personer Möten Databas Avdelningschef Förbättringsgrupp Operatör/ Gruppledare Genomförande/ Avslag Avdelningschef Operatör/Gruppledare Förbättringsgruppsmöte
38
OPERATÖREN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Operatören eller gruppledaren kommer på en förbättring. Tar upp förbättringen med avdelningschefen. Ärendet registreras i databasen av antingen operatören eller avdelningschefen. Förbättringen styrs till ansvarig för förbättringen. Antingen utför förbättringsgruppen förbättringen eller operatören. Återkoppling och kvittens sker från databasen eller från avdelningschefen.
5.4 FÖRETAG D
Här presenteras resultatet av förbättringsprocessen utifrån båda respondenterna inom företag D. Förbättringsprocessen illustreras i Figur 23.
AVDELNINGSCHEFEN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
En förbättring eller avvikelse uppstår. Ärendet registreras och går till förbättringsgruppen som bestämmer vem som äger förbättringen eller avvikelsen. Förbättringsgruppen kollar standarden och om operatören var tränad i den. Om operatören har gjort fel blir operatören tränad i detta. Mindre förbättringsförslag godkänner förbättringsgruppen och sedan implementerar. Större förbättringsförlag går vidare till ledningsgruppen för beslut om ärendet ska implementeras. Med ett godkännande implementeras förbättringen.
Figur 23 - Förbättringsprocess inom företag D
OPERATÖRENS SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Operatör eller gruppledaren kommer in med en förbättring. Gruppledaren registrerar förbättringen i en databas och kontaktar förbättringsgruppen som godkänner eller ger avslag. Med ett godkännande implementeras förbättringen.
Verktyg Personer Möten Databas Avdelningschef Förbättringsgrupp Operatör/ Gruppledare Genomförande/ Avslag Avdelningschef Operatör/Gruppledare Förbättringsgruppsmöte
39 5.5 FÖRETAG E
Här presenteras resultatet av förbättringsprocessen utifrån båda respondenterna inom företag E. Förbättringsprocessen illustreras i Figur 24.
AVDELNINGSCHEFEN SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Använder sig av ett verktyg som består av fyra olika steg som är; datainsamling, analys, handlingsplan samt validering. Förbättringsförslaget ska gå igenom alla dessa steg för att kunna stängas. Verktyg Personer Möten Förbättringsverktyg Avdelningschef Förbättringsgrupp Operatör/ Gruppledare Genomförande/ Avslag Avdelningschef Operatör/Gruppledare Förbättringsgruppsmöte
Figur 24 - Förbättringsprocess inom företag E
OPERATÖRENS SYNSÄTT PÅ FÖRBÄTTRINGSPROCESSEN
Operatören slår larm om en avvikelse eller förbättring så tar den kontakt med gruppledaren som antingen går till avdelningschefen eller till förbättringsgruppen, där ofta återkoppling saknas, som åtgärdar avvikelsen eller förbättringen
40
6 ANALYS
Analysen har valts att delas upp i två delar där den första delen är kopplad till de beskrivna förbättringsprocesserna i resultatet och den senare delen är en redogörelse för den kvantitativa innehållsanalysen som finns i Bilaga 3.
6.1 ANALYS AV FÖRBÄTTRINGPROCESSERNA
Genom att analysera samtliga respondenters beskrivna förbättringsflöden har en generell förbättringsprocess konstruerats, se Figur 25. På samtliga företag uppkom förbättringsförslagen från den operativa verksamheten. Förslagen grundades i avvikelser eller problem som uppstått men kunde även vara att någon fått en idé kring hur något redan fungerande skulle kunna bli ännu bättre. Hur stor utsträckning som de olika orsakerna ligger till grund för de faktiska förbättringsåtgärderna var dock oklart. Huruvida förbättringsförslaget tas vidare av den enskilda operatören eller dess gruppledare, eller en i vissa fall avdelningschefen efter ett dagligstyrningsmöte, var olika mellan företagen som undersökts. Men på fyra av fem företag så registreras förbättringsförslaget i någon typ av databas. Anmärkningsvärt för dessa fyra företag var att deras databaser var väldigt lika utifrån deras beskrivningar men uppfyllde fyra olika syften. Inom ett företag används databasen för registrering av förbättringsförslagen vilka även uppdateras under genomförandets gång. Ett annat företag använde databasen som ett kommunikationsverktyg under själva genomförandeprocessen och länk mellan berörda intressenter. Ett tredje företag använder databasen till att säkerställa så inte samma arbete behöver göras om igen. Detta genom att vid uppkomsten av förbättringsförslag som redan registrerats, varpå man kan se hur dessa åtgärder hanterades tidigare. Tre av företagen tillämpar även databasen rent statistiskt för att följa upp hur många förbättringar som genomförs. Databasen var det mest använda verktyget inom förbättringsprocessen på de undersökta företagen varpå det var anmärkningsvärt att ingen litterär källa nämnde detta verktyg. Efter att ett förbättringsförslag registrerats tas det vidare till någon form av förbättringsgrupp. Vilka denna består av beskrivs i resultatdelen. Genom möten bestämmer förbättringsgruppen om och hur förbättringen ska genomföras. Oavsett om förbättringsförslaget genomförs eller avslås så uppdateras och stängs förbättringsförslaget i databasen, detta dock inom tre av de fyra företagen som tillämpar en databas.
41
Figur 25 - Företagens förbättringsprocesser sammanfogade i en generell förbättringsprocess