Licentiatavhandling
Vägledande eller
vilseledande?
Kvalitetsmätning och ranking av universitet och högskolor
Brita Bergseth
Institutionen för beteendevetenskap och lärande Linköpings universitet
LiU-PEK-R-263 APRIL 2015
LINKÖPINGS UNIVERSITET
Institutionen för beteendevetenskap och lärande LiU-PEK-R-263
Copyright © 2015 Brita Bergseth ISBN: 978-91-7685-937-7
Tryck: Linköping, LiU-Tryck, Sverige, 2015 Linköpings universitet
Institutionen för beteendevetenskap och lärande SE-581 83 Linköping, Sweden
FÖRORD
Madeleine Abrandt Dahlgren och Ann-Marie Laginder, utan er som handledare hade detta arbete aldrig blivit till. Med professionalitet och imponerande tålamod har ni drivit min vetenskapliga skolning. Utma-ningen i uppgiften att vrida perspektivet hos en doktorand som starkt präglats av tidigare yrkeserfarenheter ska inte underskattas. Många humoristiska inspel har hjälpt till insikt.
Mitt största och varmaste tack till er!
Särskilt tackar jag också Peter Petocz för ett generöst samarbete och kvalificerat stöd i de statistiska bearbetningarna av det empiriska materialet.
Underlaget till mina studier bygger på granskningar som hundratals forskare, lärare och studenter har gjort av kvalitet och kvalitetsarbete vid universitet och högskolor. Bedömningarna har bidragit till en ovärder-lig ”bank” av erfarenheter och uppfattningar om kvaliteten inom vitt skilda akademiska områden. Önskar jag kunde tacka var och en personligen för denna rika källa att ösa ur.
För uppoffringar, engagemang och uppmuntran under min forsknings-resa tackar jag alla nära och kära, Erik, Elsa, Ellen och Inge - älskade stor-familj!
Saltsjö-Duvnäs, april 2015 Brita Bergseth
Sammanfattning
Få samhällsinstitutioner kan räkna sin historia lika långt tillbaka i tiden som universiteten. Utan tvekan kan akademin hävda sin hållbarhet som kun-skapsorganisation. Det institutionella konceptet för att bedriva forskning och utbildning har under århundradenas lopp vunnit stora framgångar. Ett uni-versitets auktoritet, autonomi och integritet är dock inte given.
Sedan slutet av 1990-talet granskas, bedöms och rankas kvaliteten vid svenska lärosäten systematiskt av externa organisationer, offentliga myn-digheter, intresseorganisationer och kommersiella medier både nationellt och internationellt. Syftet med granskningarna uppges som regel vara att informera en bred allmänhet och framför allt ge vägledning till blivande studenter om kvaliteten i högre utbildning. Men de modeller och metoder som tillämpas vid bedömningarna kan skilja sig åt väsentligt.
I två empiriska studier analyseras och jämförs resultaten av tre skilda modeller för extern bedömning, mätning och rankning av kvaliteten vid 24 svenska universitet och högskolor. Modellerna har alla det gemensamt att bedömningarna baseras på högskolelagen och samma övergripande definit-ion av begreppet kvalitet. Vilka faktorer som anses konstituera kvalitet vari-erar däremot liksom valet av data och metoder för kvalitetsmätning.
I den första studien jämfördes resultaten från Högskoleverkets utvärde-ring av 119 utbildningsprogram inom medicin och vård med en kvalitets-ranking av lärosäten som genomförts av en enskild förening, Urank. De stat-istiska analyser som gjordes av resultaten från de båda kvalitetsgranskning-arna indikerade endast ett slumpmässigt samband. I flera fall var skillnader-na betydande.
Också i den andra studien är utvärderingen av utbildningarna i medicin och vård ett av jämförelseobjekten. Den här gången jämfördes utfallen av utvärderingen med slutsatserna av de bedömningar som Högskoleverket under en sjuårsperiod gjort av lärosätenas systematiska kvalitetsarbete. Inte heller dessa analyser indikerade något annat än ett statistiskt slumpmässigt samband.
Resultaten bekräftar svårigheterna att finna valida, tillförlitliga och rele-vanta modeller för kvalitetsbedömningar och rankningar. Hittills har det inte vuxit fram några internationellt vedertagna instrument för mätning av kvali-teten i högre utbildning. Trots det har i synnerhet internationella universi-tetsrankningar, så kallade ’league tables’, fått ett kraftigt genomslag både som informationskälla och styrinstrument i utvecklingen vid universitet och högskolor.
Erfarenheterna från undersökningarna ger flera skäl att förhålla sig kri-tisk till resultat av utvärderingar, kvalitetsmätningar och ranking. Externa icke-akademiska organisationer, myndigheter och media, äger för närva-rande initiativet ifråga om information och bedömningar av kvaliteten i högre utbildning. En successiv förskjutning syns också i utvecklingen från kollegial styrning till management. Samtidigt riskeras att lärosätenas aka-demiska auktoritet och autonomi urholkas.
Slutsatserna understryker behovet av fortsatt metodutveckling för att eta-blera robusta granskningsmodeller som kan vinna tilltro såväl hos allmän-heten som inom akademin själv.
Innehållsförteckning
1
Inledning ...1
1.1 Kvalitetsgranskningar – den internationella scenen ... 1
1.2 Den svenska scenen ... 2
1.3 Kritik och debatt ... 2
1.4 Disposition ... 3
2
Teoretisk referensram ...5
2.1 Universitetskonceptet ... 5
2.2 Syften med kvalitetsbedömningar och former för kvalitetsmätning ... 6
2.3 Organisationer som utför kvalitetsbedömningar och ranking ... 7
2.3.1 Kvalitetsbedömningar – validitet, reliabilitet och relevans . 9 2.4 Kvalitetsindikatorer och analysmetoder ... 10
3
Den svenska kontexten ... 12
3.1 Utbildningsreformer för kvalitetsutveckling ... 12
3.2 Utveckling i spåren av New public management ... 13
3.3 Utvärdering av högre utbildning – ett institutionaliserat fenomen ... 14
3.3.1 Fokus i Högskoleverkets utvärderingar... 14
3.4 Högskoleverkets och Universitetskanslersämbetets granskningar av kvaliteten vid svenska universitet och högskolor 1995 – 2015 ... 16
3.5 Kvalitetsdefinition i det svenska utbildningsystemet ... 17
3.6 Sammanfattande reflektion och argument för studien .. 18
4
Syften och forskningsfrågor ... 21
5
Material och metod ... 22
5.1 Material ... 22
5.1.1 Högskoleverkets modell för granskning av lärosätenas systematiska kvalitetsarbete 1995 – 2002 ... 23
5.1.2 Högskoleverkets modell för utvärdering av utbildningsprogram inom medicin och vård 2007 ... 25
5.1.3 Urank’s modell för rankning av kvaliteten i utbildningen vid svenska lärosäten 2007... 27
5.2 Metod ... 29
6
Resultat ... 32
6.1 Artikel I. Ranking quality in higher education: guiding or misleading? ... 32 6.2 Artikel II. Har externa granskningar av kvalitetsarbete
någon effekt på kvaliteten i högre utbildning för yrken inom medicin och vård? ... 36
7
Diskussion ... 39
Referenser ... 48
Artikel I. Ranking quality in higher education: guiding or
mis-leading?
Artikel II. Har externa granskningar av kvalitetsarbete någon
ef-fekt på kvaliteten i högre utbildning för yrken inom medicin och
vård?
Figur- och tabellförteckning
Figur 1. Område och profiler för bedömningar av kvaliteten i verksamheten vid universitet och högskolor.
Figur 2. Begreppet kvalitetssäkring, quality assurance, innefattar processer som bedömning av kvalitetsarbete, quality audit, och bedömning av kvalitet,
quality assessment, vid ackreditering, accreditation, och utvärdering, evalu-ation (ENQA, 2005).
Figur 3. HsVs och UKÄs granskningar av lärosätenas kvalitetssäkring,
ex-ternal quality assurance, i Sverige 1995-2015. Bedömningar av
kvalitetsar-bete, quality audit, och utbildningens kvalitet, quality assessment.
Figur 4. Bland-Altman plot analysis of differences and averages of the out-comes of the National Agency (NA) and Urank rankings of 24 institutions (showing ‘limits of agreement’ from –14.6 to +14.6).
Figur 5. Punktdiagram som illustrerar korrelationen mellan lärosätenas kva-litetsarbete och utbildningens kvalitet, Spearmans rangkorrelation rs.= .120.
Tabell 1. Kvalitativa data - kvalitetsaspekter, kriterier och bedömningsskala vid HsVs utvärderingar av utbildningar i medicin och vård 2007.
Tabell 2. Kvantitativa data - kriterier, indikatorer och viktning vid Urank’s ranking 2007.
Tabell 3. Characteristics of league tables (Usher & Savino, 2006): The Na-tional Agency and Urank ranking comparison.
Tabell 4. Indicators by Type of Data Source (Usher & Savino, 2006): The National Agency and Urank ranking comparison.
Tabell 5. Additional Characteristics: The National Agency and Urank rank-ing comparison.
Tabell 6. Fyrfältstabell med kombinationer av experternas slutsatser om utvecklingen av kvalitetsarbetet och bedömningarna av utbildningarnas kva-litet i förhållande till antalet rekommendationer.
1
1 Inledning
Kvaliteten vid universitet och högskolor har under de senaste decennierna fått stor internationell uppmärksamhet (Hazelkorn, 2007; Salmi & Saroyan, 2007; Usher & Savino, 2007; Sadlak, Merisotis & Liu, 2008; Kehm & Sten-saker, 2009). Även om skälen till detta kan vara flera förklaras utvecklingen som regel av den kraftiga globala expansionen av högre utbildning och be-hovet av information om kvaliteten i den mångfacetterade verksamhet som universiteten representerar. Ökad efterfrågan på information om lärosätenas utbud och kvalitet har vuxit fram bland studenter, finansiärer och arbetsgi-vare. Utöver det ligger det ett allmänintresse i att universitet och högskolor håller hög kvalitet bland annat med hänsyn till den betydelse för samhälls-utvecklingen som tillskrivs kvalificerad akademisk utbildning och forskning (Altbach, 2004; Sundqvist, 2010). I konkurrensen om de mest begåvade och talangfulla studenterna och de skickligaste lärarna och forskarna har det blivit viktigt för lärosätena att få omdömen om sin kvalitet som ger ett gott renommé.
1.1 Kvalitetsgranskningar – den internationella scenen
Av hävd definieras och bedöms kvaliteten i högre utbildning och forskning inom akademin själv i form av “peer-review”, det vill säga kvaliteten be-döms av sakkunniga inom den aktuella disciplinen (Askling, 2007; Vedung, 2009). Under de senaste decennierna har dock även externa aktörer, icke-akademiska organisationer, tagit plats på scenen. Bland dem finns såväl utbildningsmyndigheter som allmänna media och enskilda initiativtagare som kan exemplifieras av Sveriges universitetsranking (Urank).Världen över har granskningar och bedömningar av kvaliteten vid uni-versitet och högskolor satts i system. Till aktörerna hör kommersiella media och intresseorganisationer. Huvudsyftet uppges i första hand vara att infor-mera breda grupper av intressenter, politiker, finansiärer, allmänheten i stort och i synnerhet presumtiva studenter (Hazelkorn, 2007; Salmi & Saroyan, 2007; Usher & Savino, 2007; Almgren, 2008; Sadlak, Merisotis & Liu, 2008; Harvey, 2008; Kehm & Stensaker, 2009; Shin & Toutkoushian, 2011). I samma syfte agerar även offentliga organisationer och utbildnings-myndigheter som granskar lärosätenas kvalitet. Till detta kommer ett speci-fikt politiskt intresse av att få resultaten av de ekonomiska satsningarna re-dovisade men också av att få ett adekvat underlag både för kontroll och styrning av universitet och högskolor. Shin och Toutkoushian (2011) menar att oavsett om kvalitetsmätningar görs för att ranka, utkräva ansvar eller säkra kvaliteten har aktörerna det gemensamma målet att förbättra kvaliteten i högre utbildning.
I mitten av 1990-talet nådde den internationella trenden också det svenska utbildningsväsendet. De flesta lärosäten granskas samtidigt av både internationella och inhemska aktörer.
1.2 Den svenska scenen
Upptakten till en nyordning på den svenska scenen präglad av internation-ella influenser kan hänföras till 1993 års högskolereform (SFS, 1992). Re-formen innebar en förändring för både lärosäten och myndigheter. Den be-tydde ökad autonomi och akademisk frihet. Tidigare regelstyrning begrän-sades väsentligt för att ersättas av mål- och resultatstyrning (Gröjer, 2004; Franke & Nitzler, 2008; Karlsson Vestman, 2009; Askling, 2012). Samtidigt skärptes kontrollen av lärosätenas verksamhet, utbildningens kvalitet och resultat (SFS, 1992:1434).
På regeringens uppdrag har Kanslersämbetet, Högskoleverket (HsV) och numera Universitetskanslersämbetet (UKÄ) under tjugo års tid, 1995 – 2015, granskat och bedömt kvaliteten vid svenska lärosäten. I olika perioder har universitetet och högskolor bedömts enligt skilda modeller för sitt sys-tematiska kvalitetsarbete, ’quality audits’ och utbildningens kvalitet, ’quality assessments’ (se avsnitt 2.3).
I paritet med den internationella utvecklingen granskar också icke-offentliga, fristående svenska aktörer kvaliteten vid universitet och högsko-lor. Sedan år 1995, då HsV inledde sina kvalitetsgranskningar, har ytterli-gare tre större organisationer gjort systematiska granskningar och bedöm-ningar på nationell nivå. Till dessa hör Sydsvenska Industri- och Handels-kammaren som under åren 2006-2009 utvärderade och rankade kvaliteten inom högre utbildning och forskning främst med inriktning mot näringsli-vet. En närliggande intresseorganisation, Svenskt Näringsliv bedömer sedan 2008 i samarbete med det näringslivet lärosätenas kvalitet inom ett stort antal skilda ämnesområden. Bedömningarna presenteras på en interaktiv webbplats (Svenskt Näringsliv, 2014). Ytterligare en aktör, Urank, är en enskild kommersiell förening (Almgren, 2008; GU, 2013; Urank, 2014) som sedan 2007 rankar kvaliteten i utbildningen vid majoriteten av svenska läro-säten. Såväl Urank som HsV och UKÄ uppger att de har utvecklat sina granskningsmodeller efter internationella förebilder.
1.3 Kritik och debatt
Synen på kvalitetsbedömningar presenterade i form av ranking varierar världen över. Bland argumenten för ranking (Hazelkorn, 2007; Usher & Savino, 2007; Salmi & Saroyan, 2007; Sadlak, Merisotis & Liu; 2008; Almgren, 2008) hörs att ranking är en form av information som förenklar och klargör bilden av kvaliteten vid universitet och högskolor såväl för bli-vande studenter som för intressenter utanför sektorn. Lärosätena får dessu-tom gratis publicitet. Ranking anses också verka pådrivande för en utveckl-ing mot högre kvalitet i utbildnutveckl-ing och forsknutveckl-ing, höjer kvaliteteten på data-insamlingar och ger en mångfacetterad bild av kvaliteten (Almgren, 2008).
Externa kvalitetsbedömningar har dock blivit kraftigt kritiserade. I den internationella debatten hävdas, framför allt bland företrädare för akademin, att de modeller och metoder som tillämpas vid bedömningarna brister i tro-värdighet både ifråga om validitet, reliabilitet och relevans (Bowden, 2000; Harvey & Green, 1993; Almgren, 2008; Harvey, 2008). Kritiken inbegriper såväl metodologiska som etiska frågor. Motsvarande debatt har inte uteblivit i fråga om de modeller som tillämpats eller föreslagits av den svenska
ut-3 bildningsmyndigheten för bedömning av kvaliteten i utbildningen vid uni-versitet och högskolor. ”Viss turbulens” inom myndigheten och ”delvis hårda diskussioner med olika intressentgrupper har förekommit” (Askling, 2012 s.12).
Trots den periodvis intensiva debatten kring trovärdigheten i modeller-na för extermodeller-na bedömningar, i synnerhet intermodeller-nationella system för rankning, konstateras att kvalitetsbedömningar av högre utbildning sett som fenomen har fått stor genomslagskraft (Bowden, 2000; Usher & Savino, 2007; Kehm & Stensaker, 2009). Utfallen av granskningarna visar sig dessutom ha en styrande effekt på verksamheten vid universitet och högskolor (Bowden, 2000; Hazelkorn, 2007; Harvey, 2008; Kehm & Stensaker, 2009). ”For bet-ter or worse, university rankings have had major impacts on higher educa-tion institueduca-tions” (Shin & Toutkoushian, 2011, s. 10). Informaeduca-tion om kvali-teten har också betydelse för blivande studenters val av högre utbildning. Forskning baserad på förhållanden i USA och Storbritannien har visat (Dill & Soo, 2005) att studenter från välbeställda familjer tenderar att ha stor tillit till rankinglistor, likaså bland dem som planerar att studera utomlands (Shin & Toutkoushian, 2011). För svenskt vidkommande konstaterar emellertid Almgren (2008) att det fortfarande är oklart i vilken utsträckning som in-formation via rankinglistor och nationella utvärderingar bidrar till att avgöra valet av utbildning.
De aktörer som granskar kvaliteten vid universitet och högskolor häv-dar alla, oavsett vilket system de tillämpar, att deras bedömningar kan till-godose efterfrågan på valid och tillförlitlig information ibland breda grupper av intressenter. Med hänsyn till omfattningen och inte minst det genomslag och den styreffekt som olika granskningsmodeller, framför allt rankning, har fått internationellt finns dock skäl att pröva relevansen i den kritik som rik-tats mot systemen. Utifrån detta kritiska perspektiv granskade Bowden (2000) bland annat metodologi och jämförde utfallen av tre olika rankningar av universitet i Storbritannien som publicerades 1998 i The Times, Financial Times och Sunday Times. Bowden drog slutsatsen att dessa rankinglistor för det stora flertalet blivande studenter inte kunde anses ligga till grund för ett informerat val av universitetsstudier.
Frågan om oberoende granskningar leder till likvärdiga slutsatser be-träffande kvaliteten vid universitet och högskolor är ingången också till detta forskningsarbete. I två empiriska studier analyseras och jämförs resul-taten av tre skilda modeller för extern bedömning, mätning och rankning av kvaliteten vid 24 svenska universitet och högskolor. Modellerna har alla det gemensamt att bedömningarna baseras på högskolelagen och samma över-gripande definition av kvalitet i högre utbildning.
1.4 Disposition
Inledningsvis ges en översiktlig bakgrundsbeskrivning till det fenomen i form av externa kvalitetsbedömningar som berört akademin världen över under de senaste decennierna. Därefter följer ett avsnitt som beskriver den teoretiska referensramen för forskningsarbetet. En kort översikt lämnas se-dan över hur utbildningssystem och granskningar av högre i utbildning1
utvecklats i den svenska kontexten från 1960-talet och framåt. Mot denna bakgrund redovisas de syften och forskningsfrågor som legat till grund för de båda studierna, valet av empiriskt underlag och metoder för analyserna. Avslutningsvis sammanfattas och diskuteras de slutsatser som kunnat dras av undersökningarna och vilka fortsatta studier som dessa kan leda till.
5
2 Teoretisk referensram
2.1 Universitetskonceptet
Få samhällsinstitutioner i världen kan räkna sin historia lika långt tillbaka i tiden som universiteten (Kerr, 2001; Sundqvist, 2010). Bland de 85 organi-sationer i västvärlden som var etablerade redan år 1520 och fortfarande exi-sterar, finner forskaren Kerr (2001) att ett 70-tal är universitet. Jämfört med övriga institutioner däribland den romersk katolska kyrkan och brittiska parlamentet hör enligt Kerr universiteten kanske till dem som genom år-hundrandena genomgått minst förändring. Med stöd av historien kan univer-siteten utan tvekan hävda sin hållbarhet som kunskapsorganisation. Det in-stitutionella konceptet för att bedriva utbildning och forskning har under århundradenas lopp vunnit betydande framgångar. Efter fem sekler bedöms antalet universitet och högskolor världen över till mer än 22 000 (Webomet-rics, 2014) och mer än 165 miljoner studenter var 2012 engagerade i högre utbildning (UIS, 2012). Expansionen av högre utbildning och forskning har dock inte enbart lett till att universiteten ökar numerärt. Även mångfalden i det internationella utbudet av utbildningsprogram som erbjuds studenter världen över ökar (INQAAHE, 2013). Samtidigt blir universitetsstrukturen alltmer komplex och gränserna mellan utbildnings- och forskningsinstitut-ioner blir otydliga (Rabow & Rabow, 2005).
Den historiska utvecklingen av högre utbildning och forskning kan tol-kas så att samhället hyser ett stort förtroende för de akademiska institution-erna. Trots det kan inte enskilda universitets auktoritet, autonomi och in-tegritet tas för given. Som samhällsinstitutioner undgår inte heller universi-teten omvärldens kritiska granskning. Under de senaste decennierna har framför allt kvaliteten i den akademiska utbildningen stått i fokus.
Men hur definieras kvalitet i en så komplex verksamhet som högre ut-bildning och har vi i så fall instrument att mäta kvalitet? I utredningen
Re-surser för kvalitet (SOU, 2007) konstateras att forskarsamhället har
utveck-lat en betydande skicklighet att definiera vad som är kvalitet i forskning. Det råder enligt utredaren internationell koncensus om kvalitetskontroller i form av kollegial granskning vid anställningar och av vetenskapliga publikation-er. Kvalitetsgranskningar och mätningar är satta i system – om än omdebat-terade – genom exempelvis rankningar, citeringsindex och publikationsda-tabaser. Däremot har det ännu inte vuxit fram några internationellt veder-tagna modeller och instrument för att bedöma kvaliteten i högre utbildning (SOU, 2007).
Sådana försök görs dock. Sedan slutet av 1900-talet har utvecklats olika modeller och metoder för systematiskt genomförda kvalitetsmätningar. En utveckling som framför allt är betingad av att efterfrågan på information om högre utbildning vuxit sig allt starkare till följd av den globala expansionen av universitet och högskolor. Intressenterna i högre utbildning, allmänheten i stort, presumtiva studenter, politiker och finansiärer kan alla anses ha be-rättigade krav att ställa på information om kvaliteten i lärosätenas verksam-het (Hazelkorn, 2007; Salmi & Saroyan, 2007; Usher & Savino, 2007; Sadlak, Merisotis & Liu, 2008; Kehm & Stensaker, 2009). Forskare, lärare och studenter rör sig dessutom i allt större utsträckning mellan universitet
och högskolor både inom landet och globalt över nationsgränserna. Mobili-teten ökar (UNESCO, 2013) och likaså den internetbaserade distributionen av högre utbildning som exempelvis ’massive open online courses’ (MOOC, 2014). Utveckling bidrar till att ytterligare accentuera behovet av trovärdiga kvalitetsbedömningar och internationell jämförbarhet. Att bed-riva utbildning med hög kvalitet handlar om att hävda sig i konkurrensen om de bästa studenterna och att kunna rekrytera de mest talangfulla lärarna och forskarna (Carr, Hamilton & Meade, 2005; UIS, 2014).
Hög kvalitet i forskning och utbildning bedöms allmänt tjäna samhälls-utvecklingen bland annat genom nära band mellan forskning, innovation och ekonomisk tillväxt (Slaughter & Leslie 1997; Altbach, 2004; Sundqvist, 2010). Till detta kommer ett specifikt politiskt intresse av att få redovisat resultaten av samhällets ekonomiska satsningar liksom av att få ett adekvat underlag både för kontroll och styrning av universitet och högskolor (Prop. 1992/93:1).
2.2 Syften med kvalitetsbedömningar och former för
kvalitetsmätning
Enskilda kommersiella, fristående och offentliga organisationer agerar alla med ambitionen att tillgodose efterfrågan på information om kvaliteten vid universitet och högskolor. Till den stora målgrupp, som har ett mer omedel-bart behov av information om kvaliteten vid lärosätena, hör de blivande studenter som står inför valet av utbildning. Det är också denna grupp som de flesta aktörer i första hand vänder sig till. Aktörernas gemensamma över-gripande syfte är att förmedla en överskådlig och lättillgänglig information om kvaliteten i den mångfacetterade verksamhet som kännetecknar akade-min (Kehm & Stensaker, 2009). Utöver dessa gemensamma nämnare repre-senterar de granskningsmodeller som tillämpas en rik variation av underlig-gande syften och förväntningar på effekter av kvalitetsbedömningarna.
De institutioner och organisationer vars syfte är att granska lärosätenas kvalitet kan med avseende på uppdrag och intentioner grovt delas in i två kategorier (Almgren, 2008). Till den ena kategorin kan räknas fristående aktörer som inte har något direkt ansvar för högskolesektorn, kommersiella media, intresseorganisationer, enskilda föreningar etc. Till den andra kate-gorin skulle då räknas övriga aktörer som kan utkrävas ansvar för högskole-sektorn gentemot riksdag och regering och offentliga myndigheter. Det hindrar inte att fristående organisationer kan ha sin verksamhet knuten till ett lärosäte.
Oavsett aktör utgör huvudsyftet med granskningar att göra en samman-fattande bedömning av kvaliteten vid universitet och högskolor i sin helhet eller inom skilda profilområden.
7 Figur 1. Områden och profiler för bedömningar av kvaliteten i verksam-heten vid universitet och högskolor.
Ambitionen kan vara att förmedla en generell bedömning av kvaliteten såväl i forskning som utbildning alternativt förmedla en generell bedömning av utbildningens kvalitet (ENQA, 2014; IREG, 2006; INAAQUE, 2013). Ofta är syftet också att tillgodose intressenterna med mer eller mindre speci-fika bedömningar av kvaliteten inom skilda profilområden, utbildningsom-råden och program, alternativt särskilda omutbildningsom-råden som exempelvis, samver-kan med näringsliv, sjukvård etc. Genom att återkommande tillämpa en en-hetlig modell vid granskningar av flera lärosäten samtidigt skapas i princip förutsättningar för relevanta jämförelser också över tid mellan lärosätena regionalt, nationellt alternativt globalt (Hazelkorn, 2007; Usher & Savino, 2007; Salmi & Saroyan, 2007; Sadlak, Merisotis & Liu, 2008).
2.3 Organisationer som utför kvalitetsbedömningar
och ranking
Startpunkten för mer systematiskt genomförda bedömningar och jämförelser av kvaliteten vid universitet och högskolor dateras vanligtvis till tidigt 1980-tal 1980-1980-talet. Faktum är emellertid att rankning av lärosäten inom högre utbildning förekommit långt tidigare än så (Almgren, 2008). U.S. News and World Reports ranking 1983 markerade dock inledningen på en mer omfat-tande ranking av högre utbildning i USA. Bedömningarna byggde på slut-satser om kvaliteten vid lärosätena i sin helhet varefter resultaten presente-rades i rangordning (van Dyke, 2005; Salmi & Saroyan, 2007). Sedan dess har intresset för kvalitetsbedömningar framför allt i form av rankningar av lärosäten vuxit avsevärt.
Till de mest kända globala rankinginstituten hör Academic Ranking of World Universities (ARWU) som genomförs av Shanghai Jiao Tong Uni-versity och Times Higher Education (THE) i Storbritannien (Rabow & Rabow, 2005; Marginson & van der Wende, 2006). Både ARWU och THE sammanfattar bedömningarna av lärosätenas prestationer och kvalitet såväl ifråga om utbildning som forskning. Utbudet av rankingaktörer med
inrikt-Bedömning av kvalitet vid universitet och högskolor
Hela lärosäten
Forskning
och utbildning Utbildning
Profilområden
Utbildningsområden/progra
ning i första hand mot en bedömning av utbildningens kvalitet är särskilt stort i USA. Här görs bland annat rankningar av tidningar och tidskrifter som Atlantic Monthly, Business Week, Financial Times, Money, U.S. News and World Report, Wall Street Journal och Washington Monthly. Jämför-bara aktörer i andra anglosaxiska länder är The Good Universities Guide i Australien, The Maclean’s Guide to Canadian Universities i Kanada, The Times Good University Guide och The Guardian University Guide i Storbri-tannien (Dill & Soo, 2005). Dessa rankingaktörer och den typ av system de tillämpar har haft ett dominerande inflytande på de modeller och metoder som används för rankning av hela lärosäten. Enligt samma system komplett-eras ofta sådana granskningar med rankningar såväl av särskilda utbild-ningsområden och program som av akademiska ämnen (Salmi & Saroyan, 2007). Stensaker och Kehm (2009) konstaterar att företag som drivs i kom-mersiellt syfte publicerar de flesta universitetsrankningar och guider.
Endast ett fåtal rankningar baseras på kvalitetsbedömningar, utvärde-ringar eller ackrediteutvärde-ringar som genomförts i offentlig regi. Till undantagen bland media hör The Sunday Times University Guide (2015), som i sam-band med rankningar även använder sig av uppgifter hämtade från statliga kvalitetsbedömningar.
Jämfört med fristående aktörer har statliga organisationer och offentliga myndigheter vanligtvis tillgång till ett bredare underlag både för kvantitativa och kvalitativa analyser av verksamheten vid universitet och högskolor. Att som finansiär av högre utbildning och forskning utkräva ansvar för resultat och kvalitet kan betyda allt från krav på ekonomisk redovisning till kontroll av lärosätenas långsiktiga ansvarstagande för den framtida utvecklingen. Valet av granskningsmodell varierar beroende på det specifika syftet men också omfattningen av det politiska uppdraget. Med stöd inte minst av läro-sätena själva har staten som uppdragsgivare på så sätt kunnat bidra till att utveckla olika modeller i syfte att granska och bedöma kvaliteten. Gransk-ningar kan också göras i direkt syfte att främja kvalitetsutvecklingen.
Den europeiska samarbetsorganisationen European Association for Quality Assurance in Higher Education (ENQA) definierar i Standards and Guidelines (ENQA, 2005) innebörden av skilda begrepp som används för olika processer i samband med kvalitetssäkring, quality assurance. Enligt
dessa definitioner kan inriktningen på kvalitetssäkringen variera alltifrån att
bedöma lärosätenas systematiska arbete med att utveckla sin kvalitet,
quality audit, till att bedöma utbildningens kvalitet quality assessment i
form av ackreditering det vill säga tillstånd att utfärda examina,
9 Figur 2. Begreppet kvalitetssäkring, quality assurance, innefattar processer som bedömning av kvalitetsarbete, quality audit, och bedömning av kvalitet,
quality assessment, vid ackreditering, accreditation, och utvärdering, evalu-ation (ENQA, 2005).
De modeller som tillämpas för kvalitetssäkring fokuserar i första hand på akademisk utbildning (ENQA, 2005; IREG, 2006; INAAQUE, 2013). Även om tillgången till aktiv forskning bedöms vara en av förutsättningarna för god kvalitet i utbildningen överlåts granskningen av forskningen till forskarsamhället och det internationella konceptet för bedömningen av forskningens kvalitet. De processer som enligt ENQAs definitioner innefat-tas i begreppet kvalitetssäkring bygger dock i likhet med kvalitetssäkringen av forskning på kollegiala bedömningar, ‘peer reviews’ (ENQA, 2005; IREG, 2006; INAAQUE, 2013).
Till skillnad från de relativa bedömningar som genomförs av fristående rankingaktörer ingår i det offentliga uppdraget för kvalitetsgranskningar att också utkräva ett ansvar av lärosätena. I dessa kollegiala kvalitetsgransk-ningar definieras därför som regel en lägsta nivå för acceptans, ’minimum standard’ (Almgren, 2008; Franke & Nitzler, 2008). Detta hindrar dock inte att kvaliteten vid lärosätena kan bedömas enligt en differentierad flergradig skala (Wahlén, 2004; Bergseth, 2007; Almgren, 2008).
2.3.1 Kvalitetsbedömningar – validitet, reliabilitet och relevans Rankningar genomförda av såväl fristående aktörer som kvalitetsgransk-ningar och bedömkvalitetsgransk-ningar i offentlig regi har blivit kraftigt kritiserade. Inte minst kommer denna kritik från företrädare för akademin själv som hävdar att de modeller som tillämpas vid bedömningarna brister i trovärdighet både ifråga om validitet, reliabilitet och relevans (Bowden, 2000; Harvey, 2008). Kritiken inbegriper såväl metodologiska som etiska frågor.
Oavsett vilka kvaliteter som ska granskas och bedömas i universitetens och högskolornas verksamhet, utvecklings- och kvalitetsarbete eller utbild-ningskvalitet, menar kritikerna att det förutsätts en övergripande definition av begreppet kvalitet (Dill & Soo, 2005; Usher & Savino, 2006; Harvey 2008). Avgörande för trovärdigheten i bedömningarna är enligt Dill och Soo (2005), Usher och Savino (2006) och Harvey (2008) vilken definition av begreppet kvalitet i högre utbildning som bedömningarna grundar sig på.
Quality assurance
Quality audit assessmentQuality
Trots den massiva kritiken mot rankingsystemen menar dock Dill (2009) att det är möjligt att konstruera valida rankingsystem som kan ha ett positivt inflytande på utbildningens kvalitet. Till förutsättningarna hör att bedömningarna baserar sig på en övergripande definition av kvalitet. En definition som i sin tur avgör valet av granskningsmodell, kvalitetsindikato-rer, urval av data, mätmetoder och analytiker.
Internationella forskare och rankingdebattörer kan instämma i resone-manget. Samtidigt konstateras dock att det fortfarande saknas en internat-ionellt vedertagen definition av vad som konstituerar kvalitet i högre utbild-ning (Dill & Soo, 2005; Usher & Savino, 2006; Harvey, 2008). Men även om olika aktörer inte uttryckligen deklarerar någon bestämd definition av begreppet kvalitet i sina bedömningar är det möjligt att indirekt tolka in en definition i själva granskningsmodellen. I realiteten hävdar Usher och Savino (2007) att det är valet av indikatorer, viktningen dem emellan samt mätmetoderna som preciserar vad som läggs in i begreppet. Definitionen av kvalitetsbegreppet skulle följaktligen kunna variera beroende på vilket mo-dell och metod som tillämpas. Usher and Medow (2009, p.12) drar slutsat-sen att “the notion of ‘quality’ in higher education is clearly a very mallea-ble one”. Under alla förhållanden förutsätts enligt Harvey (2008) en gemen-sam universell definition av kvalitet i högre utbildning för att kvalitets-granskningar ska kunna vinna legitimitet i den akademiska världen. Valid och tillförlitlig information om kvaliteten är dessutom ett villkor för att kunna tjäna som god grund i vägledningen till blivande studenter inför valet av högre utbildning (Marginson & van der Wende, 2006).
Trovärdigheten i granskningarna aktualiserar med andra ord inte enbart frågor om modell och metod. Även etiska frågor kan ställas i samband med kvalitetsbedömningar och framför allt rankningar. Det behöver dock inte enbart handla om trovärdiga kvalitetsbedömningar som underlag för studie-val. Den styrande effekt som rankningar visat sig ha på verksamheten vid universitet och högskolor (Bowden, 2000; Hazelkorn, 2007; Harvey, 2008; Kehm & Stensaker 2009) ger ytterligare en anledning att problematisera kvalitetsbedömningarna sett ur ett etiskt perspektiv.
2.4 Kvalitetsindikatorer och analysmetoder
Utgångspunkten för de flesta kvalitetsbedömningar i form av rankningar är enligt Usher och Savino (2006) ett antal indikatorer som definieras som ka-rakteristika för kvalitet i högre utbildning och forskning. Mätningarna base-ras på tillgängliga alternativt inhämtade objektiva och/eller subjektiva data för vart och ett av dessa indikatorer (van Dyke, 2005; Salmi & Saroyan, 2007). Utifrån antaganden – explicit eller implicit - om vad som konstituerar kvalitet viktas sedan de olika parametrarna och kvantifierade variablerna i förhållande till varandra. Sammanställningarna av kvantitativa data bearbe-tas därefter statistiskt enligt numeriska analysmetoder (Usher & Savino, 2006). Slutligen ackumuleras utfallen för varje lärosäte i sin helhet och/eller för olika utbildnings- respektive profilområde. Slutsatserna om lärosätenas kvalitet är relativa (Almgren, 2008) och resultaten presenteras i form av förteckning där lärosätena rangordnas. Modellen för ranking har kortfattat definierats på följande sätt.
11 League tables, also referred to as institutional rankings and re-port cards (…), are constructed by using objective and/or sub-jective data obtained from institutions or from the public do-main, resulting in a “quality measure” assigned to the unit comparison relative to its competitors.
Salmi & Saroyan (2007, s. 33) Som karaktäristika för ‘league tables’ har Usher och Savino (2006) sam-manställt de indikatorer som internationellt används mest frekvent vid uni-versitetsrankningar. Dessa delas sedan in i sju grupper av kvalitetsindikato-rer där det inom varje grupp är inordnat ett varierat antal kriterier: Begin-ning characteristics; LearBegin-ning inputs: staff, LearBegin-ning inputs: resources; Le-arning outputs; Final outcomes; Research; Reputation.
Samma kvalitetsindikatorer kan också ligga till grund för bedömningar enligt de modeller som tillämpas för kvalitetssäkring, bedömning av lärosä-tenas systematiska kvalitetsarbete, utbildningens kvalitet, ackreditering eller utvärdering (ENQA, 2005), (se figur 2). Därtill kommer de specifika kvali-tetsindikatorer och kriterier som anses ha bäring på syftet med granskning-arna. Till skillnad från traditionella universitetsrankningar tillämpas dock vid dessa bedömningar som regel en kollegial granskningsmodell, ’peer review’. Det betyder att bedömningarna görs av experter, akademiska och/eller professionella (Askling, 2007), vars omdömen om kvalitet lämnas i form av kvalitativa data. Dessa data kan även kvantifieras och likhet med kvantitativa data bearbetas statistiskt och analyseras enligt numeriska ana-lysmetoder (Bowden, 2000; Åsberg, 2001).
3 Den svenska kontexten
Sedan andra världskrigets slut har den internationella utvecklingen av högre utbildning kännetecknats av en kraftig expansion. I uppbyggnaden av efter-krigstidens samhälle fick universitet och högskolor en viktig roll. (Askling, 2012). Olika länder valde inledningsvis en struktur för högre utbildning som enligt Askling utgick från nationella behov. Strukturen för reformerna var färgad och inramad av inhemskt samhälls- och utbildningspolitiska ideolo-gier och förändringssträvanden. Successivt har dock reformerna blivit allt-mer influerade av andra internationella tendenser.
Grundläggande emellertid för de svenska utbildningssystem som varit rådande alltsedan 1977 års högskolereform (SOU, 1973:2) är att all högre utbildning och forskning förutsätts hålla en likvärdig standard. Systemet beskrivs av Teichler (2008) som en integrerad modell där det inte görs nå-gon åtskillnad vare sig mellan olika typer av lärosäten eller olika kategorier av studenter. Reformen 1977 innebar samtidigt att så gott som all post-gymnasial utbildning, däribland vårdutbildningar och lärarutbildningar inte-grerades i en enhetlig sammanhållen högskoleorganisation (SFS, 1977:218; Gröjer, 2004; Askling, 2012). I och med reformen ökade antalet universitet och högskolor nästan till det dubbla (Tengner, 2006).
3.1 Utbildningsreformer för kvalitetsutveckling
Det nya utbildningssystemet ledde till en omfattande central planering av hela grundutbildningsutbudet. Bland annat inrättades ett hundratal fasta stu-diegångar, nationella allmänna utbildningslinjer, alla med tydlig yrkesin-riktning (SFS, 1977:218; Gröjer, 2004; Askling, 2012). Regeringen inrät-tade också en ny central förvaltningsmyndighet, Universitets- och högsko-leämbetet (SFS 1976:702), gemensam för alla högskoleenheter med undan-tag för Lantbruksuniversitetet och den kommunala högskoleutbildningen. Den nya myndigheten fattade beslut om utbildningsutbud, dimensionering och utbildningsplaner för de allmänna linjerna på nationell nivå. Normastudieplaner, normalstudietid och genomströmning blev operativa begrepp. Samtidigt skedde en övergång från central styrning till ramstyr-ning genom att en del beslut om resursfördelramstyr-ning fördes över till lärosätena (Gröjer, 2004; Askling, 2012).
I och med 1977 års reform stiftades för första gången också en högsko-lelag (SFS 1977:218). Här föreskrevs att all högre utbildning ska bygga på vetenskaplig grund, bidra till att utveckla de studerandes förmåga till kritiskt tänkande samt främja förberedelse för skilda yrken (SFS 1977:218, 2 §; Gröjer, 2004). Högskolan fick enligt lagen dessutom i uppgift att ”främja sambandet mellan utbildning, forskning och utvecklingsarbete” (SFS 1977:218, 5§).
Under slutet av 1980-talet hade dock studenterna börjat ifrågasätta det linjebundna utbildningssystemet. (SOU 1993:3; Askling, 2012). De riktade också kritik mot undervisningen. Den kraftiga ökningen av antalet stu-derande i högskolan hade bland annat lett till större studentgrupper per lä-rare och mindre undervisningstid (SOU 1993:3; Gröjer, 2004). Företrädare för näringslivet uttryckte dessutom sin misstro mot grundutbildningarna som de ansåg mer borde inriktas mot att utveckla generella snarare än
speci-13 fika kunskaper (Askling, 2012). Den fasta nationella planeringen skapade enligt Askling knappast heller några incitament till förnyelse.
Kritiken mot kvaliteten i undervisningen och det byråkratiska styrsy-stemet (Karlsson Vestman, 2011) lade grunden till 1993 års högskolereform ’Frihet för kvalitet’ (Prop. 1992/93:1). Den genomgripande omdaning av utbildningsystemet som reformen innebar kan tolkas som ett uttryck för inledningen på en utveckling som följde en internationell trend sedan 1980-talet - New public management (NPM).
3.2 Utveckling i spåren av New public management
New public management (NPM) som begrepp myntades av Hood (1991). Begreppet står för ett mångtydigt koncept för resultatstyrning i form av kva-litetskontroll, kvalitetssäkring och kvalitetsbedömning (Liedman, 2013). Konceptet representerar ett kluster av idéer hämtade från näringslivet. NPM anses ha varit styrande för det förvaltningspolitiska reformarbetet och ut-vecklingen av stora områden inom den offentliga sektorn, hälsovård, utbild-ning och forskutbild-ning (Almqvist, 2004; Askling, 2012; Lindgren, 2012; Lied-man, 2013). Från att ursprungligen ha tillämpats i den industriella produkt-ionen har NPM successivt implementerats i offentlig förvaltning. Universi-tet och högskolor har i detta avseende inte utgjort något undantag (Askling, 2012). Förändringarna i spåren av NPM kan tolkas som ett svar på den by-råkratiska och strikt hierarkiska modell som enligt Liedman (2013) tidigare varit förhärskande.Högskolereformen 1993 kan till sin struktur sägas illustrera den inter-nationella trenden och bekräfta NPM som doktrin (Lindgren, 2012; Lied-man, 2013). De reella förändringar som reformen kom att innebära för den offentliga förvaltningen generellt och högskolesektorn specifikt var påtag-liga (Gröjer, 2004). Från reformen, också kallad frihetsreformen, följde en våg av innovationer, bland annat i form av nya utbildningsprogram och kur-ser som lärosätena nu på eget initiativ kunde inrätta (Askling, 2012).
Karlsson Vestman (2011) menar att det sedan 1980-talet funnits en stark trend mot marknadsinriktning av den offentliga verksamheten med betoning på individens valfrihet och ekonomiska incitament för styrning av offentlig verksamhet. Parallellt med denna förändring konstaterar författaren att den politiska styrningen av den offentliga verksamheten har förskjutits från regelstyrning till mål- och resultatstyrning. Till det ska dock läggas att lagstiftningen på den högre utbildningens område sedan reformen 1977 och senare, 1993, inte enbart anger mål för verksamheten. Lagen föreskriver också tydligt på vilka villkor lärosätena har rätt att bedriva högre utbildning. I högskolelagen skärptes i samband med reformen 1993 villkoren bland annat med ett förtydligat krav att det ”skall finnas ett nära samband mellan forskning och utbildning” (SFS 1992:1434, 1 kap. 3 §). I tillägg föreskrevs att högskolornas verksamhet ska bedrivas så att hög kvalitet nås och resur-serna utnyttjas effektivt. Lärosätenas rätt att utfärda examina blev inte heller en gång för alla given. Om det bedömdes att villkoren ifråga om utbildning-ens kvalitet inte var uppfyllda skulle ett lärosätes examutbildning-enstillstånd återkallas av den centrala utbildningsmyndigheten (se avsnitt 3.5).
Sedan 1993 kontrolleras kvaliteten vid lärosätena gentemot föreskrif-terna i lag och förordning enligt olika modeller för kvalitetssäkring, gransk-ningar och bedömgransk-ningar av kvalitetsarbetet och av utbildningens kvalitet.
Som strategi för de förändringar som sedan 1990-talet genomförts i det svenska universitets- och högskolesystemet syns dock NPM inte omedelbart ha fått något fullständigt genomslag. Utvecklingen av det svenska universi-tetets- och högskoleväsendet i denna riktning kan snarare betecknas som en långsam process förbundet med en tung tradition av utvärdering i svensk statsförvaltning (Gröjer, 2004; Vedung, 2009).
3.3 Utvärdering av högre utbildning – ett
institutional-iserat fenomen
Dagens utvärdering i svensk statsförvaltning har enligt Vedung (2009) sina rötter i 1960-talet. Vedung ger begreppet följande definition.
UTVÄRDERING = noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organise-ring av offentlig verksamhet, vilken tänkes spela en roll i prak-tiska beslutssituationer.
Vedung (2009, s. 22) Syftet med utvärderingar utöver att rent generellt ge underlag för kom-mande politiska beslut kan enligt Vedung genomföras i flera avsikter. De kan göras för att kontrollera, reformera och utveckla, men också i den poli-tiska avsikten att fördröja förändringar i den offentliga verksamheten.
Med stöd av Vedungs modell för utvärdering av offentlig förvaltning Vedung (1991), beskriver Gröjer (2004) statens granskningar under peri-oden 1964 – 1995 som en process där utvärdering på den högre utbildning-ens område har institutionaliserats. Gröjer klassificerar utbildningsmyndig-heternas huvudsakliga syften med de utvärderingar som genomförts till och med 1992 i fyra grupper; Kontrollerande; Inlärande/Främjande; Legitime-rande; Fördröjande. Utifrån detta analysschema konstaterar hon att inlärning och främjande var det vanligaste syftet för utvärderingarna under tidspe-rioden, därnäst det kontrollerande syftet. Endast ett fåtal hade dock genom-förts i legitimerande syfte och ingen i syfte att fördröja en process eller ett beslut (Gröjer, 2004, s. 121, 184).
Betydelsen av både interna och externa nationella utvärderingar fram-hålls särskilt i 1993 års högskolereform (Prop. 1992/93:1). Utvärdering skulle fortsatt vara ett viktigt instrument i syfte att kontrollera och utveckla kvaliteten vid universitet och högskolor. Även om modeller och objekt för granskningarna varierat alltsedan reformen implementerades återkommer HsV till tre huvudsyften med sina utvärderingar - utveckling, kontroll och information (HsV, 1995; 1997; 1998; 2000; 2001a; 2012) Utvärderingarnas fokus har dock skiftat.
3.3.1 Fokus i Högskoleverkets utvärderingar
Högskoleverkets granskningar och bedömningar av lärosätenas systematiska kvalitetsarbete, quality audits, genomfördes inledningsvis i första hand i
15 syfte att utveckla verksamheten, ”att granska för att främja” (HsV, 1995 s. 4; 1997 s. 7; 1998 s. 8). I samma syfte granskade verket också universitetens och högskolornas arbete för att utveckla tre särskilda aspekter på verksam-hetens kvalitet i form av tematiska utvärderingar inom områdena jämställd-het, studentinflytande samt social och etnisk mångfald (HsV, 2000). Inför den tredje granskningscykeln av kvalitetsarbetet som påbörjades 2008 kvar-stod informations- utvecklingssyftet men nu med större fokus på kontroll (HsV, 2009).
Målet för granskningarna av kvalitetsarbetet var att de skulle utgöra en pådrivande kraft för ständig förbättring och förnyelse av verksamheten vid svenska lärosäten (HsV, 1995; 1997; 1998). HsV (1995) konstaterade att man i internationella utvärderingssammanhang brukar skilja på assessment, bedömning av kvalitet, och audit, granskning och bedömning av kvalitetsar-bete. I fråga om assessment är det kvaliteten som bedöms medan det vid en audit är de processer som leder till högre kvalitet som bedöms. Inför hög-skolereformen 1993 gör regeringen detta samband tydligt. ”Resultatuppfölj-ning, kvalitetssäkring och utvärdering bör ses som samverkande delar i ett sammanhängande kvalitetssystem” (Prop. 1992/93:1 s. 108). För att i det långa loppet kunna behålla sin trovärdighet hävdade HsV att kvalitetsarbetet måste leda till mätbart högre kvalitet. ”Det är i utvärderingar av kvalitet som svaret ligger om kvalitetsarbetet har haft effekt” (HsV, 1995, s. 6; 1997, s. 9).
Trots att bedömningarna av lärosätenas kvalitetsarbete enligt Wahlén (2004) visat förbättringar på ett flertal områden hade det riktats kritik mot granskningarna. Till de kritiska synpunkterna hörde att bedömningarna i allt för hög grad fokuserat på processer. Resultaten från granskningarna gav inte någon information om den faktiska kvaliteten i undervisning och lärande (Wahlén, 2004).
Utbildning utgör huvuddelen i lärosätenas verksamhet och har också äg-nats stor uppmärksamhet. Under den senaste 20-årsperioden utvärderingar av utbildningens kvalitet, quality assessment, genomförts på uppdrag av regeringen antingen som avgränsade eller som långsiktiga uppdrag. Som exempel på avgränsade regeringsuppdrag kan nämnas den utvärdering som 1996 gjordes av drygt ett hundratal utbildningsprogram för yrken inom vård och omsorg (HsV, 1996). Till HsVs och UKÄs mest omfattande utvärde-ringar hör dock de som på regeringens uppdrag genomförts i två cyklar av all högre utbildning.
Den första omgången utvärderingar genomfördes under en sexårspe-riod, 2001 – 2006. Under denna period utvärderades samtliga utbildningar för generell examen på grund- och forskarnivå och för yrkesexamen (Prop. 1999/2000:28).
Den andra omgången utvärderingar genomfördes 2011 – 2014 och av-slutas med uppföljningar 2015. Dessa granskningar omfattade all utbildning för examina på grundnivå och avancerad nivå (Prop. 2009/10: 139; HsV, 2012a; 2012b).
Utvärderingarnas fokus på kontroll har successivt accentuerats i syn-nerhet ifråga om utbildningar inom medicin och vård. Av de totalt nära 1700 ämnes- och programutvärderingar som HsV genomförde under den första utvärderingscykeln blev drygt 10 procent öppet ifrågasatta på grund av
bris-tande kvalitet (HsV, 2008b; HsV, 2009). I så gott som samtliga fall hade dock de brister som påtalats åtgärdats redan efter ett år. Till undantagen hörde 16 utbildningsprogram som hade utvärderats 2007. Examenstillstån-det för dessa utbildningar återkallades därför av HsV (2008a). Majoriteten av dem, 13 program i medicin och vård, låg till grund för Socialstyrelsens legitimation alternativt specialistexamen inom vårdområdet. Frånsett utbild-ningen för svensk läkarexamen utfärdar Socialstyrelsen legitimation utan föregående kunskapsprövning. Kraven på utbildningarna inom vårdområdet är givna. Enligt patientsäkerhetslagen förutsätts att arbetet inom hälso- och sjukvården utförs i överensstämmelse med vetenskap och beprövad erfaren-het (se avsnitt 3.5).
3.4 Högskoleverkets och
Universitetskanslers-ämbetets granskningar av kvaliteten vid svenska
universitet och högskolor 1995 – 2015
Underlaget för de båda empiriska studierna i detta arbete omfattar kvalitets-granskningar som sträcker sig över de inledande tolv åren, 1995 – 2007. Under återstoden av perioden fram till 2015 har det fortsatt genomförts granskningar enligt samma, motsvarande eller likartade modeller. En kor-tare period, 2009 – 20122, genomfördes på nytt granskningar av lärosätenas systematiska kvalitetsarbete. Den senaste modell för bedömningar som till-lämpades vid granskningarna 2011 – 2015 satte fokus på utvärderingar av akademiska resultat i form av bedömningar av kvaliteten i examensarbeten (HsV,1995; 2001; Prop.1994/95:165; 1999/2000:28; 2009/10:139; SOU, 2007:81; SOU, 2008:104; HsV, 2012a; 2012b).
Extern kvalitetssäkring, quality assurance, HsVs och UKÄ:s granskningar 1995 - 2015
Figur 3. HsVs och UKÄs granskningar av lärosätenas kvalitetssäkring,
ex-ternal quality assurance, i Sverige 1995-2015. Bedömningar av
kvalitetsar-bete, quality audit, och utbildningens kvalitet, quality assessment.
2Under perioden genomförde Högskoleverket granskningar och bedömningar av kvalitets-arbetet vid sammanlagt 24 lärosäten.
17 Universitetskanslern har som regeringens interna utredare lagt förslag till ett nytt system för kvalitetssäkring som planeras träda ikraft från och med år 2016. Förslaget inbegriper såväl bedömningar av lärosätenas eget kvalitetssäkringsarbete som kvalitetsbedömningar av utbildningar, utvärde-ringar och ackrediteutvärde-ringar. Utredningen utgör underlag inför regeringens kommande ställningstagande i frågan (UKÄ, 2015).
3.5 Kvalitetsdefinition i det svenska
utbildningsyste-met
Villkoren för att bedriva forskning och högre utbildning föreskrivs i högsko-lelagen (SFS 1992:1434) och i högskoleförordningen (1993:100). Ur förar-betena till 1993 års högskolereform, betänkandet ’Frihet, ansvar, kompe-tens’ (SOU, 1992), kan uttolkas en övergripande definition av begreppet kvalitet som sedan bekräftas i lag och förordning. Till stöd för förslaget om ett förändrat utbildningssystem hänvisas här till klassiska akademiska ideal. I betänkandet betonas särskilt vikten av att värna kontinuiteten i ’universite-tets idé’ som bestått alltsedan medeltiden (Magna Charta, 1988; Askling, 2012). Den klassiska förebilden för detta ideal skapades senare av Wilhelm von Humboldt och det universitet som han grundade 1810, Universität zu
Berlin, byggt på idén om fri vetenskap och nära förbindelser mellan
forsk-ning och utbildforsk-ning. Som ett av skälen till de föreslagna förändringarna av det svenska högskolesystemet uppgavs i paritet med Humboldt ”nödvändig-heten av grundläggande garantier för det kritiska tänkandet och den fria forskningen” (Prop.1992/93:1, s. 2; Eriksson & Hultman, 2014). I de inle-dande bestämmelserna för högre utbildning återspeglas Humboldttradition-en i högskolelagHumboldttradition-en där det föreskrivs att
• utbildningen ska vila på vetenskaplig eller konstnärlig grund samt på beprövad erfarenhet och att
• verksamheten ska bedrivas så att det finns ett nära samband mellan forskning och utbildning (SFS 1992:1434, 1 kap. 2, 3 §§).
Lagen är påtagligt öppet hållen och långsiktigt hållbar i den meningen att den ger utrymme för tolkning och tillämpning i skilda kontexter över tid (Kälvemark, 2001; Barlebo Wenneberg, 2010). De akademiska villkoren för att bedriva högre utbildning gör tydligt att utbildningens innehåll ska följa kunskapsutvecklingen. Lagen beskriver heller ingen skillnad mellan veten-skap och beprövad erfarenhet.
En tolkning av de krav som ställs är att utbildningen ska bygga på både - och, det vill säga inte antingen - eller. Slutsatsen blir då att också den be-prövade erfarenheten, såsom utbildning i praktisk tillämpning, ska under-kastas kritisk granskning och prövas vetenskapligt metodiskt. Underordnat dessa villkor för att bedriva högre utbildning utvecklas kriterierna för kvali-tet i beskrivningen av målen för specifika examina i högskoleförordningen (SFS, 1993:100). Ifråga om vetenskaplighet, samband mellan forskning och utbildning och kritiskt förhållningssätt ställs således samma krav för gene-rella examina som för yrkesexamina.
Flertalet högskoleutbildningar för yrkesexamina inom medicin och vård ligger också till grund för Socialstyrelsens legitimation. Som villkor för att utöva yrket inom hälso- och sjukvården föreskrivs att arbetet utförs i över-ensstämmelse med vetenskap och beprövad erfarenhet enligt patientsäker-hetslagen (SFS, 2010:659) och tidigare hälso- och sjukvårdslagen (SFS, 1982:763).
Den övergripande kvalitetsdefinition så som den kan tolkas utifrån hög-skolelagen (SFS, 1992:1434) ligger även till grund för de modeller som de externa granskningsaktörerna HsV, UKÄ och Urank valt för sina bedöm-ningar av lärosätena. Usher och Savino (2007) hävdar dock att det i reali-teten är valet av indikatorer, kvalitetskriterier och viktningen dem emellan samt mätmetoderna som preciserar vad som läggs in i begreppet. Definit-ionen av kvalitetsbegreppet skulle följaktligen kunna variera beroende på vilket modell och metod som tillämpas. De avgränsningar och urval av ob-jekt som gjorts för jämförelserna i detta forskningsarbete baserade sig dock på den övergripande definitionen av kvalitetsbegreppet som aktörerna de-klarerar.
3.6 Sammanfattande reflektion och argument för
stu-dien
Externa granskningar av kvaliteten i högre utbildning är ett globalt fenomen som de senaste decennierna har genererat ett omfattande empiriskt material. Under inflytande av skilda influenser har modeller och metoder för att be-döma och mäta kvalitet skiftat. Varför universitet och högskolor granskas och av vem, vad som granskas, hur och när, hör till de grundläggande frå-gorna för förståelsen av kvalitetsmätning och ranking.
De bedömningar av kvaliteten i högre utbildning som under de senaste decennierna genomförts världen över har genererat en omfattande doku-mentation. Idag finns tillgängligt ett rikt material från utvärderingar och ranking men också analyser och metaanalyser av kvalitetsmätningar. I detta utbud, både internationellt och nationellt, finns svar att söka om giltigheten i slutsatserna, validiteten, reliabiliteten och relevansen men också om etiken i granskningarna.
Trots att det fortfarande saknas evidens till stöd för de modeller och me-toder som tillämpas vid externa kvalitetsgranskningar tycks allmänhetens intresse växa. Framför allt finns ett intresse för information om kvaliteten vid universitet och högskolor i form av rankinglistor. Utan tvekan har de så kallade ’league tables’ vunnit i trovärdighet. Longden (2011, p. 86) noterar att “the concept of trust becomes an integral part of the human condition”. Hans tes är följaktligen att aktörerna har förtroende för vår tilltro till univer-sitetsbedömningarna och litar på att vi inte ifrågasätter konstruktionen av granskningssystemen.
Det växande intresset för översiktlig och lättillgänglig information om utbildningens kvalitet kan tolkas som en bekräftelse på en tillit till aktörerna och systemen. Kritiken har dock inte uteblivit (se avsnitten 1.1 och 1.3). Bland företrädare för akademin har hävdats att de modeller och metoder som tillämpas vid bedömningarna brister i trovärdighet. Med ett empiriskt material som underlag bör dessa påståenden kunna prövas. De svårigheter
19 som är förenade med att finna undersökningsobjekt som uppfyller kraven på relevanta jämförelser ska emellertid inte underskattas. Externa aktörer kan ha skilda uppfattningar om vilka faktorer som konstituerar kvalitet i högre utbildning. Likaså kan valet av granskningsmodell och mätmetod variera. Inför en jämförande studie är tillförlitligheten i underlagsmaterialet ytterli-gare en faktor att beakta.
Sammantaget är risken överhängande att jämförelser mellan utfall av olika kvalitetsmätningar leder till en jämförelse mellan ’äpplen och päron’. Relevansen i jämförelserna är därför avgörande för giltigheten i slutsatserna. I en empirisk studie har Bowden (2000) jämfört metodologi och gjort en kvantitativ analys av utfallen av tre olika universitetsrankningar i Storbri-tannien som genomförts ett och samma år (se avsnitt 1.3). Något statistiskt signifikant samband mellan rankingarna av universiteten kunde dock inte påvisas. Resultaten av studien ledde istället till slutsatsen att rankningar hade ett begränsat värde som vägledning till blivande studenter. Shin och Toutkoushian (2011) å sin sida menar att kvalitetsbedömningar inte enbart har ett informativt och vägledande syfte. Oavsett om kvalitetsmätningar görs för att ranka, utkräva ansvar eller säkra kvaliteten konstaterar de att aktörerna också har som gemensamt mål att förbättra kvaliteten i högre ut-bildning (se avsnitt 1.1). I det direkta syftet att bidra till kvalitetsförbättring-ar används dock vanligen den kollegiala modellen, quality audit (ENQA, 2005; IREG, 2006; INAAQUE; 2013). Granskningar enligt denna modell sätter fokus specifikt på processerna i lärosätenas systematiska kvalitetsar-bete (se avsnitt 2.3).
Effektiviteten i externa granskningar av kvalitetsarbetet, quality audits, har prövats bland annat av Shah (2013). I en kvalitativ studie analyserar han erfarenheterna av de kvalitetsgranskningar som genomförts av Australian Universities Quality Agency (AUQA) vid 30 universitet. Analysen bygger på resultat från totalt 120 intervjuer med företrädare för universitetens led-ning och administration, företrädare för Agency (AUQA) m.fl. Shah är in-förstådd med att granskning av kvalitetsarbetet inte är en faktor som ensam kan påstås förbättra universitetens kvalitetssäkring. I likhet med Askling (1997) Carr, Hamilton och Meade (2005) framhålls att ett flertal andra in-terna och exin-terna faktorer påverkar både kvalitetsarbetet och kvaliteten vid ett lärosäte. Shahs slutsats är dock att AUQAs granskningar och bedöm-ningar av lärosätenas kvalitetsarbete signifikant har bidragit till att förbättra kvalitetssäkringen vid universiteten. Däremot konstaterar han att studien inte ger något belägg för att externa granskningar av kvalitetsarbetet haft någon effekt med avseende på utbildningens kvalitet. Resultaten visar enligt Shah inte heller att granskningarna skulle ha haft några generella effekter ifråga om studenternas erfarenheter och omdömen om utbildningen.
Utgångspunkten för det här forskningsarbetet har utgjorts av det syfte som aktörerna har uppgett gälla för sina granskningar - att ge trovärdig och tillförlitlig information om kvaliteten vid universitet och högskolor riktat till blivande studenter, lärosätena själva och en bred allmänhet.
Oavsett vilket system de tillämpar hävdar aktörerna att deras bedömning-ar och slutsatser uppfyller kraven på trovärdig och värdefull information om kvaliteten. Det övergripande syftet skulle alltså ha uppnåtts. Det vill säga att ge god vägledning till olika intressenter i högre utbildning, blivande
studen-ter, politiker och allmänhet. Givet att de aktörer som bedömer högre utbild-ning och lärosäten gemensamt hävdar detta, borde det vara rimligt att kri-tiskt granska och jämföra olika system för kvalitetsgranskningar och resulta-ten av bedömningarna. Till förutsättningarna för att säkra validiteresulta-ten och relevansen i jämförelserna hör därutöver att de externa aktörerna baserar sina bedömningar på samma övergripande definition av kvalitet (Dill & Soo, 2005; Usher & Savino, 2006; Harvey, 2008). Syftet med den här fors-karstudien är att pröva om granskningar som baseras på samma övergri-pande definition av kvalitet i högre utbildning leder till samma resultat.
Vad bedöms vara kvalitet i en så mångfacetterad och komplex verksam-het som bedrivs vid universitet och högskolor? Om kvalitet i högre utbild-ning kan mätas och i så fall hur hör till de frågor som under de senaste de-cennierna har väckt en tidvis intensiv debatt (se avsnitt 1.3). För min per-sonliga del har ett intresse för dessa frågeställningar närts både av erfaren-heterna från egna utbildningar och från yrkeslivet. Min utbildningsbakgrund med en sjukgymnastexamen och en samhällsvetenskaplig examen har lett till yrkesverksamhet med stor variation. Högre utbildning och kvalitet har dock varit ett genomgående tema. Mitt yrkesliv har sträckt sig alltifrån ett engagemang i studentfrågor som utbildningssekreterare i studentkårer till regeringsuppdrag som expert och sakkunnig i kommittéer och offentliga utredningar. Till specialområdena hör utbildningar för generella examina och yrkesexamina, forskarutbildning och delvis forskning inom området för medicin, vård och socialt arbete. I växlande roller som verksamhetsansvarig, utredare och projektledare inom detta fält har jag varit anställd av Högsko-leverket, Kanslersämbetet, Karolinska Institutet, Universitets- och högsko-leämbetet, och Universitetskanslersämbetet. Ett flertal uppdrag utöver rege-ringsuppdragen har varit knutna till Socialstyrelsen och Forskningsrådet för arbetsliv och samhälle. Pedagogisk utveckling och utvecklingsarbete gene-rellt för högskolans lärare, forskare m fl. är ytterligare ett område som jag tidigt ägnat mig åt både vid Stockholms universitet och Universitets- och högskoleämbetet.
21
4 Syften och forskningsfrågor
Syftet med detta forskningsarbete är att undersöka om det finns något påvis-bart samband mellan resultaten av tidigare genomförda externa bedömning-ar av kvaliteten vid svenska universitet och högskolor.
De två jämförande empiriska studierna har ägnats åt att söka svar på följande forskningsfrågor.
1. Leder olika system för kvalitetsbedömningar till likvärdiga slutsatser om utbildningens kvalitet?
2. Finns det något påvisbart samband mellan bedömningen av lärosä-tenas kvalitetsarbete och utbildningens kvalitet?
Den första forskningsfrågan problematiseras i Artikel I och den andra i Artikel II.
I. Bergseth, B., Petocz, P. and Abrandt Dahlgren, M. (2014). Ranking quality in higher education: guiding or misleading? Quality in
High-er Education, 20 (3), 330-347.
II. Bergseth, B. (2014). Har externa granskningar av kvalitetsarbete nå-gon effekt på kvaliteten i högre utbildning för yrken inom medicin och vård? Artikelmanus under granskning.
5 Material och metod
I två studier jämförs resultaten av kvalitetsgranskningar som gjorts enligt tre skilda modeller.
Två av dessa bygger på den kollegiala modellen, ”peer-review”, som till-lämpats av HsV vid granskningar och bedömningar av det systematiska kva-litetsarbetet, quality audits, och utbildningarnas kvalitet, quality assess-ments, vid universitet och högskolor (se avsnitt 2.3).
Den tredje modellen utgörs av det system som Urank sedan år 2007 an-vänder sig av för bedömning och ranking av kvaliteten i utbildningen vid lärosäten i sin helhet (se avsnitt 2.4). Systemet bygger på kvantitativa data och numeriska analyser och har utvecklats med The Maclean’s Guide to Canadian Universities (Maclean´s, 2014) som förebild.
5.1 Material
Det empiriska underlaget hämtades ur dokumentationen från delar av HsVs nationella kvalitetsbedömningar som publicerats under perioden 1995 – 2007.
Det första objektet i den jämförande studien av kvalitetsgranskningar
re-presenteras av HsVs kollegiala bedömningar av lärosätenas systematiska kvalitetsarbete. I två omgångar under perioden 1995 – 2002 granskades och bedömdes kvalitetsarbetet vid 33 universitet och högskolor. Den här studien avgränsades dock till de 24 lärosäten3 som gav utbildningar inom medicin och vård.
Inför den inledande omgången granskningar av lärosätenas kvalitetsar-bete, 1995 – 1999, lämnade HsV särskilda anvisningar och instruktioner om hur de skulle genomföras (HsV, 1995). De bedömare som utsetts för upp-draget sammanfattade sina slutsatser och lämnade ett antal rekommendat-ioner till lärosätena om åtgärder för förbättringar av kvalitetsarbetet. Slutsat-serna redovisades i 23 rapporter4.
Efter denna inledning återkom HsV med uppföljande granskningar och bedömningar, 2000 – 2002. Dessa granskningar gjordes i syfte att bedöma hur kvalitetsarbetet vid lärosätena hade vidareutvecklats. Också den här gången fick lärosätena rekommendationer om förbättringar av kvalitetsar-betet. Uppföljningar genomfördes tidigast tre år efter den första granskning-en av ett lärosäte. Också inför uppföljninggranskning-en gav HsV särskilda anvisningar med instruktioner om tillvägagångssätt (HsV, 1997; 1998). Slutsatserna av de fortsatta granskningarna redovisades av HsV i totalt 19 rapporter dels
3Malmö högskola inrättades 1998. Dessförinnan var verksamheten integrerad i Lunds universitet.
4 HsV,1996:3 R; 1996:16 R; 1996:17 R; 1996:20 R; 1997:1 R; 1997:5 R; 1997:6 R; 1997:13 R; 1997:15 R; 1997:20 R;1997:23 R; 1997:24 R; 1997:25 R; 1997:31 R; 1997:43 R;1997:46 R; 1997: R; 1998:8 R; 1998:34 R; 1998:36 R; 1998:38 R; 1998: R; 1999:2 R.
