För att ge ett bredare perspektiv på prestationsbaserade resursfördelningssystem och deras eventuella konsekvenser kommer två specifika fall att presenteras i föl- jande avsnitt.
Fallet Austalien
När utvärderingssystems påverkan på forskning och publiceringsmönster diskute- ras så är Australien ett vanligt exempel på hur en välmenad tanke kan leda till oönskade resultat. På mitten av 90-talet gjordes en kartläggning av hur resursför- delningssystem på australiensiska universitet såg ut. De flesta allokerade internt en viss summa forskningsmedel baserat på mängden publikationer enskilda in- stitutioner publicerade (Butler 2003, s.150). Vid den här tiden introduceras även den här typen av resursfördelning på nationell nivå, där en viss procentsats av forskningsmedlen som tilldelas universiteten baseras på publikationsmängd (But- ler 2004, s.392). När systemet var som mest utbrett, under 2002, så fick universi- teten AUD $3307 för varje publikation som gått igenom en peer review-process och AUD $15000 för en monografi (Butler 2004, s. 393). Problemet var att det, rent ekonomiskt, inte spelade någon roll ifall en artikel publicerades i välansedda tidskrifter eller i mindre välrenommerade tidskrifter. Klassiska indikatorer på kva- lité, som tidskrifters impact factor, var för systemet inte relevanta. Butler menar att det här påverkade valet av publiceringskanal negativt, eftersom det inte gav några incitament för forskare att publicera sig i prestigefyllda tidskrifter (Butler 2004, s. 394). Det här leder i sin tur till att australiensisk forskning inte blir lika synlig och inte citerad i den grad som den annars hade kunnat bli. En tidigare stu- die Butler genomförde, med data från Web of Science, visade att antalet australi- ensiska publikationer ökade i högre takt än andra länder samtidigt som citerings- frekvensen minskade, mellan 1981-1999 (Butler 2003).
Diagrammet nedan visar hur publikationsmängden ökade efter införandet av det ovannämnda systemet, vid linjen för "Introduction of publications collection". De olika kvartilerna står för hur högt rankande tidskrifterna är. Så kvartil 1 är de högst rankade medan kvartil 4 är de lägst rankade. Det illustrerar tydligt hur snabbt det här resursfördelningssystemet påverkade publiceringsmönster.
Figur 1. Australiensiska universitets andel av Science Citation Index 1981-1999.
Källa: Butler 2004, s. 395
För att säkerställa datans korrelation med just utvärderingssystemet gjordes ett antal kontrollerande jämförelser med andra tänkbara förklaringar. Nytillkomna universitet och institutioner samt ökad forskande personal stod för mindre än en tredjedel av ökningen (Butler 2004, s. 395). Jämförelser gjordes med andra sek- torer som publicerar vetenskapliga artiklar, men som inte omfattas av resursför- delningssystemet som gäller för universiteten. Det här är till exempel industrisek- torn, sjukhus och statliga forskningsinstitutioner (jämför med Sveriges Livsme- delsverk, Naturvårdsverk, och så vidare). I dessa sektorer fanns inte ens en anty- dan till universitetens publiceringsmönster (Butler 2004, s. 395). Kortfattat så kan situationen summeras med att forskare publicerade i minsta publiceringsbara en- het för att maximera antalet publikationer och därmed få mer pengar.
Så det är på grund av det här förhållandet mellan resursfördelningssystem och påverkan som Australien brukar användas som ett exempel på de oönskade kon- sekvenserna ett utvärderingssystem kan få. För det är värt att påpeka att Austra- lien är det enda land som har använt det här systemet så utbrett och också det enda land där den här typen av publiceringsmönster är som tydligast. Idag är dock sy- stemet avskaffat, så det är ett exempel som hör historien till.
Spanien har använt ett snarlikt resursfördelningssystem, fast på individnivå. Det här har resulterat i liknande publiceringsmönster, fast i mindre skala. Målet med det spanska systemet var dock att öka den spanska forskningens internation- ella spridning genom att belöna publicering i engelskspråkiga tidskrifter (Butler
2004, s. 398f). Så i Spaniens fall så lyckades satsningen; de ville öka publicering- en och det är vad som hände. I Australiens fall var målet att fördela forskningens resurser efter kvalité på forskningen, men det resulterade i ett belöningssystem som byggde helt kvantitet istället (Butler 2004, s. 399).
Fallet humanistiska fakulteten vid Umeå universitet
Humanistiska fakulteten vid Umeå universitet utvärderade sitt kvalitetsbaserade resursfördelningssystem, som vid tiden för rapportens tillkomst hade tillämpats från höstterminen 2008 till vårterminen 2010. Bakgrunden till systemet är en om- organisation inom fakulteten där de bland annat skulle utveckla ett system för resursfördelning som skulle ligga till grund för en tredjedel av de totala fakultets- resurserna. Exakt hur systemet fungerar är oklart, men det ska bygga på den norska modellen (Sjögren 2011, s.2). Det är viktigt att understryka att systemet inte gäller för alla, utan enskilda forskare måste lämna in en ansökan för att få ta del av den kvalitetsbaserade resursfördelningen. Det är forskare som har sökt de här pengarna som är fokus i undersökningen.
Utvärderingen genomfördes genom ett enkätutskick till berörda forskare, samt enklare bibliometriska data för se om systemet förändrat publiceringsmönster. Det noteras dock att institutionernas rapporteringar till DiVA ibland är bristfälliga, så hur den bibliometriska datan förhåller sig till faktisk publicering är inte säkert (Sjögren 2011, s. 8).
Slutsatsen av den bibliometriska analysen är att systemet inte har gynnat en viss typ av publikation (t.ex. artiklar i internationellt erkända tidskrifter, som pre- mieras i den norska modellen) (Sjögren 2011, s. 11). Däremot så upplevde flerta- let av enkätrespondenterna att det här inte var fallet; artiklar i internationella tids- skrifter ansågs vara det som var mest gångbart i systemet (Sjögren 2011, s. 12). Vad som märks tydligt är att publiceringsfrekvensen har ökat hos de som fått sina ansökningar om kvalitetsbaserade forskningsmedel beviljade. Däremot så har den här gruppen inte högre andel peer review-granskade eller internationella artiklar än hela sökandegruppen. Det som systemet i slutändan har genererat verkar vara fler publikationer (Sjögren 2011, s. 13). En tredjedel av enkätrespondenterna tycker också att de har ökat sin publiceringstakt efter att systemet infördes och 42 procent anser sig tänka mer på var de publicerar sina resultat (Sjögren 2011, s. 13).
Så många som 68 procent av respondenterna ansåg att det kvalitetsbaserade systemet inte märkbart förändrade kvalitén på forskningen, och "[…] antalet som anser att kvaliteten i forskningen har höjts i och med systemets införande är unge- fär lika många som anser att kvaliteten har försämrats." (Sjögren 2011, s. 14). Däremot så anser en majoritet att systemet har haft negativ påverkan på arbets- klimatet; det vill säga att systemet i slutändan egentligen inte har påverkat arbetet, bara hur det upplevs (Sjögren 2011, s. 14).
Ett av förslagen i rapportens slutsatser menar att bättre information om hur systemet fungerar och vad det syftar till att åstadkomma är viktigt. Forskare kän- ner till systemet, och många säger sig ta hänsyn till det när de ska publicera, men informationen de besitter är inte komplett och har ofta kommit från informella källor (Sjögren 2011, s. 12, 16).
Rapporten pekar på att systemet inte har önskad effekt i publicering och att det mottagits med blandade reaktioner från forskarna. Däremot så är det värt att påpeka att det systemet bara har tillämpats i två läsår och att det är ett väldigt kort fönster för en bibliometrisk undersökning. Om systemet får större konsekvenser på lång sikt är oklart.