Jämförelse mellan Scopus och Web of Science för utvärdering av KTH:s publicering

Jämförelse mellan Scopus och Web of Science för utvärdering av KTH:s publicering

Peter Sjögårde, 2014-03-04

KTH, ECE-Skolan, Enheten för publiceringens infrastruktur

Sammanfattning av resultat

Scopus och Web of Science har jämförts för publikationer affilierade till KTH publicerade 2009-2011. Scopus indexerar fler konferensproceedings och täcker därför en högre andel av KTH:s publikationer, men de publikationer som täcks utöver Web of Science tenderar att vara lågt citerade. Citeringsanalyser av antal citeringar påverkas i ganska låg utsträckning om Scopus skulle användas istället för Web of Science för att analysera KTH som helhet. Vidare är medelantalet citeringar per publikation högre i Web of Science än i Scopus.

För de forskningsområden som i hög utsträckning publicerar sig i konferensproceedings är täckningsgraden i regel högre i Scopus än i Web of Science. Det gäller de UoA som i RAE2012 ingick i panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications. Även antalet citeringar är i regel fler, mätt både som totalt antal och citeringar per publikation för UoA i dessa paneler.

Den fältnormerade citeringsgraden är högre i Scopus (1,60) än i Web of Science (1,45) för KTH-affilierade publikationer. Eftersom Scopus utöver de publikationer som finns i Web of Science täcker lågciterade KTH-publikationer beror troligen den högre siffran på att Scopus indexerar fler lågciterade källor, i vilka KTH i relativt låg utsträckning publicerar artiklar i.

Detta orsakar sänkta normvärdena och därmed en högre citeringsgrad och ger därför inte nödvändigtvis en bättre bild av KTH:s genomslag.

Bakgrund

Idag används grunddata från Web of Science för utvärdering av KTH:s forskning i bland annat RAE, den årliga indikatorrapporten och för beräkning av budgetindikatorn. Syftet med

Databasens täckning är en viktig aspekt för utvärderingen av forskning. En större täckning av lärosätets publikationer betyder dock inte nödvändigtvis att KTH skulle få högre värden i bibliometriska analyser eller att databasen per se lämpar sig bättre för bibliometriska analyser. Hur lämplig databasen är för bibliometriska analyser beror på vad den täcker och vad det är man vill mäta. Antalet publikationer skulle förvisso bli större om en större del av publiceringen täcks av databasen som används, men inkluderandet av lågciterade publikationer skulle ge sämre medelvärden för mått som citeringar per publikation och påverkar även ämnesnormering.

Hur den fältnormerade citeringsgraden påverkas är mer osäkert eftersom normvärdena påverkas då antalet publikationer utökas i en databas. Utökas databasen med lågciterade publikationer sänks fältnormen och högciterade publikationer får då högre värden. Det blir även lättare att nå högre percentiler, att exempel vara bland de tio procent mest citerade publikationerna inom en ämneskategori.

Den skeva fördelningen av citeringar till publikationer är en aspekt som orsakar instabilitet då fältnormerad citeringsgrad beräknas. Om lågciterade källor adderas till datamängden tenderar det att ytterligare förstärka skevheten i fördelningen och därmed orsaka än mer instabila värden, vilket kan leda till att publikationer med få citeringar ändå kan få mycket höga fältnormerade värden.

Vidare är kvalitet av det material som databasen innehåller av stor vikt för kvaliteten av bibliometriska analyser. Kvalitetsaspekten har tidigare setts över på KTH då Web of Science valdes som primär databas för bibliometriska analyser. Utvärderingen av kvaliteten är inte det primära syftet i denna rapport men kommer även den att kommenteras.

Web of Science är den databas som mest frekvent används globalt för bibliometriska analyser. För att bibliometriska analyser ska vara jämförbara är användandet av samma databas som används i de analyser som KTH ingår i eller vill jämföra sig med en förutsättning, dock är bibliometriska analyser ofta svåra att jämföra eftersom metodmässiga skillnader kan orsaka skillnader i resultaten.

Analys av antal citeringar och antal publikationer

Analys utfördes för KTH som helhet och för de Unit of Assessment som ingick i RAE2012.

Publikationer söktes ut i april 2013 från Web of Science och från Scopus genom sökning på affiliering. Söksträngen var snarlik men anpassad till respektive databas för att ge största möjliga jämförbarhet mellan resultaten.

Söksträng Scopus:

(AF-ID("The Royal Institute of Technology KTH" 60002014)) OR ((AFFIL(kth) OR AFFIL(roy* AND inst* AND tech*) OR AFFIL(alfven) OR AFFIL(kung* AND tek* AND hog*) OR AFFIL(kgl AND tek* AND hog*) OR AFFIL(roy* AND tech* AND univ*) AND AFFILCOUNTRY(sweden)))

Söksträng Web of Science:

AD=(KTH OR Roy* inst* tech* OR alfven OR kung* tek* hog* OR kgl tek* hog* OR roy*

tech* univ*) AND AD=Sweden

För undersökningen per UoA matchades posterna till DiVA baserat på antingen identifierare eller en kombination av titel och andra bibliografiska uppgifter. Något färre av posterna i Scopus kunde matchas i jämförelse med poster från Web of Science, 83 procent jämfört med 96 procent. Skillnaden bör tas i beaktande då resultaten studeras. Sannolikt beror den på att registrering skett systematiskt från Web of Science medan Scopus-poster som inte finns i Web of Science måste registreras av forskarna själva.

En treårsperiod, 2009-2011, valdes för att få tillräckligt många publikationer för att resultatet skall kunna anses vara robust. Analysen avgränsades till artiklar, review-artiklar och konferensbidrag.

Jämförelser gjordes dels av antalet publikationer och dels av citeringar. Citeringar mellan databaser är i regel svårt att jämföra eftersom täckningen inte är densamma. Dock visade sig citeringarna mellan databaserna korrelera i mycket hög grad vilket underlättar jämförelsen, särskilt på en aggregerad nivå. Fokus i jämförelsen låg på att utröna hur databaserna skiljer sig från varandra, framförallt om högciterade publikationer saknas i någon av databaserna.

Figur 1: Correlation between citations in Scopus and Web of Science, 2009-2011

1.1 Resultat för KTH som helhet

Sökningarna resulterade i 7933 publikationer i Scopus och 6093 publikationer i Web of 0

100 200 300 400 500 600 700 800 900 1000

0 200 400 600 800 1000 1200

Count of Citations in Web of Science

Count of Citations in Scopus

310. Tittar man på artiklar däremot så återfanns något fler indexerade i Web of Science än i Scopus för 2011, dock förekommer vissa skillnader av hur publikationer klassificeras i databaserna.

Figur 2: Antal publikationer per år, 2009-2011

Stor täckning av publikationer är dock inte alltid till fördel för bibliometriska analyser. Vid fältnormering sänker inkluderandet av publikationer i perifera kanaler normvärden. En gränsdragning av vilka kanaler som skall finnas med i databasen är därför av vikt, där täckningen vägs mot kanalernas genomslag. Att databasen täcker de mest centrala kanalerna och de publikationer som fått många citeringar är av betydelse. Även antalet publikationer med citeringar är högre i Scopus än i Web of Science. Däremot är skillnaderna mellan databaserna mindre i detta avseende (

Figur 3). I Scopus fanns 1705 citerade publikationer 2011 med KTH-adress och i Web of Science 1455 stycken. Tittar man på andelen publikationer som hittills fått citeringar är denna betydligt högre i Web of Science än i Scopus, 68 procent respektive 59 procent för 2011 (Figur 4). Vidare visade en manuell koll av samtliga publikationer som har över 40 citeringar i Scopus att ingen av dessa saknades i Web of Science.

Skillnaden mellan det totala antalet citeringar är inte så stor med tanke på att Scopus indexerar fler publikationer och dessutom samlar in citeringar från fler källor (Figur 5). Trots att det återfanns 30 procent fler KTH-publikationer i Scopus är skillnaden vad gäller citeringar endast 10 procent. I Web of Science får publikationerna i genomsnitt fler citeringar (7,2) än i Scopus (6,1) trots att Scopus täcker fler indexerade källor vilket ger ett högre antal möjliga citeringar (Figur 6).

0 200 400 600 800 1000 1200 1400 1600 1800 2000

2009 2010 2011 2009 2010 2011 2009 2010 2011

Article Conference Paper Review

Scopus Web of Science

Figur 3: Antal citerade publikationer, 2009-2011.

Figur 4: Andel publikationer med citeringar, 2009-2011.

0 200 400 600 800 1000 1200 1400 1600 1800 2000

Cited publications Cited publications Cited publications

2009 2010 2011

Scopus

Web of Science

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

2009 2010 2011

Scopus

Web of Science

Figur 5: Totalt antal citeringar, 2009-2011.

Figur 6: Citeringar per publikation, 2009-2011.

Tittar man på hur citeringarna fördelar sig mellan publikationerna är det tydligt att de publikationer som Scopus täcker utöver Web of Science i regel får få citeringar (Figur 7).

Scopus täcker betydligt fler ociterade publikationer än Web of Science. Detta leder till 0

5000 10000 15000 20000 25000

2009 2010 2011

Citeringar Scopus

Web of Science

0 1 2 3 4 5 6 7 8

Total

Count of Citations

Scopus

Web of Science

slutsatsen att det som indexeras i Scopus utöver det som finns i Web of Science är källor som är tämligen lågt citerade. Detta är en tydlig indikation på att de kanaler som finns i Web of Science är av en genomsnittligt högre kvalitet än de som finns i Scopus.

Figur 7: Antal publikationer kategoriserade efter antal citeringar, 2009-2011

För att jämföra antalet citeringar till en och samma publikation mellan databaserna behöver dessa kunna identifieras. Digital object identifier (DOI) är en global identifierar som används för forskningspublikationer och som gör detta möjligt. Alla poster i Web of Science och Scopus har inte ett DOI-nummer, men en majoritet av posterna har ett sådant nummer.

Om man kopplar posterna som har en identifierare (DOI) i databaserna ser man att publikationer som finns i båda databaserna får något fler citeringar i Scopus än i Web of Science, dvs. samma publikation får fler citeringar i Scopus än i Web of Science. Dock är denna skillnad ganska liten. För de publikationer som inte har någon identifierare är fördelningen av dessa kategoriserade utifrån antal citeringar likartad i Scopus och Web of Science (Figur 8). De publikationer som har identifierare men som endast återfinns i en av de två databaserna skiljer sig dock markant åt. Av dessa är ett stort antal lågciterade i Scopus.

Detta förhållande gör det än mer tydligt att det som registreras i Scopus utöver det som finns i Web of Science till största del är lågciterade publikationer som påverkar det totala antalet citeringar i låg utsträckning.

Figur 8: Publikationer med identifierare (DOI), kategoriserade efter antalet citeringar i Web of Science och i Scopus, 2009-2011.

0 500 1000 1500 2000 2500 3000

0 1 2 3-5 6-10 11-50 51-200 >200

Publikationer

Citeringar

Scopus

Web of Science

0 200 400 600 800 1000 1200 1400

0 1 2 3-5 11-50 6-10 51-200 0 1 2 3-5 11-50 6-10 51-200 0 1 2 3-5 11-50 6-10 51-200 >200

Ingen identifierare Endast i en databas I båda databaserna

Antal publikationer

Antal citeringar

Scopus

Web of Science

Resultat per Unit of Assessment i RAE2012

För 15 st UoA är antalet publikationer i Scopus mer än 20 procent fler än i Web of Science (Figur 9). Det gäller tekniska forskningsområden inom bland annat datavetenskap, informationsteknik och elektronik, men också samhällsorienterade ämnen såsom hälsa, stadsplanering, industriell ekonomi och management. För samtliga, med undantag för Urban Planning and the Built Environment, är också det totala antalet citeringar fler i Scopus än i Web of Science (Figur 11). 13.3 Mediated Communications, 6.3 Embedded Electronics and Computer Systems, 13.1 Theoretical Computer Science har samtliga över tre gånger så många citeringar i Scopus som i Web of Science. Dessa tre UoA har även fler citeringar per publikation i Scopus.

De publikationer som inte kunnat matchas till DiVA och som fanns i Scopus med KTH-adress har färre citeringar per publikationer än de som matchades. Därför kan man anta att det finns en skevhet i materialet då forskare i högre utsträckning har registrerat sina bästa publikationer.¹ Antalet citeringar per publikation skulle förmodligen bli något lägre i Scopus om samtliga publikationer var registrerade i DiVA (vilket har gjorts från publiceringsår 2012 och framåt).

Med detta i åtanke kan det dock konstateras att några UoA skulle få både fler publikationer, ett högre totalt antal citeringar och fler citeringar per publikation om Scopus används istället för Web of Science. Det rör främst de UoA som i RAE2012 ingick i panelerna 2 Information &

Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications, dvs. delar av skolorna ICT, ITM, STH, CSC och EES.

Figur 9: Antal publikationer i Scopus och Web of Science per Unit of Assessment, 2009-2011.

Figur 10: Täckningsgrad av KTH-affilierade konferensbidrag och artiklar i Scopus och Web of Science jämfört med DiVA per Unit of Assessment, 2009-2011.

0 100 200 300 400 500 600 700

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 10,1 10,2 10,3 10,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3

Antal publikationer

Unit of Assessment

Scopus

Web of Science

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 10,1 10,2 10,3 10,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3

UoA

Scopus

Web of Science

Figur 12: Antal citeringar per publikation i Scopus och Web of Science per Unit of Assessment, 2009-2011.

0 2000 4000 6000 8000 10000 12000

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 10,1 10,2 10,3 10,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3

Antal citeringar

UoA

Scopus

Web of Science

0 5 10 15 20 25 30 35 40 45

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 10,1 10,2 10,3 10,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3

Antal citeringar per publikation

UoA

Scopus

Web of Science

Fältnormerad data

För att kunna jämföra fältnormerad data beställdes indikatorer från Science-Metrix i Kanada.

Science-Metrix klassar tidskrifter i Web of Science och Scopus i ämnesklasser i tre nivåer: (1) bred nivå omfattande 6 domäner, (2) mellannivå omfattande 15 ämnesklasser och (3) minsta nivå omfattande 176 underklasser. Nivå 1 och 2 är av intresse för denna undersökning. Nivå 3 är alltför finindelad och innehåller därmed alltför få publikationer för att ge robusta resultat och kommer därför inte beaktas. Fördelen med att använda Science-Metrix indelning av ämnesklasser är att samma klasser används för beräkningen av den fältnormerade citeringsgraden i både Web of Science och Scopus vilket förbättrar möjligheten att jämföra resultaten i de båda databaserna.

För att göra resultaten så robusta och jämförbara som möjligt har den fältnormerade citeringsgraden, Average Relative Citation count (ARC), beräknats med ett fast citeringsfönster om 3 år, för publiceringsåren 2009 och 2010.

Fältnormerad citeringsgrad

Värdet för den fältnormerade citeringsgraden är högre för Scopus 1,60 än i Web of Science 1,45. Detta kan ha flera orsaker. Det kan bero på att Scopus indexerar fler lågciterade källor och därmed sänker referensvärdena. Om KTH i låg utsträckning publicerar i dessa kanaler höjs den fältnormerade citeringsgraden. Det kan också bero på att fler högciterade publikationer från KTH kan räknas med i Scopus då databasen har bättre täckning av KTH:s publicering. Dock har analysen av antalet citeringar ovan visat att det totala antalet citeringar skiljer sig i förhållandevis låg utsträckning och att antalet citeringar per publikation är högre i Web of Science än i Scopus. Figur 8 visar att de KTH-affilierade publikationer som finns i Scopus men inte i Web of Science, i regel är lågt citerade. Detta stärker tesen om att det generellt sett är lägre referensvärden i Scopus som orsakar en höjning av det fältnormerade värdet. Störst skillnad för den fältnormerade citeringsgraden av de ämneskategorier som KTH frekvent publicerar inom ser vi inom de tillämpade vetenskaperna, särskilt inom ”Enabling &

Strategic Technologies” och ”Engineering”. Inom dessa ämnen skiljer sig även antalet publikationer. Noterbart är också att den fältnormerade citeringsgraden är något lägre i Scopus än i Web of Science för ämneskategorin ”Information & Communication Technologies” som innehåller betydligt fler KTH-publikationer i Scopus än i Web of Science.

Då lågciterade källor läggs till vid beräkning av normerad citeringsstatistik ökar en redan skev fördelning av citeringar till publikationer. Detta orsakar en högre grad av instabilitet i beräkningen. Att fler publikationer ingår i beräkningen ger därför inte per se en mer rättvisande bild av KTH:s publicering. CWTS har i sin ranking tagit ett steg i riktning mot att utesluta källor av dessa anledningar. De har infört en beräkning av fältnormerad citeringsgrad

där källor som inte är på engelska och inte har ett internationellt fokus uteslutits.² Om Scopus skulle användas för citerings-beräkningar på KTH finns en risk att den större täckningen av lågciterade källor skulle ge instabila värden. Dessa konsekvenser skulle i så fall behöva utredas. Ett första steg skulle vara att utreda hur inkludering av konferensindex i Web of Science påverkar fältnormerad statistik. Troligtvis är påverkan av denna inkludering likartad till sin natur som att beräkna fältnormerad citeringsgrad i Scopus istället för Web of Science.

Tabell 1: Fältnormerad citeringsgrad, Average Relative Citation count (ARC), i Web of Science och Scopus, beräknat med 3-årigt citeringsfönster, 2009-2010.

Scopus Web of Science

Number

of papers ARC Number of

papers ARC

Domain / Field / Subfield FULL ARC3 n_ARC3 FULL ARC3 n_ARC3

TOTAL (Whole Database) 7 675 1.60 4 767 5 084 1.45 3 207

Natural Sciences 2 806 1.72 1 852 2 543 1.60 1 643

Biology 50 1.96 33 46 1.44 31

Chemistry 582 1.96 380 569 1.87 372

Earth & Environmental Sciences 212 0.94 140 181 0.84 118

Mathematics & Statistics 211 1.05 153 214 1.08 140

Physics & Astronomy 1 751 1.82 1 146 1 533 1.66 982

Applied Sciences 3 528 1.46 2 409 1 795 1.20 1 163

Agriculture, Fisheries & Forestry 59 1.64 40 54 1.22 37

Built Environment & Design 124 1.12 93 73 0.97 55

Enabling & Strategic

Technologies 1 175 1.39 777 792 1.16 496

Engineering 1 069 1.65 725 617 1.15 403

Information & Communication

Technologies 1 101 1.39 774 259 1.51 172

Health Sciences 456 1.43 279 392 1.32 241

Biomedical Research 139 1.30 86 146 1.28 92

Clinical Medicine 203 1.48 118 173 1.38 103

Psychology & Cognitive Sciences 39 2.71 18 27 1.91 17

Public Health & Health Services 75 1.09 57 46 0.91 29

Economic & Social Sciences 214 1.82 134 131 1.68 76

Economics & Business 162 2.00 108 102 1.85 60

Social Sciences 52 1.08 26 29 1.05 16

Arts & Humanities 52 1.15 37 47 1.58 34

Communication & Textual

Studies 15 1.39 10 8 2.75 6

Historical Studies 7 0.43 4 8 0.75 4

Philosophy & Theology 29 0.95 22 28 1.20 21

Visual & Performing Arts 1 6.27 1 3 2.94 3

General 89 4.01 56 84 2.51 50

General Arts, Humanities & Social

Sciences 7 1.97 1 7 1.77 1

General Science & Technology 82 4.05 55 77 2.53 49

UNCLASSIFIED 530 n.c. n.c. 92 n.c. n.c.

Kommentarer kring kvalitet i databaserna

Denna undersökning har inte specifikt tittat på kvalitet av data i de två databaserna. Det har alltså inte gjorts någon systematisk undersökning av datakvaliteten, dock har kvalitativa aspekter uppmärksammats då anomalier i data förekommit. I Web of Science har fel i konferensposter påträffats. Det gäller framförallt adresser som saknas i dessa. Dock har inga fel påträffats i övriga index.

I data från Scopus har dubbletter, felaktiga adresser samt ett fall av felaktigt DOI-nummer förekommit. Detta väcker frågetecken kring datakvaliteten i Scopus. En annan kvalitetsaspekt är det innehåll som databasen täcker. Web of Science täcker huvudsakligen de viktigaste, mest citerade internationella peer review-granskade kanalerna. Scopus täcker kanaler utöver dessa, vilka många förefaller vara lågt citerade.

Flera relativt högciterade publikationer som återvunnits från Web of Science genom adressökningen saknade en KTH-adress i Scopus. För flera av dessa visade det sig att delar av adressfältet som fanns med i ursprungsartikeln saknades i Scopus.

Scopus täcker data från 1996, medan Web of Science täcker publikationer från 1900 och framåt. I Scopus är möjligheterna att beräkna exempelvis H-index eller andra mått som baseras på en forskares hela karriär mer begränsade än i Web of Science.

Adressinformationen är av stor vikt för analyser, dels för att undersöka olika aspekter av samförfattarskap och dels för att söka ut publikationer. Adressinformationen i Scopus är strukturerad till en mindre grad än den i Web of Science då lärosätenas namn kan återfinnas på olika platser i adressfältet.

2 Slutsats

Web of Science är i dag standard för bibliometriska analyser men Scopus har kommit att användas mer och utmanat den monopolställning som Web of Science tidigare haft. Det finns fortfarande frågetecken kring kvaliteten i Scopus som behöver utredas om databasen övervägs för citeringsanalyser på KTH. Även hur väl ämnesindelningen i Scopus lämpar sig för normering bör man i sådana fall titta närmare på.

Analysen visar att Scopus täcker fler konferensproceedings och därmed fler av KTH:s konferenspublikationer. Det innebär även att Scopus innehåller fler referenser vilket ger ett högre antal möjliga citeringar för de publikationer som finns i databasen. För de ämnesområden som primärt publicerar artiklar och får sina citeringar från andra artiklar har denna skillnad liten påverkan på bibliometriska indikatorer. Däremot gör det en betydande skillnad för de forskningsområden som publicerar sig i hög grad i konferensproceedings och som även får sina citeringar från dessa.

Om Scopus skulle användas för bibliometriska analyser vid KTH skulle antalet publikationer visserligen bli fler men det skulle inte ge så stor påverkan på antalet citeringar för KTH som helhet. Antal publikationer räknas primärt i DiVA varför antalet i sig inte är av någon större vikt. Vidare skulle medelantalet citeringar per publikation sjunka. Web of Science tycks ha god täckning av de mest citerade kanalerna i världen. Det utökade antalet kanaler som Scopus täcker är citerade i lägre grad. Detta talar för att Web of Science trots allt täcker de kanaler som har störst betydelse för bibliometriska analyser för KTH som helhet.

Den stora täckningen av lågciterade källor i Scopus skapar troligen en högre grad av instabilitet då fältnormerad data beräknas. Vilka konsekvenser detta får är oklart. Web of Science är mer beprövat för fältnormerad statistik och används av flera tunga aktörer, däribland CWTS i Leiden och THE World University Rankning.

För panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications skulle användandet av Scopus ge en högre täckningsgrad och fler citeringar (även för några UoA i andra paneler).

Referenser

“What Does Scopus Cover? | SciVerse.” Accessed April 25, 2013.

URL:http://www.info.sciverse.com/scopus/scopus-in-detail/facts

“Thomson Reuters | Web of Science | Science.” Accessed April 25, 2013.

URL:http://thomsonreuters.com/products_services/science/science_products/a- z/web_of_science/

List of Units of Assessments in KTH RAE2012 1.1 - Mathematics

1.2 - Mathematical Statistics

1.3 - Optimization and Systems Theory 1.4 - Numerical Analysis

2.1 - Information Processing, Networking and Control 2.2 - Communication - Services and Infrastructures 3.1 - Experimental Physics

3.2 - Theoretical Physics

4.1 - Applied Physics and Medical Imaging 4.2 - Medical Technology

4.3 - Materials Physics 4.4 - Optics and Photonics

5.1 - Nuclear Power Safety, Reactor Physics & Reactor Technology 5.2 - Electrical Power Engineering

5.3 - Fusion and Space Plasma Physics 5.4 - Energy Transformation

6.1 - Microsystems Technology (MEMS) 6.2 - Integrated Devices & Circuits

6.3 - Embedded Electronics and Computer Systems 7.1 - Vehicle Engineering

7.2 - Solid Mechanics 7.3 - Fluid Mechanics

7.4 - Mechanics-Biomechanics 8.1 - Industrial Product Development 8.2 - Production Engineering

8.3 - Health (Ergonomics; Health & Building) 8.4 - Industrial Economics and Management 9.1 - Chemistry

9.2 - Chemical Engineering 9.3 - Fiber and Polymer Technology 9.4 - Theoretical Chemistry

9.5 - Materials Science and Engineering 10.1 - Medical Biotechnology

10.2 - Industrial Biotechnology 10.3 - Proteomics

10.4 - Materials Biotechnology

11.1 - Civil and Architectural Engineering 11.2 - Land and Water Resources 11.3 - Transport Science

12.1 - Architecture

12.2 - Real Estate and Construction Management 12.3 - Philosophy and History of Technology 12.4 - Urban Planning and the Built Environment 12.5 - Industrial Ecology

13.1 - Theoretical Computer Science 13.2 - Applied Computer Science