I en studie från det engelska HEFCE (Wilsdon et al., 2015) dras slutsatsen att indikatorer inte kan ersätta fallstudier som underlag för utvärdering av samverkan. Man rekommenderar djupare analys av fallstudierna i REF14 för utveckling av riktlinjer för användning av indikatorer i kommande fallstudier för utvärdering av samverkan. Australian Research Council genomförde 2018 - 2019 en nationell utvärdering av samverkan och genomslag (Engagement and Impact - EI) som bygger på fallstudier, men där man även inkluderat indikatorer som komplement i den delen av utvärdering som var inriktad på samverkan (engagement). Indikatorer för genomslag (impact) ingick inte. En pilotstudie genomfördes avseende utvärdering av indikatorer, inom ramen för vilken man kom fram till ett antal som bedömdes som obligatoriska för att belysa samverkan. De handlade om finansiering från externa samarbetspartners, forskningsfinansiering och intäkter genererade från
kommersialisering av forskning.
Utöver dessa föreslogs ytterligare antal möjliga faktorer som användbara vid utvärdering, vilka bland annat inkluderade samförfattade publikationer, beviljade patent och extern parts medverkan i handledning.
Finansieringsindikatorerna här är uppenbart relaterade till framgångsfaktorn finansiering, medan inkomst från kommersialisering inte är tillämpbart på svenska lärosäten som verkar under andra förutsättningar än de australiska när det gäller IPR-frågor. Medverkan i
handledning har bäring på förtroende och engagemang. Samförfattade publikationer och patent har karaktär av resultatindikatorer. Samförfattade publikationer ingår bland
föreliggande studies generella resultatindikatorer, medan patent och IPR är specifika för teknik- och medicinområdena. Indikatorn Citeringar av vetenskaplig publicering i beviljade patent i EI var ägnad åt att belysa kopplingen mellan tillämpbarhet och vetenskaplig höjd, och har karaktären av resultatindikator.
I det nederländska Standard Evaluation Protocol (SEP 2015 - 2021) ingår Relevance to Society som utvärderingsgrund. Som underlag används självvärdering, kompletterad med indikatorer som väljs av den enhet som utvärderas. I instruktionerna finns förslag på
indikatorer, där de flesta återfinns bland dem som undersökts i den här studien. I en
publikation från projektet Evaluating Research in Context (ERiC), visas förslag på indikatorer inom olika forskningsområden, som en del av utvärderingsprocessen (Muhonen et al. 2020).
Grunden för dess förslag är begreppet produktiva interaktioner, som förutsätter att det finns kommunikationskanaler mellan forskare och intressenter. Produktiva interaktioner kan ta olika former beroende på forskningsområde. Detta material innehåller dock inte någon korrelation mellan indikatorer och kvalitativa bedömningar utifrån fallstudier. Även om fallstudier är resurskrävande som utvärderingsmetod utgör de grunden för utvärdering av samverkan och genomslag i tre genomarbetade och etablerade utvärderingsmodeller (REF, EI och SEP), som nog får anses representera state-of-the-art vid utvärdering av samverkan. I EI-modellen och SEP-modellen ingår indikatorer som komplement till fallstudier som
underlag för utvärdering. När dessa modeller nu används byggs det upp ett omfattande material av både kvalitativa data och indikatorer, vilken skulle kunna möjliggöra
undersökningar av koppling mellan kvalitativ belysning av samverkan och indikatorer utifrån betydlig större underlag.
Slutord
Sammanfattningsvis visar studien att utvärdering baserad på indikatorer har potential att belysa en del, men inte alla, framgångsfaktorer som identifierats i den kvalitativa delen av studien. Det gäller framgångsfaktorerna personliga relationer, tillit och förtroende,
engagemang, långsiktighet och finansiering. Däremot ser vi inte kopplingen av undersökta indikatorer som är generella till framgångsfaktorerna gemensam målbild, tydliga strukturer, olika kompetenser, eller kommunicerbarhet. Vi bedömer ändå att en kombination av
resultatindikatorer och processindikatorer kan vara användbar för en kontinuerlig uppföljning av samverkan vid ett lärosäte, med syfte att följa utvecklingen och ge återkoppling på
åtgärder avsedda att stärka samverkansförmågan. Vi bedömer däremot inte att
indikatorbaserad utvärdering av samverkan är lämplig att använda för jämförelser, vare sig mellan lärosäten eller internt inom ett lärosäte. Om indikatorbaserad utvärdering görs bör den inte heller vara kopplad till incitament.
Referenser
I denna studie:
Mats Benner och Sverker Sörlin, 2015, Samverkansuppgiften i ett historiskt och institutionellt perspektiv, VINNOVA Analys VA 2015:02
Lutz Bornmann, 2017, Measuring impact in research evaluations: a thorough discussion of methods for, effects of and problems with impact measurements, High Educ (2017) 73:775–
787, https://doi.org/10.1007/s10734-016-9995-x
Lutz Bornmann, 2013, Journal of the American Society for Information Science and Technology 64:217 - 233, 2013
Carrion A. et al., 2012, INTED Proceedings 2012, pp 1218 – 1223
EI 2018 Submission Guidelines – PDF Format , Australian Research Council, Engagement and Impact Assessment, EI, https://www.arc.gov.au/file/5811/download?token=wGt7molL Emanuela Reale et al. 2018, A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research, Research Evaluation, Volume 27, Issue 4, October 2018, Pages 298–308, https://doi.org/10.1093/reseval/rvx025
Förslag på modell för värdering av samverkan 2014, Remiss angående VINNOVAs uppdrag, 2014-05-14, Dnr: 2013-03216
Inbjudan till universitet och högskolor att delta i Pilot 2 för värdering av samverkan, VINNOVA 2015-2016, 2015-10-23, Dnr: [2014-06326, 2015-06401],
https://www.vinnova.se/contentassets/cddcb575b0794412bbdce7039e16729b/20151023-utlysning---pilot-2---modell-for-vardering-av-samverkan.pdf
James Wilsdon et al., 2015, The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management, DOI: 10.13140/RG.2.1.4929.1363, https://www.researchgate.net/publication/279402178_The_Metric_Tide_Report_of_the_Inde pendent_Review_of_the_Role_of_Metrics_in_Research_Assessment_and_Management Research England (2020), Knowledge Exchange Framework decisions, FINAL FOR PUBLICATION - RE-P-2020-01, https://re.ukri.org/documents/2019/knowledge-exchange-framework-decisions-16-jan-2020/
London School of Economics Impact Blog (2020), Knowledge exchange or research impact – what is the difference between REF and KEF? Blogs.lse.ac.uk.),
blogs.lse.ac.uk/impactofsocialsciences/2019/05/20/knowledge-exchange-or-research-impact-what-isthe-difference-between-ref-and-kef
Muhonen et al. 2020, From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact, Research Evaluation, 29, 34–
47, https://doi.org/10.1093/reseval/rvz003
SEP, Standard Evaluation Protocol 2015 – 2021, 2014, Protocol for Research Assessments in the Netherlands, Amended version, 2016, VSNU, NOW and KNAW.
SEP Strategy Evaluation Protocol (SEP) 2021-2027, 2020, VSNU, NOW and KNAW, nedladdad från https://www.vsnu.nl/en_GB/sep-eng.html
The nature, scale and beneficiaries of research impact. An initial analysis of Research Excellence Framework (REF) 2014 impact case studies, King’s College London and Digital Science, 2014, http://dera.ioe.ac.uk/id/eprint/22540
Vetenskapsrådet 2017, Rapport: Om utvärdering av forskningens genomslag utanför akademin, översikt över några nationella modeller, metoder och initiativ, vr1711, dnr 3.2-2016-6406, isbn 978-91-7307-355-4
Vetenskapsrådet 2020, Rapport: Metoder för att analysera samverkan och samhällspåverkan – en introduktion till fallstudier, vr2001, dnr 3.3-2020-00154, isbn 978-91-88943-32-3
QRiH SEP – evaluation Indicators. Quality and Relevance in the Humanities, https://www.qrih.nl/en/sep-evaluation, feb 2020
Med relevans för uppföljning- och utvärdering av samverkan:
Albats, E, Fiegenbaum, I & Cunningham, J 2018, 'A micro level study of university industry collaborative lifecycle key performance indicators', The Journal of Technology Transfer, vol.
43, no. 2, pp. 389-431. https://doi.org/10.1007/s10961-017-9555-2
Bölling M., Eriksson Y., 2016, Collaboration with society: The future role of
universities? Identifying challenges for evaluation, Research Evaluation, 25(2), 2016, 209–
218, doi: 10.1093/reseval/rvv043
Compaggnucci L., Spigarelli F., 2020, The Third Mission of the university: A systematic literature review on potentials and constraints, technological Forecasting & Social Change 161 (2020) 120284
Daniel Fuller, Malcolm Beynon & David Pickernell (2017): Indexing third stream
activities in UK universities: exploring the entrepreneurial/enterprising university, Studies in Higher Education, DOI: 10.1080/03075079.2017.1339029
Emerson K., Nabatchi T., 2015, Evaluating the productivity of collaborative governance regimes: a performance matrix, Public Performance & Management Review, 38, 717–747, 2015
E3M European Commission Project, Indicators for University Third Mission: Purpose, Definition, Interpretation,
http://www.dafist.unige.it/wp-content/uploads/2015/09/E3MIndicatorsPurposeDefinitionInterpretation.pdf
EU, Directorate General for internal policies policy department b: structural and cohesion policies culture and education, University quality indicators: a critical assessment,
ip/b/cult/fwc/2010-001/lot1/c1/sc3, http://www.europarl.europa.eu/studies Federica Rossi & Ainurul Rosli (2015) Indicators of university–industry
knowledge transfer performance and their implications for universities: evidence from the United Kingdom, Studies in Higher Education, 40:10, 1970-1991, DOI:
10.1080/03075079.2014.914914
Grønvad, J. F., Hvidtfeldt, R., & Pedersen, D. B. (2017). Analysing co-creation in theory and in practice: A systemic review of the SSH impact
literature. https://docs.wixstatic.com/ugd/35d470_1d36ad453b884646899f6196b45cac7e.pdf Hanover Research 2014, Publiv Engagement Strategies and Evaluation,
https://www.hanoverresearch.com/media/Public-Engagement-Strategies-and-Evaluation.pdf
Horizon 2020 indicators (2015). Assessing the results and impact of Horizon, EUROPEAN COMMISSION, Directorate-General for Research and Innovation, Directorate A - Policy Development and Coordination, Unit A.5 – Evaluation,
https://ec.europa.eu/programmes/horizon2020/en/news/horizon-2020-indicators-assessing-results-and-impact-horizon
ISRIA statement: ten-point guidelines for an effective process of research impact
assessment, Adam et al. Health Research Policy and Systems (2018) 16:8 the International School on Research Impact Assessment (ISRIA).
MuCh-projektet 2017 (Vinnovafinansierat), Modell för uppföljning och utveckling av samverkan vid Chalmers, http://docplayer.se/4541832-Much-projektet-foretagens-syn-pa-samverkan-ett-nedslag.html
Neresini F. et al., 2011, Which indicators for the new public engagement
activities? A study of European research institutions, Public Understanding of Science · January 2011, DOI: 10.1177/0963662510388363
Reed et al (2018) ‘A common standard for the evaluation of public engagement with research’. Research for All, 2 (1): 143–162. DOI 10.18546/RFA.02.1.13.
Reed, M.S. (2016) The Research Impact Handbook. Huntly: Fast Track Impact.
Redovisning av regeringsuppdrag — vidareutveckling av indikatorer för samverkan och samhällspåverkan VR PM 2019-05769
Sciencewise (2015) Evaluating Sciencewise Public Dialogue Projects (SWP07).
Harwell: Sciencewise Expert Resource Centre. Online.
www.sciencewise-erc.org.uk/cms/assets/Uploads/Evaluationdocs/ SWP07-Evaluating-projects-22April15.pdf (accessed 4 October 2017).
Seppo, Marge and Lilles, Alo, Indicators Measuring University-Industry Cooperation (2012).
Discussions on Estonian Economic Policy, Vol. 20, Issue 1, p. 204, January 2012, Available at SSRN: https://ssrn.com/abstract=2194394
Treffeisen R., et al. 2017, Deriving evaluation indicators for knowledge transfer and dialogue processes in the context of climate research Adv. Sci. Res., 14, 313–322, 2017
https://doi.org/10.5194/asr-14-313-2017
Unger, Maximilian; Polt, Wolfgang (2017): The Knowledge Triangle
between Research, Education and Innovation – A Conceptual Discussion, Foresight and STI Governance, ISSN 2500-2597, National Research University Higher School of Economics, Moscow, Vol. 11, Iss. 2, pp. 10-26,
http://dx.doi.org/10.17323/2500-2597.2017.2.10.26
Vargiu A., 2014, Indicators for the Evaluation of Public Engagement of Higher Education Institutions, J Knowl Econ (2014) 5:562–584 DOI 10.1007/s13132-014-0194-7
Vetenskapsrådet 2019, Rapport: Redovisning av regeringsuppdrag att utveckla uppföljning av svensk forskning,
https://www.vr.se/download/18.f1bedda162d16aa53a40e7/1555328066754/Redovisning-av-regeringsuppdrag-att-utveckla-uppfoljning-av-svensk-forskning_VR_2018.pdf
Vinnova Report VR 2016:09, Evaluating the Role of HEIs´Interaction with Surrounding Society - Developmental Pilot in Sweden 2013-2016, ISBN: 978-91-87537-55-4,
https://www.vinnova.se/contentassets/e5ac41e111c54b878cf0b7ab7f24fe38/vr_16_09t.pdf