I det följande sammanfattas analysens resultat i relation till skribenters språkkunska-per. De kriterier som kommentarerna avspeglar har rangordnats enligt frekvens för att belysa lämpligheten av CEFR-skalan i bedömning av gymnasisttexter skrivna på L1- och L3-svenska.
De frekventaste L3-kommentarerna gäller textens längd (16 %) och flyt (14 %).
Av dessa får flyt stöd i skalans kriterier (koherens). Språk och förståelighet utgör en lika stor andel av kommentarerna (båda 12 %). Som konstaterats kan det ibland vara svårt att åtskilja dessa två drag, som sålunda tillsammans bildar det frekventaste kri-teriet i bedömning av L3-texterna. Båda är kriterier utanför skalan.
Till skillnad från L3-kommentarerna sammanfaller de kriterier som använts i be-dömning av L1-texter med CEFR-skalan. Trots detta har det frekventaste kriteriet inte stöd i skalan: närmare var fjärde kommentar berör nämligen textens innehåll och relation till genren (24 %). Ungefär var femte L1-kommentar gäller textens disposi-tion (19 %) som har stöd i skalan allmän skriftlig produkdisposi-tion. L1-texernas argumen-tation tas upp i 14 % av kommentarerna, likaså textens flyt (14 %). Båda har stöd i skalan (allmän skriftlig produktion och koherens).
Kriterierna, deras andel och rangordning sammanfattas i tabell 3. Som tabell- en visar använde bedömarna oftare kriterier utanför skalan (*) då de bedömde L3- texter än då de bedömde L1-texter. Kriterier som är frekventa i L3-kommentarer är på många sätt relaterade till varandra: en för kort text har nödvändigtvis inte samma flyt som en något längre text, men samtidigt är ringa språkkunskaper också or- sak till att texten är kort och svår att förstå. De innehållsliga eller textuella dragen är frekventare i kommentarer som gäller L1-texter: bedömarna efterlyser argumen-tation och disposition i dem. Relativt ofta fäster bedömarna sålunda sin uppmärk- samhet på det lingvistiska oberoende av om texterna är skrivna på ett L1 eller L3. Kommentarerna täcker rent språkliga drag och förståelse av dem samt text-
lingvistiska drag som disposition och genre. Detta är intressant eftersom nivåskalan har en handlingsorienterad och kommunikativ syn på språket (Gemensam europeisk referensram 2007:1, 9).
Tabell 3. Rangordning av de mest använda kriterierna i bedömningen av L3- och L1-texter.
Kriterium L3-kommentarer Rangordning L1-kommentarer Rangordning
Argumentation 7 % 14 % 3.
Disposition 11 % 19 % 2.
Flyt 14 % 2. 14 % 3.
Förståelighet* 12 % 3.
-Innehåll/genre * 4 % 24 % 1.
Längd * 16 % 1. 5 %
Språk* 12 % 3. 6 %
Diskussion
Syftet för föreliggande studie var att få mera information om den sexgradiga CEFR-skalans lämplighet för bedömning av texter som är skrivna med svenska som L1 och som L3. För ändamålet analyserades kommentarer som skrevs i samband med bedömning av argumenterande texter skrivna av gymnasister med svenska som L1 eller som L3. Kommentarerna granskades i förhållande till skribenternas språkkun-skap (L1 vs L3) och i relation till nivåskalan och dess kriterier.
Bedömarna gavs möjlighet att kommentera sin bedömning och texterna, vilket de utnyttjade i varierande utsträckning. Kommentarerna i vår undersökning har således inte samma ställning som exempelvis think aloud protocols. Alla sätt att komma åt bedömningsprocessen har dock sina begränsningar. Vi kan bara spekulera i varför bedömarna valt att kommentera en text eller varför vissa kriterier tas upp trots att de skulle kunna tänkas gälla även andra texter. Weigle (1994) anser att förekomsten av kommentarer på en specifik företeelse inte behöver vara tecken på dess bety-delse i bedömningen. Bedömarna verkar också enligt tidigare forskning lägga märke till samma slags drag oberoende av vilken skala som används (Tarnanen 2002). De skriftliga bedömarkommentarerna uppfattas här som tecken på bedömarens använd-ning och tolkanvänd-ning av kriterieskalan.
Enligt våra resultat kunde kommentarerna något oftare relateras till den använda CEFR-skalan vad gäller texter skrivna av infödda talare (L1) än vad som var fallet när texterna var producerade av L3-skribenter. Detta tyder på att skalan, speciellt de högre färdighetsnivåerna, möjligen kunde användas i bedömning av L1-texter.
Kriterier som argumentation, disposition och flyt förekom även i L3-kommentarer men oftare framkom kriterier som förståelighet, språk och längd som inte får stöd i CEFR-skalan. Detta är naturligt eftersom en stor del av L3-skribenterna hade en låg
språkfärdighet (A1/A2) och producerade korta texter som kunde vara svårbegripliga och innehålla klumpiga uttryck. Textlängden är inkluderad implicit i skalan eftersom en text måste bestå av flera meningar för att t.ex. dess flyt och disposition ska kunna bedömas. Genreaspekten som hör till kriterier utanför skalan och som verkar vara relativt central i L1-kommentarer är inte heller av vikt om texten är kort och enkel.
Vidare bör det påpekas att den ifrågavarande uppgiftens kravnivå har fastställts till B2 vilket kan ha lett till att en stor del av L3-inlärarna, vars språkkunskaper ligger på nivåerna A1 och A2 hade svårigheter att genomföra uppgiften. På den lägsta CEFR-nivån, A1, förväntas inlärarna inte skriva någon enhetlig text och att skriva en argumenterande text är en alltför utmanande uppgift. Vad gäller L1-skribenterna kan uppgiften däremot tänkas ha varit på lämplig nivå. I fortsättningen vore det viktigt att närmare betrakta skrivuppgiftens betydelse och roll i bedömningen. Huruvida CEFR-skalan är användbar för bedömningen av L1-texter, speciellt med tanke på möjligheterna att med hjälp av den särskilja mindre goda från goda skribenter, för-utsätter statistiska analyser av bedömningsresultat som stöd för dylik kvalitativ analys som genomförts i denna artikel.
Litteratur
Alanen, R., Huhta, A. & Tarnanen, M. 2010. Designing and assessing L2 writing tasks across CEFR proficiency levels. I: EUROSLA MONOGRAPHS SERIES 1 Communicative pro-ficiency and linguistic development. S. 21–56.
Barkaoui, K. 2010. Explaining ESL essay holistic scores: A multilevel modeling approach.
Language Testing 27(4). S. 515–535.
Barkaoui, K. 2011. Think-aloud protocols in research on essay rating: An empirical study of their veridicality and reactivity Explaining ESL essay holistic scores: A multilevel modeling approach. Language Testing 28(1). S. 51–75.
Bereiter, C. & Scardamalia, M. 1987. The psychology of written composition. Hillsdale, NJ:
L. Erlbaum.
Gemensam europeisk referensram för lärande, undervisning och bedömning. 2007. Stock-holm: Skolverket.
Grunderna för läroplanen för den grundläggande utbildningen 2004. 2004. Helsingfors:
Utbildningsstyrelsen.
Hammarberg, B. 2007. Nyare utvecklingar inom forskningen om svenska som andraspråk.
Nordand. 2007, 1(2). S. 43–61.
Hildén, R. & Takala, S. 2007. Relating descriptors of the Finnish school scale to the CEFR overall scales for communicative activities. I: A. Koskensalo, J. Smeds, P. Kaikkonen &
V. Kohonen (eds.), Foreign Languages and Multicultural Perspectives in the European Context. Berlin: LIT Verlag. S. 291–300.
Huhta, A., Alanen, R., Tarnanen, M., Martin, M. & Hirvelä, T. (submitted). Same tasks, same scales, different languages – exploring the rating process in a SLA study. Language Testing.
Jeeheon, R. 2004. A cognitive model of knowledge transformation in authoring hyper-text. http://etd.lib.fsu.edu/theses/available/etd-07092004-173539/ unrestricted/jeeheon_
Jones, N. 2011. Linking assessments to international frameworks of language proficiency:
the Common European Framework of Reference. I: Research Matters: Special Issue 2: Comparability. A Cambridge Assessment Publication. Cambridge: University of Cambridge. S. 42–47.
Lumley, T. 2002. Assessment criteria in a large-scale writing test: What do they really mean to the raters? Language Testing, 19(3). S. 246–276.
Lumley, T. 2005. Assessing second language writing: The rater’s perspective. New York:
Peter Lang.
Pintrich, P. R. 2002. The Role of Metacognitive Knowledge in Learning, Teaching, and Assessing. Theory into practice, 41(4). S. 219–225.
Takala, S. 2010. Putting the CEFR to Good Use: Activities and Outcomes in Finland. I:
IATEFL TEA SIG/EALTA Conference proceedings, Barcelona 2010. S. 96–105.
Tarnanen, M. 2002. Arvioija valokeilassa. Suomi toisena kielenä -kirjoittamisen arviointia.
Jyväskylä: Jyväskylän yliopistopaino.
Weigle, S. C. 1994. Effects of training on raters of ESL compositions. Language Testing, 11.
S. 197–223.
Författarpresentation
Outi Toropainen är forskardoktor i projektet Inlärningsgångar i andraspråket (Top-ling) vid Jyväskylä universitet. I sin forskning intresserar hon sig för inlärningen av skriftliga färdigheter i finska och svenska som andraspråk.
Sinikka Lahtinen är t.f. professor i nordiska språk vid Åbo universitet och med-verkar i projektet Topling. Hennes forskning fokuserar på svenska som andraspråk hos finskspråkiga inlärare.