Usage i kursprovet för Engelska 7
4. Analys av provdelar, uppgifter och items
Som utgångspunkt för diskussionen kring hur usage-delen i Engelska 7-provet
fungerar följer här en analys av de kvantitativa data som erhållits från prov-resultat i utprövningar och från själva provtillfället. Fokus kommer att ligga på att undersöka vilka statistiskt belagda samband (korrelationer) som finns mellan elevernas resultat på usage-uppgifterna och på de övriga receptiva uppgifterna i
provet. En sådan analys kan bland annat ge indikationer på möjliga samband mellan uppgifter och olika items med avseende på vilka förmågor som prövas. Analysen syftar på detta sätt till att skapa en grund för att kunna diskutera vad
usage-delen egentligen mäter, hur väl den fungerar, och hur detta kan relateras
till lärares och elevers uppfattning om provdelens relevans.
4.1. Analys på provdelsnivå och uppgiftsnivå
Först och främst visar analysen att det finns betydande korrelationer mellan provresultaten i Usage, Reading och Listening, vilket tyder på starka direkta eller
indirekta samband mellan det som prövas i de olika receptiva delarna. Om man
betraktar de sammantagna korrelationerna mellan provdelarna Usage och Listen-ing respektive Usage och ReadListen-ing finns där dessutom en signifikant skillnad (p =
.01) i det avseende att det finns ett starkare generellt samband mellan Usage och Listening (r = .79) än mellan Usage och Reading (r = .76).6 Dock är det så att denna skillnad till viss del är en konsekvens av det något större antalet uppgifter som finns i listening-delen i jämförelse med reading-delen, och alltså inte med
auto-matik speglar ett starkare reellt samband mellan Usage och Listening än mellan Usage och Reading. Som kompletterande jämförelse kan man därför ta bort den
uppgift i respektive del med lägst intern reliabilitet (Cronbach’s Alpha), vilket leder till att usage-korrelationen baserad på listening-uppgifterna Lecture och Match-ing (totalt 24p) jämförs med korrelationen baserad på de tre längsta readMatch-ing-
reading-uppgifterna (25p).7 Denna korrigerade jämförelse visar visserligen att skillnaden i korrelationen mellan Listening och Usage (r = .77) och korrelationen mellan
6 rListUsage = 0.791, 95% CI [.778-.803], rReadUsage = 0.755, 95% CI [.740-.769]
7 I kursprovet består delprovet Listening av tre delar som här benämns Matching, Lecture och Interview med hänvisning till deras format, medan reading-uppgifterna utgörs av fyra relativt formella artiklar
Reading och Usage (r = .75) har minskat något (se Tabell 1a), men att den
fort-farande är signifikant (p < .01).8 Det är dessutom intressant att notera att bägge dessa korrelationer är starkare än den inbördes korrelationen mellan Reading och Listening (r = .72). Givetvis är det svårt att dra generella slutsatser om
sam-banden mellan Usage och Reading respektive Usage och Listening utifrån detta
begränsade material, men det kan ändå vara av värde att diskutera vad det är i uppgifterna Lecture och Matching som ligger bakom ovan beskrivna mönster. Tabell 1a: Korrelationer mellan kursprovets receptiva delar
ListeningTotal ReadingTotal Listening24p Reading25p Usage r = .79 r = .76 r = .77 r = .75
Tabell 1b: Korrelationer mellan hörförståelse- och usage-uppgifter
Mini-gap Rephrase Gap-text Usage (total)
Lecture r = .65 r = .61 r = .57 r = .70 Matching r = .62 r = .58 r = .56 r = .67
Tabell 1c: Korrelationer mellan receptiva delar och enskilda usage-uppgifter
Mini-gap Rephrase Gap-text
Reading25p r = .68 r = .64 r = .63
Listening24p r = .72 r = .67 r = .64
De uppgifter inom reading- och listening-delarna som har starkast samband med usage-delen är de relativt avancerade listening-uppgifterna Lecture och Matching, där
korrelationerna mellan Usage och Lecture uppgår till r = .70 och mellan Usage och Matching till r = .67 (Tabell 1b). Detta kan jämföras med usage-korrelationen för
den återstående hörförståelseuppgiften Interview (r = .62) samt för de olika
upp-gifterna i reading-delen som samtliga visar korrelationer med usage-delen på
mellan r = .60 och r = .63. Det tycks med andra ord finnas ett direkt eller
indi-rekt samband mellan kunskaper om språklig struktur och förmågan att uppfatta innehållet och budskapet framförallt i relativt komplexa hörförståelseuppgifter som Lecture och Matching. Om man jämför sambandet mellan elevresultaten i
exempelvis Lecture och de olika uppgifterna inom usage-delen (Tabell 1b) kan
man notera att korrelationen är särskilt stark med uppgiftsformaten Mini-gap (r
= .65) och Rephrase (r = .61), men aningen svagare med lucktexten med flerval, Gap-text (r = .57).
Man kan här notera att korrelationen mellan Mini-gap och Lecture till och med
motsvarar medelkorrelationen mellan de olika uppgifterna inom usage-delen
(trots att de olika usage-uppgifterna kan tyckas vara inbördes mer likartade).
Detta tyder på att förmågan att komplettera en språklig struktur med rätt ord eller fras har ett starkt samband med de förmågor som krävs för att klara av en hörförståelseuppgift som Lecture. Om man studerar sambandet mellan
reading-delen, listening-delen och de enskilda uppgifterna inom usage-delen (Tabell 1c) ser
man att de två uppgifter som kanske kan uppfattas som mest grammatiskt foku-serade (Rephrase och Mini-gap) i själva verket har ännu starkare samband med Listening och Reading än den uppgift som man kan tycka mer specifikt borde
pröva förståelse på textnivå (Gap-text). Sammantaget visar detta att även de
upp-gifter inom usage-delen som relaterar mer uppenbart till språklig produktion än
till reception (Rephrase och Mini-gap) i själva verket har ett stabilt och starkt
sam-band med de mer renodlat receptiva delarna Reading och Listening.
4.2. Analys på item-nivå
Genom att studera empiriskt material från utprövningarna går det även att analysera dessa samband på item-nivå, och därmed studera hur enskilda items korrelerar med Usage. Som utgångspunkt kan man ta de uppgifter som visade
sig ha starkast samband med de förmågor som prövas i usage-delen, nämligen listening-uppgifterna Lecture och Matching (Tabell 2). De items av totalt tolv i Lecture som då visar sig ha starkast korrelation med Usage är items 10 (r = .49),
2 (r = .47), 8 (2p-uppgift, r = .47) och 1 (2p-uppgift, r = .46). I Matching (10
items) finns de starkaste korrelationerna med Usage i items 4 (r = .40), 10 (r =
.34), 8 (r = .32) och 9 (r = .31).
Tabell 2: Korrelationer (r) mellan Usage och specifika items i två hörförståelseuppgifter
1 2 3 4 5 6 7 8 9 10 11 12
Matching .26 .17 .17 .40 .20 .27 .27 .32 .31 .34
Lecture .46 .47 .38 .40 .16 .37 .42 .47 .32 .49 .24 .36
Den uppenbara frågan är då vad det är i delproven Matching och Lecture som
ligger bakom dessa starka samband. Matching är en uppgift som består av 10
korta uppspelningar, där provtagarna ska koppla ihop var och en av dessa med korrekt ämne (av totalt 20 angivna ämnen). De icke korrekta svarsalternativen (distraktorerna) kan ofta kopplas till något som sägs i uppspelningarna, men de beskriver inte det viktigaste eller det egentliga innehållet. Möjligheten att lösa
dessa uppgifter skulle därmed kunna hänga samman med förmågan att uppfatta avgörande detaljer i komplexa sammanhang, vilket i sin tur kan ha ett samband med väl utvecklad språklig förmåga (jfr Alderson 2000 och diskussionen i av-snitt 3). Har provtagare inte tillgång till ord och fraser i automatiserad form är det betydligt svårare att hinna uppfatta vad huvudpoängen egentligen är.
Som tidigare nämnts är den uppgift som uppvisar allra starkast samband med usage-delen hörförståelseuppgiften Lecture. Uppgiften bygger på en
föreläs-ning med relativt formellt men inte alltför avancerat språk, och många av före-läsarens påståenden och argument upprepas dessutom flera gånger. I ett relativt perspektiv bör det därmed inte vara anmärkningsvärt krävande att förstå inne-hållet på en övergripande och generell nivå. Svårigheten ligger troligtvis snarare i att frågorna som ställs kräver en djupare och mer exakt förståelse av innehållet. Vad gäller lösningsfrekvenser är uppgiften förhållandevis svår och genererar dessutom relativt stora könsskillnader (Tabell 3).
Tabell 3: Uppgiften Lecture (lösningsfrekvens (P-värde) per item i utprövningen)
1(1) 1(2) 2 3 4 5 6 7 8(1) 8(2) 9 10 11 12
Totalt .64 .64 .65 .52 .21 .49 .32 .60 .39 .39 .50 .39 .24 .58
Män .68 .68 .69 .58 .24 .52 .40 .67 .40 .40 .56 .49 .26 .61 Kvinnor .60 .60 .62 .47 .18 .47 .27 .55 .38 .38 .45 .31 .23 .55
Uppgiften består av fyra öppna frågor (varav två kan ge dubbla poäng) och åtta flervalsuppgifter (MC). Som framgår av Tabell 2 är det framförallt fyra items som genererar mycket höga korrelationer med Usage och som därför direkt eller
indirekt är relaterade till mer språkliga svårigheter. Av dessa fyra items är tre av typen med öppna svarsalternativ (1, 8, 10). Två av dessa är relativt svåra (item 8 och 10) medan ett är relativt lätt (item 1). Den övriga frågan med hög
usage-korrelation är item 2 (flervalsfråga), som statistiskt sett är den allra lättaste frå-gan i uppgiften (p = .65). I detta item har man stor hjälp om man förstår ett par
specifika lågfrekventa ord och fraser, vilket åtminstone delvis skulle kunna för-klara den starka korrelationen med Usage. Visserligen går det att svara på frågan
även genom mer implicita ledtrådar i föreläsningen, men eftersom detta inte är direkt nödvändigt om man förstår de avgörande fraserna blir möjligheten att svara på frågan starkt sammankopplad med den sortens språklig förmåga som prövas i usage-delen.
hör-gäller detta alltså oavsett om dessa items är lätta eller svåra, och oavsett om det gäller items som är värda 1p eller 2p. En tänkbar möjlighet är att öppna items av den här typen kräver en djupare förståelse, särskilt då provtagaren inte får något stöd för tolkningen av de olika svarsalternativens formuleringar (som i MC-items). Detta innebär att en provtagare som inte tillräckligt snabbt lyckas processa och tolka det relevanta avsnittet nästan blir helt utan möjlighet att kunna besvara den öppna frågan. Man kan anta att detta blir särskilt avgörande i mer avancerade och komplexa uppgifter, där öppna items inte går att lösa en-bart genom att uppfatta tydliga och konkreta fakta eller påståenden.
Den allra starkaste korrelationen med usage-delen finns i item 10, som är
relativt svår (p = .39) och som dessutom uppvisar stor könsskillnad (p = .49 för
män och p = .31 för kvinnor). En närmare granskning av detta item antyder att
det som till stor del kan vara avgörande här är förmågan att snabbt och effektivt processa innehållet i en strukturellt komplicerad grammatisk struktur av typen [Denver’s Mayor Phil Dawson signed into law an ordinance prohibiting the use of firearms],
som dessutom kommer ganska snart efter det innehåll som behöver tolkas för att lösa föregående item. Det är inte orimligt att tänka sig att möjligheten att snabbt uppfatta vad som sägs här kräver att man har en automatiserad språk-förmåga och vana att processa mer avancerade strukturer (se diskussionen nedan samt Buck, 2001).