Bedömning i den svenska gymnasieskolan
en undersökning kring hur väl en holistisk bedömningsmetod kan motsvara kriteriebedömningen i den nya läroplanen (Gy11), för att därigenom se vilka konstrukt som bäst överensstämmer med respektive lärares slutgiltiga bedömningar. Assessment in Swedish Upper Secondary School – an investigation concerning how well a holistic assessment process coincides with the assessment criterias in the curriculum (Gy11), in order to see which (mental) constructs that correlates best with the final mark. Carolin Lysell och Olof Barr Handledare: LarsErik Björklund, Linköpings Universitet ISRN: LIULÄRLEX14/17—SE.Sammanfattning
Samhället och skolan följer varandra, de utvecklas hela tiden åt olika håll med olika pedagogik i grunden och olika politiker som styr. Däremot, det som följer med hela tiden, oavsett förändringar, och trots alla olika betygssystem, är att eleverna ska bedömas av sina lärare. Bedömning och betygsättning är en viktig del i lärarens arbete och vikten av att det görs rätt och rättvist är i hög grad viktigt då det också kan sätta elevernas framtid på spel. Eleverna ska senare, efter grundskola och gymnasium, kunna söka sig vidare på sina betyg till högskola eller universitet. Det är viktigt att eleverna har fått rätt betyg, varken för höga eller för låga. Syftet med denna uppsats är att ta reda på vilka kriterier som lärare tittar på vid en bedömningssituation och att försöka sätta ord på den bedömande lärarens magkänsla. Hos lärare med längre erfarenhet visar det sig att de läser en text, exempelvis en inlämnad uppgift, och “vet” vilket betyg den ska ha, men kan inte riktigt sätta ord på vad som är bra eller dåligt med den inlämnade uppgiften. Därför har vi valt att använda en metod som heter Repertory grid, denna metod kan hjälpa oss att sätta ord på magkänslan. Vi vill också se om denna metod stämmer överens med magkänslan, så varje lärare ska också få utföra ett test som vi här kallar en parvis jämförelsemetod för att se om den första magkänslan stämmer överens med resultaten från Repertory Grid (RepGrid). Resultatet från vår studie visar att lärarna skapar egna konstrukt (mentala konstruktioner, från engelskans constructs) som till större delen är teoretiska men även personliga och motivationskopplade konstrukt. Vi kunde urskilja ett resultat när en lärare hade en felaktig magkänsla kring elevarbetet, och genom att dela upp lärarens bedömning i olika konstrukt så visade eleven på kunskaper kring de kriterier som finns i kursplanen. Huvudsakliga resultatet visade på att vid låga till medelhöga betyg spelar motivation och personliga förmågor in i bedömningsresultatet i större grad, och vi menar att våra resultat visar på att det är värdefullt för läraren att se huruvida eleven vill, om eleven försöker och att eleven visar på egen drivkraft. Däremot, för att få höga betyg så krävs det enligt våra resultat en betydligt större teoretisk bakgrund och att man visar på en mycket god förståelse för dessa kunskapsförmågor som är kopplat till respektive ämne.
Innehållsförteckning Sammanfattning 1. Inledning 1.1. Bakgrund 1.2 Syfte 1.3. Frågeställningar 1.4 Hypotes 1.5 Avgränsningar 1.6 Definitioner 2. Teori 3. Metod 3.1 Metodval 3.2 Metoddiskussion 3.2 Metodbeskrivning 3.3 Utgångspunkt för undersökningen 3.4 Utförande 3.4.1 Konstrukt hämtade från bedömningskriterierna i kursmålen. 3.5 Analysmetod 3.6 Etiska överväganden 4. Empiri och resultat 4.1 Lärare A 4.2 Lärare B 4.3 Lärare C 4.4 Lärare D 4.5 Lärare E 4.6 Lärare F 4.7 Lärare G 4.8 Lärare H 4.9 Lärare I 5. Analys 5.1 Analys lärare A 5.2 Analys lärare B 5.3 Analys lärare C 5.4 Analys lärare D 5.5 Analys lärare E 5.6 Analys lärare F
5.7 Analys lärare G 5.8 Analys lärare H 5.9 Analys lärare I 6. Slutsatser 7. Diskussion 8. Källor
1. Inledning
1.1. Bakgrund Det svenska skolsystemet är under ständig förändring, och ett flertal stora läroplansreformer har skett under de senaste decennierna. Den moderna svenska gymnasieskolans första läroplan kom 1970 (Lgy 70), en ny kom 1994 (Lpf 94) och den senaste kom 2011 (Gy 2011). Med läroplanerna följer också förändringar kring hur eleverna blir bedömda och betygsatta i sina olika ämnen. Den tydligaste förändringen, för en utomstående betraktare, har varit förändringen från betygsskalan ett till fem, via betygsskalan IG, G, VG, MVG till den som idag råder i skolan, ett bokstavsbetyg i skalan A till F. För den yrkesverksamma läraren har förändringarna dock varit större än bara ett namnbyte mellan olika skalor. Att förändringen varit stor kan belysas med följande citat: ” … en stor del av gymnasielärarna anser att målen och betygskriterierna är svåra att tolka och att det är svårt att få till stånd en likvärdig betygssättning. Det handlar inte bara om olika tolkningar av vad målen och kriterierna står förutan också om olika sätt att bedöma när en elev uppnått betygskriterierna.” (Skolverket 2009, s.10) Från 1970 till 1994 hade Sverige ett relativt betygssystem som byggde på att stora populationers testresultat inom ett ämne blir normalfördelade då man mäter kunskaper vid ett prov, och beroende på hur väl man presterade mot övriga elever i landet tilldelades man ett betyg. Hur väl man presterade mättes i några av skolämnena med hjälp av centrala prov. Naturligtvis vägde läraren in många andra saker vid betygssättning av sina elever, men de centrala proven fanns där för att normera betygsskalorna. I teorin betydde detta att lika många femmor som ettor delades ut i landet som helhet, lika många fyror som tvåor, och att det stora flertalet tilldelades betyget tre. Läroplanen från 1994 kan beskrivas som en reaktion på det tidigare systemet. Istället för det tidigare relativa betygssystemet infördes målrelaterade betyg. Nu fanns det ingen normering av betygen längre;alla som hade uppnått de på förhand satta målen för ett visst betyg i en kurs, skulle få detta betyg. I teorin kunde nu alla elever i landet nå högsta betyg i en kurs, något som i det tidigare betygssystemet var en teoretisk omöjlighet. Viktigt vid denna förändring var att precisera de olika kunskapsmålen för varje enskild kurs och varje betygssteg. Dessa mål och delmål kommer vi oftast i texten att benämna som kriterier eller kunskapskrav i enlighet med den senaste läroplanens vokabulär (Gy 2011). Läroplansreformen 2011 medförde stora förändringar i gymnasieskolan. Vi kommer här endast att koncentrera oss på de förändringar som rör själva bedömningsarbetet för lärare. Den tidigare betygsskalan (IG, G, VG, MVG) hade bland annat fått kritik för att det var för få betygssteg, samt att det blivit för lätt att uppnå högsta betyg. På mindre än två decennier hade frekvensen av högsta möjliga medelbetyg, 20.0 (MVG i samtliga ämnen), tjugofaldigats (Henrekson & Vlachos, 2005) och ordet betygsinflation blev ett begrepp att läsa om i tidningarna. Enligt den nya läroplanen delas betyg ut i en sexgradig skala (A, B, C, D, E, F), där man menar att det gamla betyget MVG mer eller mindre kommer att motsvaras av betygsstegen A och B. Det var dock fler förändringar än så som gjordes, vilka är relevanta för vår undersökning. Innehållet i kurserna förändrades och nya kriterier eller kunskapskrav skapades för att ge ledning åt lärarna i sin betygssättning. Läroplanen ger riktlinjer kring vilka mål eleven ska ha uppnått för betygsstegen E, C och A, och anger sedan hur man ska bedöma huruvida eleverna hamnar på de mellanliggande betygsstegen D och B. Den här rapporten kommer inte att handla om hur bedömningen sker, för det är fastslaget i läroplanen och den professionella läraren förväntas följa den i sin yrkesutövning. Rapporten kommer däremot att undersöka huruvida andra bedömningsmodeller kan tänka sig ge liknande slutresultat som den gängse kriteriebedömningen. Framförallt undersöker vi vilka konstrukt (se nedan under 1.6 Definitioner) hos respektive lärare som bäst överensstämmer med dennes helhetsbedömning. 1.2 Syfte
Syftet med rapporten är att undersöka hur väl en holistisk bedömningsmodell kan tänkas överensstämma, i sitt slutresultat, med den bedömningsmodell, utgående från kriterier, som presenteras i den nuvarande svenska läroplanen (Gy 2011). Framförallt vill vi också få svar på vilka egenskaper, här benämnda konstrukt (Bunge, 1974), som den bedömande läraren använder sig av i en sådan holistisk bedömningsprocess, och vilka av dessa konstrukt som bäst korrelerar mot det slutgiltiga omdömet. Därmed blir undersökningens fokus ett försök i att beskriva vilken form av tyst kunskap (Polanyi, 1958) som är inblandad i lärarens bedömningsprocess. 1.3. Frågeställningar I undersökningen som utgår från bedömningar yrkesverksamma lärare gör av elevarbeten kommer vi att söka svar på följande frågor: ● Hur rangordnar läraren de olika elevarbetena inbördes i en holistisk bedömningsprocess? ● Hur graderar läraren helheten av elevarbetena på en niogradig skala? ● Vilka konstrukt framkommer från varje enskild lärare vid denna undersökning? ● Vilka konstrukt korrelerar bäst mot den gjorda helhetsbedömningen? ● Till vilken grad korrelerar de olika konstrukten mot helhetsbedömningen? ● Hur väl överensstämmer denna bedömningsprocess med den tidigare betygssättningen av elevuppgifterna? ● Finns det någon skillnad i korrelation beroende på vilket ämne vi tittar på? ● Hur väl stämmer lärares bedömningar överens med varandra när de tittar på samma elevarbeten? De första sex frågorna kommer definitivt att kunna besvaras av vår undersökning, medan de avslutande två frågorna kan komma att bli nedtonade beroende på hur vi lyckas utföra dessa jämförande undersökningar. Detta kommer i sin tur vara beroende på om lärarna som jämförs har mer eller mindre jämförbara konstrukt från respektive intervjusituation.
1.4 Hypotes Vår hypotes kring resultaten innan undersökningen är gjord är att den holistiska bedömningen, en ickegraderad rangordning, till stora delar ger samma slutresultat som kriteriebedömningen. Denna hypotes grundar sig i tidigare gjorda studier, som exempelvis i (Sandberg, 2013), (Björklund, 2009b) och (Kimbell & Wheeler et al, 2009), där man kan se tydliga tendenser till detta. Vi har ingen hypotes kring vilka typer av konstrukt som bäst kommer att korrelera mot kriteriebedömningen. En anledning till denna avsaknad av hypotes är att de enskilda lärarna själva formulerar konstrukten, och vi som utför testerna kan inte på förhand gissa oss till vilka konstrukt som kommer att formuleras. Däremot kan vi förvänta oss att de konstrukt som formulerats av oss, utifrån läroplanens kriterier, bör ha en god korrelation med elevuppgifternas betyg. 1.5 Avgränsningar Det finns naturligtvis många sätt att gripa sig an det här problemet, och för att nå bra resultat kräver det stora mängder empiri att bygga slutsatserna på. Vi har här valt att avgränsa oss på några få uppgifter i den svenska gymnasieskolan, där läraren förväntas kunna ge feedback till sina elever i form av vilken betygsnivå elevens uppgift ligger på. För att få spridning mellan olika ämnen har vi här undersökt bedömningar inom ämnena filosofi och religion (Fs1 och Re1, ämnesgemensam inlämningsuppgift), kemi och fysik (Ke1 och Fy1, ämnesgemensam inlämningsuppgift) samt bedömningar inom svenska (Sv3). I samtliga fall rör det sig om inlämnade skriftliga arbeten, vilket gagnar vår undersökning. Detta är en fördel eftersom att då kan flera olika bedömare titta på samma material och bli intervjuade var för sig kring hur de bedömer de olika arbetena. För att uppgiften inte ska bli så betungande kommer endast ett urval av arbetena att studeras närmare av våra informanter, åtta arbeten i samtliga fall. Därtill kan vi inte använda alla möjliga holistiska metoder i denna studie, utan begränsar oss till två stycken som används i kombination. En parvis jämförelsemetod (PJM) beskriven i (Kimbell, 2009) och Repertory Grid Method (RGM), beskriven i en bilaga till (Björklund, 2008). Denna kombinerade metod har tidigare utvecklats inom det psykologiska forskningsfältet och har nu under senare år även börjat användas inom utbildningsvetenskaperna, för en längre diskussion om metodens för och nackdelar hänvisar vi till
(Björklund, 2008b). I våra undersökningar har vi fått använda oss av lärare på våra respektive arbetsplatser som tackat ja till att delta i detta projekt. Och för att begränsa deras arbetsbörda har vi valt att använda elevuppgifter de är på väg att bedöma, eller redan har bedömt i sin egen undervisning. Naturligtvis hade det varit bättre att kunna utföra en mer kontrollerad studie där lärare hade slumpats fram utifrån hur länge de varit yrkesverksamma i gymnasieskolan och vilka ämnen de företräder, samt att uppgifterna som skulle vara föremål för bedömning hade varit identiska för alla med gemensamt ämne. Nu blir denna rapport begränsad till en gymnasieskola i Götaland och en i Svealand. Ämnena där vi undersökt lärarnas, eventuellt omedvetna, argument för bedömning av arbeten i är: svenska, filosofi, religion, fysik och kemi. Studien är gjord under våren 2014 och de elever som går i årskurs tre är den första kullen av elever som läser gymnasieskolan enligt den nya läroplanen. Våra avgränsningar skiljer sig något åt från tidigare studier vi har tittat på inför den här undersökningen. Ett flertal studier har inriktat sig på att försöka hitta bedömningsmodeller till mer processinriktade ämnen som exempelvis slöjd, bild eller projektarbeten av olika slag. Där har de inte haft lika konkreta kriteriemodeller att jämföra med, se (NygrenLandgärds & Peltonen, 2001), (Kimbell & Wheeler, 2009) och (Gy 2011). Ett arbete har studerat ämnet fysik på motsvarande sätt som vi har gjort (Sandberg, 2013), och här skiljer vi oss åt genom att vi tittar på flera olika ämnen, men i denna rapport använder vi oss av en gemensam metod. Här låter vi flera lärare, i lämpliga fall, titta på samma bedömningsmaterial, vilket förekommer i en del av de studier vi tittat närmare på, men inte alla. 1.6 Definitioner Med holistisk metod kommer vi i den här rapporten att avse en parvis jämförelsemetod av helheten beskriven av Kimbell i (Kimbell, 2009) och Repertory Grid Method, beskriven i en bilaga till (Björklund, 2008).
Resultatet kommer att analyseras med PCA, principalkomponentanalys, ett matematiskt verktyg inom tillämpad linjär algebra som kan redovisa vilka ingående mätegenskaper i det empiriska materialet som har störst påverkan på det slutgiltiga resultatet. (Pearson, 1901) Med konstrukt (mentala konstruktioner, från engelskans constructs) kommer vi att avse något som urskiljer ett elevarbete från ett annat. Konstruktet kommer här alltid att vara av bipolär struktur som exempelvis “strukturerad aldrig strukturerad”, beskrivet i (Bunge, 1974). I den här rapporten kommer de intervjuade lärarna att ges möjlighet till att förklara eller beskriva olika typer av konstrukt, exempelvis grad av kreativitet, för att sedan gradera de undersökta arbetena på en niogradig skala utifrån detta uppkomna konstrukt. Tyst kunskap var ett filosofiskt begrepp som introducerades av Polanyi i (Polanyi, 1958), Begreppet refererar till den typ av kunskap och kunnande som exempelvis inte kan beskrivas i text utan att stora delar går förlorade. Exempel på detta är “hur man gör när man cyklar” eller “hur en synskadad använder sin blindkäpp”. Vi menar, i likhet med Björklund, att, kriteriebedömningen till trots, så finns det troligen stora delar av en lärares bedömningsprocess som kan klassificeras som tyst kunskap. (Björklund, 2008)
2. Teori
Den teoretiska bakgrunden till den här undersökningen är till stor del inspirerad av fenomenologi, strukturalism och tyst kunskap. Det som kan sägas känneteckna strukturalistisk filosofi är sökandet efter underliggande strukturer och omedvetna strukturer. Detta är verkligen fallet i vår undersökning, eftersom vi försöker se om de tillfrågade lärarna, mer eller mindre omedvetet, använder sig av parallella bedömningsmetoder för att betygsätta elevernas arbeten. Bedömningsarbetet som en lärare utför kan, kriteriebedömningen till trots, till vissa delar klassificeras som en typ av tyst kunskap, ett begrepp som introducerades av Polanyi i (Polanyi, 1958), en kunskap som har förvärvats men inte kan förmedlas till hundra procent i vanligmening genom att endast berätta hur man går tillväga. Förhoppningen är att kunna ge en närmare beskrivning av denna svårfångade typ av kunskap, i det här fallet kunskapen om hur man bedömer ett elevarbete. I undersökningen ber vi lärarna formulera olika konstrukt, subjektiva mentala konstruktioner, som kan sägas särskilja eleverna på ett eller annat sätt. Sedan får lärarna gradera eleverna på en skala efter respektive konstrukt. Ytterligare ett par konstrukt är kriterier hämtade ur läroplanen, medan de övriga framkommer under diskussionen. Här kan vi se hur väl graderingar utifrån vissa konstrukt sammanfaller med helhetsbedömningen av eleverna. De konstrukt vi kommer till att undersöka är mentala konstruktioner (konstrukt) hos det intervjuade subjektet. Därför kan detta arbete sägas följa en fenomenologisk tradition som startade med Husserl. Rapportens forskningsobjekt är alltså inga konkreta objekt som vi kan ta fram i efterhand och titta på, utan i högsta grad abstrakta, subjektiva, mentala konstruktioner inom vart och ett av de intervjuade subjekten. (Phenomenology (philosophy), 2014)
3. Metod
3.1 Metodval Det finns en del utmaningar för en lärare vid bedömning. I läroplanen står det att elever ska få kunskap och kunna använda denna som redskap för olika problem och utmaningar de kommer utsättas för i samhället efter skolan. De ska bland annat kunna formulera, analysera och lösa problem. De ska också kunna reflektera över sina erfarenheter och sitt eget sätt att lära. (Gy 2011) För att få en förståelse för hur informanterna väljer att gradera sina uppgifter och vilka egenskaper somspeglar den totala bedömningen så har vi valt att kombinera en holistisk parvis jämförelsebedömning med en intervjuteknik som kallas Repertory Grid. Denna kombination av metoder är utvecklad inom det psykologiska forskningsfältet (Björklund, 2008b), och har mer och mer vunnit mark inom andra forskningsfält, såsom exempelvis forskning inom det utbildningsvetenskapliga området vilket kan exemplifieras med (Kimbell & Wheeler et al, 2009), (Björklund, 2008b) och (Sandberg, 2013). Den parvisa holistiska bedömning är en bedömning av uppgiftens helhetsintryck, där varje par av elevarbeten jämförs genom att informanten säger vilket arbete som är bättre än det andra. Efter att alla par av elevarbeten är jämförda med varandra utkristalliseras en rangordning av elevarbetena. Denna rangordning är inte graderad, utan endast en lista från det bästa arbetet till det sämsta. Repertory Grid är en intervjuteknik som ger möjlighet för den intervjuade att sätt ord på sin egen tysta kunskap. Det finns olika metoder för att intervjua personer, strukturerade och ostrukturerade. Strukturerad intervju används ofta vid kvantitativ forskning, då informaterna oftast beskriver de faktorer som de är medvetna om. Vid en kvalitativ metod som tex Grounded theory, där ska det finnas en öppenhet, informanterna får dra slutsater från hypoteser men också skapa hypoteser från slutsatser. Repertory Grid är en blandning av av dessa två metoder. Denna intervjuteknik är tillämpbar vid sökandet efter tyst kunskap som de mer erfarna lärare har svårt att sätta ord på. Metoden sätter ord på denna tysta kunskap och gör det möjligt för oss att få reda på vilka egenskaper som bidrar till högre eller lägre betyg, medvetet eller omedvetet får vara osagt, men det är ett försök att få en bild av lärarens tysta kunskap vid en bedömningssituation. (Björklund, 2008) 3.2 Validitetsdiskussion av metoden En undersökning av det här slaget stöter naturligtvis på problem av allehanda slag. Och som forskare måste man vara noga med att fråga sig vad de erhållna svaren egentligen betyder. Vi kan exempelvis få stark korrelation mellan olika delar, exempelvis mellan betygsättningen och ett konstrukt som uppkommer under intervjun. Det betyder ju inte med nödvändighet att den intervjuade läraren de facto
använder sig av detta konstrukt i sin bedömning, och det betyder inte heller nödvändigtvis att betygskriterierna implicerar detta konstrukt som något som borde finnas med vid betygssättningen. Vi vet inte mer än att de två delarna korrelerar emot varandra, och ingenting kan med säkerhet utsägas om orsakssambanden. (Correlation and dependence, 2014) En annan form av problem vid studier som denna är förekomsten av dolda förutsättningar, förutsättningar som inte undersöks om de egentligen stämmer. En sådan dold förutsättning är i detta fall att en professionellt yrkesverksam lärare i dagens gymnasieskola förväntas sätta betyg enligt de fastlagda kriterierna i läroplanen. Vi vet ju inte huruvida de lärare som ingår i undersökningen faktiskt gör detta, och det kan te sig problematiskt. Därför introducerar vi även konstrukt från läroplanens kriterier för att se hur lärarna graderar elevarbetena utifrån dessa konstrukt. Dessa mentala konstruktioner härrör från läroplanen och får sedan tolkas subjektivt av respektive lärare. Det vi kan se ur vår undersökning är om dessa konstrukt korrelerar bra eller dåligt mot de slutgiltiga betygen. Märk väl att stark respektive svag korrelation inte nödvändigtvis implicerar några eviga sanningar, men de kan åtminstone ge indikationer i den ena eller andra riktningen. Under vår undersökning så har lärare A, B, C och D bedömt uppgifterna vid ett tidigare tillfälle och kan då påverkas av att de har stor kännedom om elevarbetet tidigare. Eftersom det är en snabb helhetsblick vid den holistiska bedömningen så hoppas vi att det inte kommer påverka resultatet allför mycket. En längre diskussion om detta kommer nedan i en diskussion om designen av experimentuppställningen. 3.2 Metodbeskrivning Det finns olika former av utmaningar för en lärare när det gäller bedömning. En del som är viktig är en holistisk bedömning, en bedömning av helheten. I denna undersökning så kommer det vara en parvis jämförande metod av helheten. Bedömningen går ut på att jämföra varje par av elevarbeten med varandra och ge ett poäng till det bästa elevarbetet av de två. Varje elevarbete ska jämföras med varandra, tillsist summeras poängen. Undersökningens upplägg ska medverka till att de små detaljerna sorteras bort och att bedömaren snarast utgår från den egna magkänslan. Denna metod ska utföras
ganska fort så att detaljerna inte hinner vägas in under intervjusituationen. När alla arbeten är jämförda med varandra så hamnar den med flest poäng överst på listan och är då den bästa. I denna undersökning kommer varje informant att få tillfälle till att se över rangordningen och godkänna den innan intervjuprocessen går vidare. (Kimbell, 2009) Denna form av bedömning är mer eller mindre motsatt till den vanligt förekommande summativa bedömningsformen. En summativ bedömningsform ger sig i kast med detaljerna och ser efter hur många av de önskvärda detaljerna som finns med i elevarbetet, vilket sedan summeras ihop till ett slutomdöme. Den parvisa holistiska jämförelsemetoden är en metod som snarast utgår från helheten i kontrast till den summativa bedömningsprocessen. Snabbheten i bedömningen blir här en dygd, för att magkänslan ska få säga sitt. (Kimbell, 2009) Repertory Grid är en metod som har utvecklats då det finns vissa svårigheter när det gäller intervjuer. Ibland kan det handla om att informanten och intervjuaren sitter i samma rum och informanten vill gärna (utan att veta om det, alltså omedvetet) svara “rätt” på frågan. Det kan ske genom omedvetna gester från intervjuare till informanten som får denne svarar på ett viss sätt. Repertory grid är en metod som utnyttjar hjärnans kapacitet att känna igen mönster, det går till så att i en intervju jämföra objekt med olika egenskaper för att se detaljerna i ett mönster och då kunna sätta ord på dessa. Metoden bygger på att beskriva en informants medvetna och omedvetna mentala konstruktioner inom ett område. (Björklund, 2008) För att göra en Repertory Gridundersökning relevant och korrekt så krävs det att man använder homogena objekt, alltså de måste var hämtade från samma kategori, i vårt fall kommer det handla om inlämningsuppgifter inom samma eller liknande ämne. Objekten kan utses av forskaren själv eller så väljs det helt på egen hand av informanten, men då med begränsningen av kategori eller område. Objekten ska jämföras med varandra och för detta krävs det att det genereras konstrukt, dessa ska vara av bipolär struktur som tex “strukturerad aldrig strukturerad”, vid denna generering är det viktigt att informanten skriver upp sina konstrukt, då det inte ska feltolkas, jämför exempelvis följande: “strukturerad aldrig strukturerad” versus “strukturerad inte alltid strukturerad”, dessa har skilda betydelser. Objekten jämförs genom slumpvis triadering där informanten svarar på frågan: “vad har följande två objekt gemensamt som skiljer den från den tredje” eller “vad skiljer det ena objektet från de andra två”. Intervjuaren fortsätter med denna process tills informanten inte längre kommer på några nya konstrukt. Det positiva med denna metod är att informanten skapar sina egna konstrukt och
därför sker inga missuppfattningar av intervjufrågorna. Däremot om intervjuaren skapar egna konstrukt så kan dessa konstrukt betyda olika saker för den som intervjuar och informanten. Metoden är omfattande och samtidigt detaljrik, dess presentationsform är också kvantitativ då informanten graderar objekt med både egna konstrukt och konstrukt skapade av utfrågaren. (Björklund, 2008) 3.2.1 Diskussion om designen av experimentuppställningen Vi har hämtat vår experimentuppställning för vår datainsamling från det psykologiska forskningsfältet. Data som samlas in blir en kombination av kvalitativa data (de konstrukt som den intervjuade läraren uppger) och kvantitativa data (den gradering som läraren gör av arbetena inom varje nämnt konstrukt). Först utförs en parvis jämförelse mellan varje par av ingående elevarbete, detta för att nå en ickegraderad rangordning av elevarbetena. Efter detta får läraren avgöra om denna rangordning motsvarar hur eleverna bör rangordnas, och har också rätten att flytta om i rangordningen tills det motsvaras av lärarens bild av hur dennes helhetsbild av arbetena överensstämmer. Denna del i undersökningen kan sägas vara ett förarbete inför den andra delen, då graderingar ska göras och analyseras enligt repertory gridmetoden. Här kan man fråga sig hur mycket lärarens förkunskaper om elevernas arbeten spelar in i rangordningen. Spelar det exempelvis roll huruvida läraren redan har betygsatt de ingående arbetena eller inte för att experimentuppställningen ska fungera? Vi har refererat till arbeten där man har haft redan betygsatta arbeten i undersökningen, exempelvis (Sandberg, 2013), och till andra arbeten där elevarbetena inte varit betygsatta från början, exempelvis (Kimbell & Wheeler et al, 2009), och kan inte se att det har påverkat situationen nämnbart. Saken är ju den att den intervjuade läraren också har rätt att flytta om i detta slutresultat för att den inbördes rangordningen verkligen ska avspegla lärarens uppfattning. Den viktigaste delen av undersökningen kommer i nästa steg, där gradering av arbetena ska göras (på en niogradig skala), först i form av en poäng på arbetets helhetsbedömning, och sedan efter vart och ett av de konstrukt som uppkommer under intervjuundersökningen. Graderingarna av respektive konstrukt kommer sedan att jämföras med graderingen av helheten och analyseras med hjälp av principalkomponentanalys.
I denna undersökning förekommer både att läraren gjort en betygssättning av arbetena innan undersökningen och att det slutgiltiga betyget på arbetet kommit i efterhand. Vad som varit viktigt att säkerställa i vårt fall är att de lärare som bedömt samma elevunderlag har haft samma förutsättningar då de tittat på de inlämnade uppgifterna. I denna rapport har lärare A, B, C och D betygsatt materialet vid samma tillfälle innan de genomgick intervjuerna. Lärarna E, F, G, H och I har inte avgett slutgiltigt betygsomdöme innan intervjuerna kommit till stånd. I det andra huvudsteget i intervjun sker graderingar på en niogradig skala. Först över lärarens helhetsuppfattning av det inlämnade arbetet, och sedan efter de olika konstrukt som uppkommer under den fortsatta intervjun. I detta skede spelar det än mindre roll om arbetena är betygsatta eller inte, eftersom konstrukten många gånger handlar om sådant som inte anses vara betygskriterier. Observera också att denna metod inte handlar om att försöka införa något nytt slags bedömningssystem för eleverna. Undersökningen handlar om att sätta ord på lärarnas tysta kunskap under en bedömningssituation, och därigenom hjälpa en lärare att se huruvida det faktiskt är kunskapskriterierna som spelat den avgörande rollen vid en betygsättande situation. 3.3 Utgångspunkt för undersökningen Utgångspunkt för bedömningarna i Filosofi 1 och Religion 1: På en gymnasieskola i Götaland har lärarna i filosofi och religion under de senaste åren haft en gemensam inlämningsuppgift för de båda ämnena. Det finns flera skäl till detta: ämnena överlappar varandra till viss del i det moment som behandlar etik och moral, eleverna gör ett djupare arbete (istället för två mindre arbeten som kanske inte hinner bli lika genomarbetade), samtidigt som lärarna i respektive ämne kan jämföra sina bedömningar av eleverna med varandra. Observera att lärarna till viss del kan ha olika kriterier i sina bedömningar, vilket i sig också kan resultera i olika betygsbedömningar för respektive ämne.
Utgångspunkt för bedömningarna i Svenska 3: Svensklärarna på ett gymnasium i Svealand gör ett gemensamt projekt med alla treor, det är en inlämningsuppgift med olika källor, såsom film, litteratur och vetenskaplig litteratur. Alla elever lämnar in liknande arbeten som de tre lärarna bedömmer efter samma kriterier. Utgångspunkt för bedömningarna i Kemi 1 och Fysik 1: Ett ämnesövergripande arbete i kemi och fysik inom energi görs varje år i årskurs ett på naturvetarprogrammet. Ämnena överlappar inom detta avsnitt och framförallt kopplingen till energins inverkan på individ och samhälle. I bedömningen tittar lärarna på samma kriterier för respektive ämne. 3.4 Utförande 1. Informanten ombads välja ut åtta arbeten från samma uppgiftsinlämning efter att de gjort en egen bedömning från A till F på samtliga. (Detta gällde lärare A, B, C och D. För de övriga fem lärarna valdes arbetena ut innan det slutgiltiga betyget på uppgiften var gjord). De åtta arbeten som valdes ut skulle spegla variationen genom att välja två av de bästa, två av de sämsta och fyra i mellanskiktet. Informanten ombads skriva elevernas namn på små lappar. 2. Holistisk (parvis) bedömning av åtta arbeten. Informanten börjar med den parvisa helhetsmetoden där denne ombeds att göra en snabb bedömning av elevarbetena parvis. Varje elevarbete ska jämföras med varje annat arbete. Det arbete som värderades högst i ett jämförelsepar fick ett poäng. Med hjälp av detta kunde en rangordning skapas mellan samtliga elevarbeten. Informanten fick efter resultatet godkänna eller korrigera rangordningen. 3. En gradering på en skala från 19 gjordes på varje elevarbete. 9 var bäst och 1 var sämst. Här fick informanten först gradera alla åtta arbeten i en helhetsbedömning. Här kan två arbeten få samma poäng, även om ett arbete rangordnats som som bättre än det andra. 4. Sedan slumpade vi fram tre olika arbeten och bad informanten att “pick the odd one out”, så
kallad triadering. Informanten skulle sätta ord på vilken egenskap det är som skiljer ut den udda fågeln. Läraren skapade härigenom själv ett konstrukt (begreppspar, exempelvis kreativ – ej kreativ), och varje elevarbete graderades sedan inom konstruktet efter skalan 19, där 9 stod för den för uppgiften positiva tolkningen av de två motpolerna. Detta upprepades tills informanten inte längre kunde skapa några egna nya konstrukt. 5. Till sist fick läraren rangordna elevarbetena enligt konstrukt som formulerats av intervjuaren och hämtats från de olika progressionsorden och kunskapskriterierna i respektive ämnesplan för våra undersökningar. 6. Efter datainsamlingen gjorde vi sedan en principalkomponentanalys (PCA) på materialet, för att se vilka konstrukt som bäst överensstämmer med helhetsbedömningen av uppgifterna. 7. Efter PCAanalysen så gjorde vi slutligen en jämförelse mellan betygen som var satta från början och betyget som elevarbetet får enligt vår undersökning. (Sandberg, 2013) 3.4.1 Konstrukt hämtade från bedömningskriterierna i kursmålen. Utifrån kursmålens bedömningskriterier valde vi ut följande kriterier att bli representerade i vår undersökning: Svenska 3: ● Text med otydlig disposition – Text med tydlig disposition ● God formulerad text – Väl formulerad text ● Använder inte litteraturvetenskapliga begrepp – Använder med säkerhet litteraturvetenskapliga begrepp
Kemi 1 och Fysik 1: ● Använder inte naturvetenskapligt språk – Använder naturvetenskapligt språk ● Beskriver inte naturvetenskapens betydelse för individ och samhälle – Beskriver naturvetenskapens betydelse för individ och samhälle ● Visar förståelse för naturvetenskapliga begrepp – Saknar förståelse för naturvetenskapliga begrepp Filosofi 1 och Religion 1 ● Förstår inte begreppen konsekvensetik, pliktetik och dygdetik – Förstår dessa begrepp ● Ej väl argumenterat – Väl argumenterat (Gy 2011) 3.5 Analysmetod Principalkomponentanalys (PCA, Principal Component Analysis) är en matematisk metod för att kunna beskriva och visualisera dominanta strukturer i data med många dimensioner (variabler). Metoden utvecklades tidigt inom linjär algebra och hanterar i sin enkla form som vi använder oss av här endast linjär respons mellan olika variabler. Den matematiska teorin utvecklades först av Pearson i (Pearson, 1901). Fördelen med PCA är att man med datorhjälp förhållandevis snabbt och enkelt kan beskriva mångdimensionella dataset där endast de viktigaste dimensionerna visas upp i exempelvis ett tvådimensionellt diagram. Man kan också se vilka datavariabler som har stor respektive liten korrelation mot varandra.
Figur 1. Exempel på en visualisering genom PCAanalys. Den blå linje som har minst lutning i förhållande till xaxeln motsvarar det konstrukt som har starkast korrelation mot den gjorda helhetsbedömningen. På motsvarande sätt har den blå linje med starkast lutning mot xaxeln minst korrelation mot den gjorda helhetsbedömningen. Vi har valt att använda en programvara från Xlstat.com, men det finns ett otal olika mjukvaruprodukter som gör motsvarande arbete. (Principal Component Analysis, 2014) I vår analys kommer vi att undersöka vilka av de undersökta konstrukten (eller begreppsparen) som bäst överensstämmer med helhetsbedömningarna och de betyg som tilldelats de olika uppgifterna. Detta för att kunna peka på vilka omedvetna beslut en lärare tar i sin bedömningsprocess. Speciellt intressant är det att få svar på om det finns andra konstrukt än de som härstammar från läroplanen som har lika hög, eller högre, korrelation mot helhetsbedömningen än dessa. För att få en snabb överblick och en tydligare bild över de olika konstrukten och elementens poäng så har vi även valt att visa resultatet i en repertory grid.
Figur 2. Denna repertory grid visar en sammanställd bild av konstrukt, element och bedömning. I detta exempel har exempelvis Elev 1 tilldelats fyra poäng i den första graderingen som gjorts i enlighet med det första konstruktet. 3.6 Etiska överväganden Inom svensk forskning finns vissa etiska principer som måste uppfyllas, det är följande: 1. Informationskravet 2. Samtyckeskravet 3. Konfidentialitetskravet 4. Nyttjandekravet Alla som deltagit i denna studie har blivit muntligen informerade om forskningsstudiens syfte. De har själva fått bestämma över sin medverkan och vetskap om att de när som helst kan avbryta. De har fått information om att personuppgifter kommer förvaras så obehöriga inte kan ta del av dem, också att deras identiteter inte kommer avslöjas i uppsatsen. Alla insamlade uppgifter kommer endast användas för denna studie. Alla krav är därmed uppfyllda. (Vetenskapsrådet, 2014)
4. Empiri och resultat
Först av allt i vår sammanställning har vi valt att gruppera lärarnas egna konstrukt i tre olika kategorier för att se vad det är för kunskaper som ger ett högt betyg eller lågt betyg. De tre grupperna är teoretiska kunskaper, motivation hos eleven samt personliga egenskaper hos eleven. Teoretiska Kunskaper:● Otydligt resonemang – Tydligt resonemang. ● Saknar analys på djupet analyserar på djupet. ● Fördjupad analys – Träffsäker fördjupad analys. ● Dålig analys förmåga God analys förmåga. ● Saknar motivering till analysen – Motiverar analysen. ● Dålig språklig förmåga – Språklig förmåga. ● Inte följt bokens kronologi – Följt bokens kronologi. ● Saknar fördjupning – Fördjupning. ● Svårorienterat – Lättorienterat. ● Otydlig rapportrubrik – Tydlig rapportrubrik. ● Saknar disposition – Korrekt disposition. ● Saknar språklig skicklighet – Språklig skicklighet. ● Till viss del anpassad till syfte – Väl anpassad till syfte. ● Saknar svar på frågeställningen – Svarar på frågeställningen. ● Saknar vetenskapligt språk – Vetenskapligt språk. ● Saknar teoretiska begrepp – Använder teoretiska begrepp. ● Inte följt uppgiftens instruktioner – Följt uppgiftens instruktioner. ● Inledning saknar naturvetenskaplig koppling – Inledning har naturvetenskaplig koppling. ● Saknar tabell/diagram för förtydligande – Använder tabell/diagram för förtydligande. ● Saknar källhänvisning – Källhänvisning. 1. Motivation ● Ej positivt lektionsengagemang – Positivt lektionsengagemang. ● Saknar drivkraft/engagemang – Drivkraft/engagemang. ● Gör inte uppgiften fullt ut – Gör uppgiften fullt ut. ● Mindre utförligt arbete – Utförligt arbete.
● Mindre god lektionsaktivitet – God lektionsaktivitet. 2. Personliga egenskaper ● Ej kreativ – Kreativ. ● Inte löst uppgiften kreativt – Löst uppgiften kreativt. ● Osjälvständig – Självständig. ● Ej trevlig, artig, tillmötesgående – Trevlig, artig, tillmötesgående. Sammanställningen av alla lärarnas egna konstrukt visar att det är teoretiska kunskaper som utgör en majoritet av de använda konstrukten under bedömningssituationen. 4.1 Lärare A Lärare A är yrkesverksam på gymnasiet och har jobbat där i tre år. Ämnesbehörig i Religon. Undersökningen är i ämnet Religon 1, bedömning av essäer i moralfilosofi. En uppgift som lämnats in även i filosofikursen och motsvarande undersökning har gjorts på den läraren. Parvisa jämförelsemetoden (PJM) och helhetsbedömning med betyg:
Lärare A PJMmetoden Helhetsbedömning (19) Betyg
Elev A1 7 8 A Elev A2 3 4 D Elev A3 0 2 E Elev A4 1 3 D Elev A5 4 6 C Elev A6 5 7 B Elev A7 2 4 C
Elev A8 6 8 A Tabell 1. Elev A1A8: Resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Otydligt resonemang – Tydligt resonemang. Eleven för ett tydligt resonemang genom hela uppgiften. Ej kreativ – Kreativ. Eleven visar på kreativitet i uppgiften. Ej positivt lektionsengagemang – Positivt lektionsengagemang. Eleven är positiv och arbetsvillig på lektionerna. Osjälvständig – Självständig. Eleven visar på självständighet i arbetet, både hemma och på lektioner. Ej trevlig, artig, tillmötesgående – Trevlig, artig, tillmötesgående. Eleven visar att den är en socialt kompetent elev. Konstrukt hämtade från kunskapskriterierna: Förstår ej begreppen – Förstår begreppen. Eleven visar på förståelse kring de olika begrepp som uppgiften går igenom. Argumenterar ej väl – Argumenterar väl. Eleven kan argumentera för sin uppgift. Figur 3. Repertory Grid för lärare A.
Figur 4. PCA för lärare A Här framkommer att konstruktet gällande kreativitet ger största enskilda förklaringsvärdet till helhetsbedömningen för lärare A. I fallande ordning kommer sedan: argumenterar väl, tydligt resonemang, förstår begreppen, självständig och positivt lektionsengagemang. Konstruktet gällande om eleven är trevlig och tillmötesgående hade på ett tydligt sätt minst korrelation mot helhetsbedömningen. 4.2 Lärare B Lärare B är yrkesverksam på gymnasiet och har jobbat där i fem år. Ämneslärare i Filosofi. Undersökningen är gjord med identiskt elevmaterial som lärare A. PJMmetoden och helhetsbedömning med betyg:
Lärare B PJMmetoden Helhetsbedömning (19) Betyg
Elev B1 7 9 A
Elev B2 3 5 D
Elev B3 0 2 E
Elev B5 5 7 C Elev B6 4 6 B Elev B7 2 4 C Elev B8 6 8 A Tabell 2. Elev B1B8: Resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Ej kreativ – Kreativ. Eleven visar på kreativitet i uppgiften. Saknar analys på djupet – analyserar på djupet. Eleven fördjupar sin analys inom området. Saknar drivkraft/engagemang – Drivkraft/engagemang. Eleven driver uppgiften framåt och visar engagemang kring uppgiften. Gör inte uppgiften fullt ut – Gör uppgiften fullt ut. Eleven besvarar alla frågor och följer alla instruktioner. Konstrukt hämtade från kunskapskriterierna: Förstår ej begreppen – Förstår begreppen. Eleven visar på förståelse kring de olika begrepp som uppgiften går igenom. Argumenterar ej väl – Argumenterar väl. Eleven kan argumentera för sin uppgift.
Figur 5. Repertory Grid för lärare B. Figur 6. PCA för lärare B Här ser vi att konstruktet rörande kreativitet är ett av konstrukten med störst förklaringsvärde, detta tillsammans med att argumentera väl, analysera på djupet och att förstå begreppen. Överlag så har alla konstrukten bortsett från det som handlar om drivkraft och engagemang stor korrelation mot helhetsbedömningen.
4.3 Lärare C Lärare C är yrkesverksam på gymnasiet och har jobbat där i fem år. Ämnesbehörig i Religon. Undersökningen är i ämnet Religon 1. Bedömning av essäer i moralfilosofi. En uppgift som lämnats in även i filosofikursen och motsvarande undersökning har gjorts på den läraren. PJMmetoden och helhetsbedömning med betyg:
Lärare C PJMmetoden Helhetsbedömning (19) Betyg
Elev C1 5 8 A Elev C2 0 5 C Elev C3 1 6 C Elev C4 3 7 B Elev C5 4 8 A Elev C6 6 9 A Elev C7 7 9 A Elev C8 2 7 B Tabell 3. Elev C1C8 resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Dålig analys förmåga – God analys förmåga. Eleven visar på att denne kan analysera sin uppgift. Dålig språklig förmåga – Språklig förmåga. Eleven visar på språklig förståelse och kan formulera sig rätt. Mindre utförligt arbete – Utförligt arbete. Eleven har arbetat utförligt och grundligt med sin uppgift. Mindre god lektionsaktivitet – God lektionsaktivitet. Eleven har arbetat under lektionerna.
Inte löst uppgiften kreativt – Löst uppgiften kreativt. Eleven har löst uppgiften på ett kreativt sätt. Konstrukt hämtade från kunskapskriterierna: Förstår ej begreppen – Förstår begreppen. Eleven visar på förståelse kring de olika begrepp som uppgiften går igenom. Argumenterar ej väl – Argumenterar väl. Eleven kan argumentera för sin uppgift. Figur 7. Repertory Grid för lärare C Figur 8. PCA för lärare C.
Här är det konstruktet rörande utförligt kontra mindre utförligt arbete som har den bästa korrelationen mot helhetsbedömningen, tätt följt av kunskapskriteriet rörande förståelse av begreppen. Vi ser också att konstruktet avseende lektionsaktivitet är det som har minst korrelation mot den gjorda helhetsbedömningen. 4.4 Lärare D Lärare D är identisk med lärare B, yrkesverksam på gymnasiet och har jobbat där i fem år. Ämneslärare i Filosofi. Identiskt elevunderlag som för lärare C. PJMmetoden och helhetsbedömning med betyg:
Lärare D PJMmetoden Helhetsbedömning (19) Betyg
Elev D1 6 9 A Elev D2 0 4 D Elev D3 1 5 C Elev D4 2 6 B Elev D5 3 7 A Elev D6 5 8 B Elev D7 7 9 A Elev D8 4 6 B Tabell 4. Elev D1D8: Resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt:
Inte kreativ – Kreativ. Eleven visar på kreativitet i uppgiften. Analyserar ej väl – Analyserar väl. Eleven visar på att denne kan analysera sin uppgift. Visar ej engagemang – Visar engagemnag. Eleven driver uppgiften framåt och visar engagemang kring uppgiften. Följer ej uppgiften till fullo – Följer uppgiften till fullo. Eleven besvarar alla frågor och följer alla instruktioner. Konstrukt hämtade från kunskapskriterierna: Förstår ej begreppen – Förstår begreppen. Eleven visar på god begreppsförståelse i ämnet. Argumenterar ej väl – Argumenterar väl. Eleven kan argumentera väl för sin ståndpunkt. Figur 9. Repertory Grid för lärare D.
Figur 10. PCA för lärare D. Här är det konstrukten som handlar om att argumentera väl och att analysera väl som toppar i korrelation mot helhetsbedömningen. Lärare D är identisk med lärare B, och vi kan även här se att alla uppkomna konstrukt i undersökningen korrelerar väl eller mycket väl med den gjorda helhetsbedömningen. Det som korrelerar sämst denna gång är kreativitet, vilket skiljer sig mot tillfället med lärare B. Däremot är lutningen mot xaxeln nästan identisk, vilket motsvarar att de har samma grad av korrelation mot helhetsbedömningen i de båda fallen. 4.5 Lärare E Lärare E är yrkesverksam på gymnasiet och har jobbat där i åtta år. Ämneslärare i Svenska. Undersökningen är gjord i kursen svenska 3.Uppgiften var att skriva ett PM, tre klasser skriver samma uppgift. (tre lärare i denna undersökning bedömmer samma uppgift men olika elevmaterial). PJMmetoden och helhetsbedömning med betyg:
Lärare E PJMmetoden Helhetsbedömning (19) Betyg
Elev E1 2 4 F Elev E2 2 5 C Elev E3 5 6 C Elev E4 4 4 E Elev E5 8 8 A Elev E6 4 5 B Elev E7 4 6 C Elev E8 0 1 E
Tabell 5. Elev E1E8 resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Inte följt bokens kronologi – Följt bokens kronologi. Eleven skriver sin uppgift enligt bokens kronologi. Saknar fördjupning – Fördjupning. Eleven fördjupar sin uppgift inom området. Svårorienterat – Lättorienterat. Eleven har delat upp sitt dokument så det är lätt att orientera sig i, exempelvis med hjälp av underrubriker. Otydlig rapportrubrik – Tydlig rapportrubrik. Med hjälp av rubriken kan läsaren urskilja vad rapporten handlar om. Konstrukt hämtade från kunskapskriterierna: Saknar disposition – Korrekt disposition. Eleven dispositionerar sin text på korrekt sätt. God formulerad text – Välformulerad text. Eleven använder sig av språket och formulerar sig väl i text. Saknar litteraturvetenskapliga begrepp – Använder litteraturvetenskapliga begrepp. Eleven visar på förståelse kring litteraturvetenskapliga begrepp genom att använda dessa på korrekt sätt. Figur 10. Repertory Grid för lärare E.
Figur 11. PCA för lärare E. Här visar det sig att konstruktet som handlar om att följa bokens kronologi i det närmaste helt överensstämmer med helhetsbedömningen lärare E har gjort. I fallande ordning kommer sedan konstrukten rörande välformulerad text, fördjupning, litteraturvetenskapliga begrepp, lätt orienterat och korrekt disposition. Avslutningsvis visar undersökningen att rapportrubrikens formulering inte på något sätt korrelerar mot helhetsbedömningen. 4.6 Lärare F Lärare F är yrkesverksam på gymnasiet och har jobbat där i sju år. Ämneslärare i Svenska. Identisk uppgift som lärare E men annat elevunderlag. PJMmetoden och helhetsbedömning med betyg:
Elev F1 0 2 E Elev F2 7 8 A Elev F3 1 3 E Elev F4 5 7 C Elev F5 3 6 C Elev F6 4 6 C Elev F7 2 5 C Elev F8 6 8 A Tabell 6. Elev F1F8 resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Saknar språklig skicklighet – Språklig skicklighet. Eleven visar på språklig förståelse genom att använda det på korrekt sätt i texten. Fördjupad analys – Träffsäker fördjupad analys. Eleven visar att den har förstått vad uppgiften är och visar på förståelse kring området. Till viss del anpassad till syfte – Väl anpassad till syfte. Eleven håller sig till syftet med uppgiften. Konstrukt hämtade från kunskapskriterierna: Saknar disposition – Korrekt disposition. Eleven dispositionerar sin text på korrekt sätt. God formulerad text – Välformulerad text. Eleven använder sig av språket och formulerar sig väl i text. Saknar litteraturvetenskapliga begrepp – Använder litteraturvetenskapliga begrepp. Eleven visar på förståelse kring litteraturvetenskapliga begrepp genom att använda dessa på korrekt sätt.
Figur 12. Repertory Grid för lärare F. Figur 13. PCA för lärare F. För lärare F visar det sig att användandet av de litteraturvetenskapliga begreppen, samt att texten är väl anpassad för sitt syfte, bäst avspeglar helhetsbedömningen. Sedan kommer i fallande ordning språklig skicklighet, fördjupad analys, välformulerad text. Slutligen visar sig tydligheten i disposition vara det konstrukt som har minst korrelation mot helhetsbedömningen. 4.7 Lärare G Lärare G är yrkesverksam på gymnasiet och har jobbat där i ett år. Ämneslärare i Svenska. Identisk uppgift som lärare E och F men annat elevunderlag.
PJMmetoden och helhetsbedömning med betyg:
Lärare G PJMmetoden Helhetsbedömning (19) Betyg
Elev G1 0 1 E Elev G2 2 4 E Elev G3 2 4 E Elev G4 2 5 D Elev G5 4 7 C Elev G6 5 5 C Elev G7 7 9 B Elev G8 6 8 B Tabell 7. Elev G1G8: Resultat i PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Saknar svar på frågeställningen – Svarar på frågeställningen. Eleven har svarat på frågeställningen. Saknar vetenskapligt språk – Vetenskapligt språk. Eleven visar på förståelse av det vetenskapliga spåket inom litterära texter genom att använda detta på korrekt sätt. Saknar motivering till analysen – Motiverar analysen. Eleven har gjort en analys och motiverar denna. Saknar teoretiska begrepp – Använder teoretiska begrepp. Eleven visar på förståelse kring teoretiska begrepp genom att använda dessa på korrekt sätt. Konstrukt hämtade från kunskapskriterierna: Saknar disposition – Korrekt disposition. Eleven har en korrekt disposition av sin text. God formulerad text – Välformulerad text. Eleven använder sig av språket och formulerar sig väl i text.
Saknar litteraturvetenskapliga begrepp – Använder litteraturvetenskapliga begrepp. Eleven visar på förståelse kring litteraturvetenskapliga begrepp genom att använda dessa på korrekt sätt. Figur 14. Repertory Grid för lärare G. Figur 15. PCA för lärare G. För lärare G sammanfaller användningen av teoretiska begrepp och helhetsbedömningen. Välformulerad text och vetenskapligt språk är två andra konstrukt med hög korrelation mot helhetsbedömningen. Sedan kommer i falande ordning: motiverar analysen, svar på frågeställningen, använder litteraturvetenskapliga begrepp och till sist tydlig disposition.
4.8 Lärare H Lärare H är yrkesverksam på gymnasiet och har jobbat där i tre år. Ämneslärare i Fysik. Uppgift i Fysik 2 som är ämnesövergripande med kemi 2. PJMmetoden och helhetsbedömning med betyg:
Lärare H PJMmetoden Helhetsbedömning (19) Betyg
Elev H1 3 3 E Elev H2 7 8 B Elev H3 1 2 E Elev H4 6 8 B Elev H5 0 1 E Elev H6 5 6 C Elev H7 2 2 C Elev H8 4 5 C Tabell 8. Elev H1H8. Resultat från PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Inte följt uppgiftens instruktioner – Följt uppgiftens instruktioner. Eleven har förstått instruktionerna och följer dessa för att lösa uppgiften. Inledning saknar naturvetenskaplig koppling – Inledning har naturvetenskaplig koppling. Inledningen visar på förståelse kring kopplingen till det naturvetenskapliga i uppgiften. Saknar tabell/diagram för förtydligande – Använder tabell/diagram för förtydligande. Eleven Visar diagram eller tabeller för att förtydliga sin text och förklarar dessa.
Saknar källhänvisning – Källhänvisning. Eleven har gjort källhänvisning. Konstrukt hämtade från kunskapskriterierna: Saknar naturvetenskapligt språk – Använder naturvetenskapligt språk. Eleven visar på förståelse kring det naturvetenskapliga språket i sin text. Saknar koppling till individ och samhälle – Kopplar till individ och samhälle. Eleven kan se utanför uppgiften och koppla området till individ och samhälle. Saknar förståelse för naturvetenskapliga begrepp – Visar på förståelse kring naturvetenskapliga begrepp. Eleven visar på förståelse kring naturvetenskapliga begrepp i sin text genom att använda dessa och förklara dem. Figur 16. Repertory Grid för lärare H.
Figur 17. PCA för lärare H. För lärare H har inledningens naturvetenskapliga koppling starkast korrelation mot helhetsbedömningen, därefter kommer konstruktet som handlar om förståelse av de naturvetenskapliga begreppen. Därefter kommer i fallande skala: kopplar till individ och samhälle, använder naturvetenskapligt språk och följt uppgiftens instruktioner. Tabeller/diagram samt källhänvisning visar sig ha minst korrelation mot den gjorda helhetsbedömningen. 4.9 Lärare I Lärare I är yrkesverksam på gymnasiet och har jobbat där i ett år. Ämneslärare i kemi. Identiskt elevunderlag som lärare H. PJMmetoden och helhetsbedömning med betyg:
Lärare I PJMmetoden Helhetsbedömning (19) Betyg
Elev I1 2 3 E
Elev I2 6 7 B
Elev I4 7 7 B Elev I5 0 1 F Elev I6 4 5 E Elev I7 3 3 E Elev I8 5 5 E Tabell 9. Elev I1I8: Resultat från PJMmetoden, helhetsbedömning och betyg. PCAanalys Lärarens konstrukt: Otydlig disposition – Tydlig disposition. Eleven dispositionerar sin text på ett tydligt sätt. Saknar tabell/diagram för förtydligande – Använder tabell/diagram för förtydligande. Eleven visar diagram eller tabeller för att förtydliga sin text och förklarar dessa. Saknar källhänvisning – Källhänvisning. Eleven har gjort källhänvisning. Konstrukt hämtade från kunskapskriterierna: Saknar naturvetenskapligt språk – Använder naturvetenskapligt språk. Eleven visar på förståelse av det naturvetenskapliga språket i sin text. Saknar koppling till individ och samhälle – Kopplar till individ och samhälle. Eleven kan se utanför uppgiften och koppla området till individ och samhälle. Saknar förståelse för naturvetenskapliga begrepp – Visar på förståelse kring naturvetenskapliga begrepp. Eleven visar på förståelse kring naturvetenskapliga begrepp i sin text genom att använda dessa och förklara dem.
Figur 18. Repertory Grid för lärare I. Figur 19. PCA för lärare I. För lärare I är det inget av de analyserade konstrukten som ensamt har en stark korrelation mot helhetsbedömningen. Däremot om man kombinerar ett av konstrukten om naturvetenskapligt språk eller naturvetenskapliga begrepp, tillsammans med ett av konstrukten som handlar om tabell/diagram eller disposition så får man en i princip heltäckande bild av helhetsbedömningen. Konstruktet angående källhänvisningen är det enskilda konstrukt som har minst korrelation med helhetsbedömningen.