Det är en svår uppgift att bedöma kvaliteten av det egna forskningsarbetet. Det ligger i sakens natur att de forskningsfrågor jag ställer är viktiga för mig att få svar på, och att jag med de medel som står till buds försöker komma fram till resultat och slutsatser som ger nya insikter och ny kunskap inom intresseområ- det för min forskning. Men om kvaliteten i arbetet har stora brister, blir också användbarheten av mina forskningsresultat tveksamma. Därför är det nödvän- digt att diskutera kvaliteten utifrån någon oberoende måttstock.
Kriterier för kvalitet i forskningen kring matematikundervisning har föresla- gits av åtskilliga forskare, t.ex. Kilpatrick (1993), Sierpinska (1993), Zan (1999), Schoenfeld (2002) samt Malara och Zan (2002). De listor över specifika krite- rier, som dessa presenterar, varierar något till innehållet och tyngdpunkten samt även i fråga om vilka rubriker de ger dessa kriterier. Jag har här valt att utgå från de kriterier som föreslagits av Lester och Lambdin (1998), kompletterad med några kriterier som angetts av andra forskare. Vidare kommer jag att speciellt diskutera kvalitetsaspekterna av forskningsstrategin ”lärare som forskare”, som delvis även tidigare behandlats i kapitlen 5 och 6.
Kvalitetskriterier
Lester och Lambdin (1998) delar upp sina kriterier för kvalitet i sex huvud- punkter. I den följande diskussionen används dessa som underrubriker, med den ursprungliga engelska termen inom parentes.
Relevans (worthwhileness)
Att det forskningsarbete man utför är relevant för matematikundervisningen är själva grunden för att det alls är värt att bedriva, och detta kriterium utgör i sig fundamentet för bedömningen av arbetets kvalitet (se även Malara & Zan, 2002). Graden av relevans sammanhänger med möjligheten hos studien att skapa nya insikter och att fördjupa förståelsen av frågor som sammanhänger med matematikundervisning och matematiklärande. Den hänför sig också till potentialen hos resultaten att leda och föra framåt matematikundervisningen, kanske i nya riktningar, utgående från dessa insikter.
Avsikten med den empiriska studien har från första början varit att med olika metoder att skapa förutsättningar för en förbättrad algebraundervisning. De faktorer för lärande som identifierades hade ett klart klassrumsperspektiv, och
även resultaten och de rekommendationer för lärare som formulerades. Algebra har också på olika sätt pekats ut som ett särskilt problemområde i skolmatemati- ken (se kap.1). Studien bör av dessa skäl ha stor betydelse för såväl forskare som för verksamma och blivande lärare. Kilpatrick (1993) benämner detta ”direkt relevans”. Vidare utgör den utvecklingsprocess jag själv genomgått i min fors- karutbildning ett exempel på hur en vidareutbildning av en verksam lärare kan påverka undervisningens kvalitet (artikel 1). Detta bör ha relevans för plane- ringen och genomförandet av utvecklingsarbeten inom skolan, med inriktning på kompetenshöjande åtgärder.
I min fördjupade analys av hur elever förklarar ett funktionssamband (artikel 2), utgick jag från tidigare forskning och kompletterade den. Att skapa ny kun- skap för att förbättra insikterna inom ett forskningsområde eller del av sådant utgör ett kännetecken på relevans (Lester & Lambdin, 1998; Malara & Zan, 2002). Dessutom visade jag hur mina resultat kunde analyseras utgående från relativt nya teoretiska ramverk, vilket kan vara av intresse för att bedöma dessas användbarhet.
Betydelsen och inverkan av teknologiska verktyg i matematikundervis- ningen (artikel 3) är ett högst aktuellt forskningsområde. Av speciellt intresse är forskningens nuvarande ståndpunkter kring en rad frågor som rör teknologi. An- vändningen av räknare i undervisningen har fortgått under ett antal år, och nya, mer avancerade räknare har introducerats. Min delstudie initierades på grund av en offentlig debatt om räknarnas potentiella påverkan på matematiklärande, och bör vara högst relevant för såväl forskare som lärare.
Koherens (coherence)
Med detta menar Lester och Lambdin (1998) hur väl forskningsmetoderna och analystekniken passar samman med forskningsfrågorna, dvs. det man också kallar inre validitet (Bryman, 2004). Här fanns det ett grundläggande problem i den empiriska studien, som pågick under lång tid. De forskningsfrågor, som vi från början utgick från, kom med tiden att förändras och kompletteras på olika sätt, beroende på de delresultat vi uppnådde efter hand. Men detta kunde också medföra att forsknings- och analysmetoderna till vissa delar inte passade perfekt med frågorna. Dock bör det framgå av redovisningen av våra resultat att bris- terna i validiteten inte var av någon allvarligare art, utan att graden av inre vali- ditet var acceptabel.
Ett sätt att skapa förutsättningar för koherens var att använda ett multistrate- giskt forskningsupplägg (Bryman, 2004), som möjliggör triangulering av resul- taten. Detta gavs möjlighet till genom den longitudinella designen. Genom att vi betraktade frågeställningarna ur flera synvinklar, ökade tillförlitligheten hos slutsatserna om samma eller liknade resultat kom ur de skilda metoderna. På så sätt kunde också en högre kvalitet hos koherensen uppnås.
Den inre validiteten hos de delstudier, som redovisats i de tre artiklarna, redovisas i de metodologiska diskussioner jag där för. Det framgår där också på vilka sätt jag säkrat att detta kriterium uppfyllts på olika sätt.
Den yttre validiteten (Bryman, 2004) eller överförbarheten, dvs. möjligheten att generalisera och hur min forskning ansluter till teorier och annan forskning, har jag på flera ställen redan berört. I kapitlen 3 och 4 har jag redovisat den bak- grund jag bedrivit min forskning mot, och ovan har jag resonerat om på vilka sätt den förhåller sig till och bidrar till annan forskning. Speciellt svår är bedöm- ningen av generaliserbarheten hos den empiriska studien, men dess kvalitativa karaktär och dess mångsidighet gör att resultaten och slutsatserna bör vara av intresse i ett vidare sammanhang. Niss (2001a) beskriver tre förhållningssätt till matematikdidaktisk forskning, varav ett är:
…ämnet kan tillhandahålla inträngande och upplysande studier av enskilda fall eller situationer, som inte behöver vara generaliserbara och som därför inte bör uppfattas som i klassisk bemärkelse vetenskapliga resultat, men som ändå är innehållsrika och stimulerande för tanke och handling. (s.31)
Forskningen handlar alltså ofta om att påvisa existensen av vissa fenomen och uppfattningar, snarare än att bevisa att dessa är generella. I min studie är vissa av resultaten av denna art, vilket måste observeras då den yttre validiteten bedöms.
Kompetens (competence)
Det står helt klart att jag i början av forskningsprojektet inte hade alla de kun- skaper man måste ha som forskare för att exempelvis samla in data på ett lämp- ligt sätt och sedan analysera och tolka dessa data i förhållande till annan forsk- ning och olika teorier. I synnerhet det sistnämnda var svårt för mig, eftersom jag knappt läst något om matematikens didaktik eller om teorier för lärande. En stor hjälp fick jag dock genom samarbetet med Tomas Wennström, som hade viss forskarutbildning sedan tidigare. Efterhand som projektet fortgick kom mina kunskaper inom en rad områden att öka, inte minst vad gäller olika datainsam- lings- och analysmetoder och forskningsområdet algebra. Och rent ämnesmäs- sigt var kompetensen inte något problem, eftersom min matematiska utbildning höll en tämligen hög nivå.
Nu är det heller inte rimligt att någon som jag, som inte är färdigutbildad forskare, till fullo ska behärska alla kunskaper och färdigheter en sådan måste ha (jfr Lester & Lambdin, 1998). Eftersom jag genomgår en utbildning som dokto- rand bör det vara legitimt att jag utvecklas och jag efterhand kan producera artiklar med högre kvalitet än de första jag skrev. Att denna utveckling syns visar att utbildningen haft effekt. Min bedömning att jag i de senare delarna av projektet hade en sådan kompetens, att exempelvis de delstudier jag redogör för i de tre artiklarna har gjorts på ett tillfredsställande sätt.
Transparens (openness)
Det är framför allt på två sätt som genomskinlighet eller transparens är av vikt för kvaliteten hos en forskningsstudie. Det första handlar om att forskaren vid planeringen och genomförandet är medveten om och vid rapporteringen diskute- rar de underliggande föreställningar och antaganden, som forskaren baserar sig på. Speciellt viktigt är det att synliggöra de eventuellt normativa inslagen i frå- geställningarna, som färgar både dessa och de slutsatser som dras. På så sätt möjliggör man i rapporteringen för läsaren att ta ställning till i vilken mån det har påverkat resultatet av forskningen.
Jag har i möjligaste mån reflekterat över mina egna föreställningar och hypoteser kring vad min forskning ska komma fram till. Både i min licentiatav- handling och i de tre artiklarna har jag för läsaren på olika sätt försökt klargöra mina ståndpunkter och hur dessa kunnat påverka mina metoder, analysmetoder och slutsatser. I synnerhet i artikel 3 presenterar jag en explicit lista över de hypoteser och den inställning till räknare i matematikundervisningen jag förde med mig då jag arbetade med litteraturöversikten.
Det andra fallet när transparens är viktigt är då forskningsmetoder och ana- lystekniker ska beskrivas. Läsaren, speciellt om hon/han är forskare, måste ges möjligheter att granska, och i förekommande fall, kritisera dessa. Och då resul- taten rapporteras, måste läsaren kunna få en klar uppfattning om hur data sam- lades in, vilka data som användes för att tolka resultaten och hur data analysera- des. Jag har så långt möjligt strävat att göra detta möjligt i mina rapporter och artiklar samt i min licentiatavhandling. I vad mån jag lyckats överlåter jag åt läsaren att avgöra.
Trovärdighet (credibility)
Med transparensen följer också en stor del av trovärdigheten hos forskningen. Dessutom måste de anspråk på tolkning och de slutsatser, som forskaren drar, anses vara berättigade på ett acceptabelt sätt. Forskningsrönen ska vara grun- dade på data eller någon form av belägg för det man påstår. Trovärdigheten ska alltså inte bara vila på ytlig sannolikhet eller t.ex. på att forskaren kan uttrycka sig väl. Vidare ska argumenteringen och tolkningarna som ges i rapporteringen göras så att det blir möjligt att verifiera eller motbevisa slutsatserna som dras.
Även vad gäller trovärdigheten har jag försökt vara så tydlig jag kan i alla delar. Ett problem med den empiriska studien är dock den stora mängden data som samlades in. Det är inte möjligt att rapportera alla de data slutsatserna byg- ger på i kortare artiklar eller i en avhandling. En tendens har också varit att dis- kussionen efter hand blivit alltmer övergripande och slutsatserna baserade på allt högre abstraktionsnivåer än de ursprungliga, speciellt i denna avhandling. Dock har jag med de data jag bygger min argumentation på i artikel 2 återvänt till den
grundläggande nivån, med slutsatser direkt baserade på rådata. Det ska också nämnas att nästan allt datamaterial som insamlades under studien finns arkive- rat, och kan vid behov gås igenom igen. Det som tyvärr har förstörts är ljudban- den från intervjuerna, vars magnetisering inte hållit för tidens tand, men för dessa finns i gengäld samtliga transkriptioner bevarade.
I de tre artiklarna har jag haft större möjligheter att vara tydlig med på vilka grunder jag dragit mina slutsatser. Dock har inte alla delar av analysprocessen, t.ex. då artiklar valdes ut för litteraturöversikten, kunnat redovisas inom det utrymme som står till buds. Läsaren får bedöma om min framställning ändå innehåller trovärdiga slutsatser.
Etik (ethics)
En del av de etiska överväganden som gjordes under forskningsprojektet har redovisats redan i kapitel 5. Etik som kvalitetskriterium bygger på ett par grundläggande aspekter.
Den första handlar om sättet som forskningen bedrivits på i förhållande till respondenter och informanter (lärare och elever). I kapitel 5 redogjorde jag för hur dessa informerats om syftet med min (vår) forskning, hur jag löst sekretess- frågorna kring känsliga fakta och yttranden samt hur jag lät eleverna läsa rap- porterna för att säkerställa att jag gav en korrekt bild av dem som personer och grupp.
Den andra handlar om vilka som bidragit till forskningen. I mitt fall är det huvudsakligen två personer som direkt haft en del i eller hjälpt till med studien. Den ene är naturligtvis Tomas Wennström, som var min forskarpartner under den inledande fasen av projektet, och utan vars stöd jag kanske inte fått möjlig- het att påbörja det. Den andra är Barbro Grevholm, som aktivt gett råd och input i många faser av projektet, speciellt i början med lämpliga matematiska objekt att pröva elevernas förståelse av. I synnerhet har hon föreslagit den studie av elevers förståelse av ett funktionssamband, som också själv forskat kring.
Jag har försökt att öppet redovisa alla de fall av hur jag utnyttjat och jämfört med andras forskning i min argumentation och i mina slutsatser. Givetvis gäller det i högsta grad för litteraturstudien, som bara bygger på andras forskningsrön. Här har jag också försökt göra det också uppenbart hur andras slutsatser påver- kat mina egna, exempelvis i fallen med de andra litteraturöversikter och meta- studier jag fann.
Övriga kriterier
Det finns ett antal kriterier, som passar samman med mer kvantitativa studier. Bland dem finns reproducerbarhet, generalitet samt tillförlitlighet eller reliabi-
Replicability, like prediction, is controversial. It should be, if one takes the spirit and meaning of replicability from the experimental sciences: if one does ”exactly the same thing” will the same results occur? Given the variability of people and contexts, that strict notion of replicability is rarely appropriate for educational research. (s. 461)
Han sammanbinder också anspråk på generalitet och reliabilitet med reprodu- cerbarheten i forskningen och diskuterar i vad mån dessa kvalitetskriterier är möjliga att ställa i studier kring matematikundervisning. Jag har ovan behandlat generaliserbarheten i min studie, och vilka av rönen som bör vara reproducer- bara i någon mening.
En av de faror i forskningen som Schoenfeld (ibid.) speciellt varnar för är
ytligheten, då i motsats till en annan fara, den alltför stora fackuppdelningen.
Ytligheten riskerar att gå ut över djupet i forskningen, och på det sättet även över kvaliteten. Min empiriska undersökning karakteriseras framför allt av stor bredd, eftersom jag vill ge en helhetsbild av villkoren för algebralärande. Det medför att de forskningsrön jag gjort och de slutsatser jag dragit befinner sig inom flera olika områden. Eftersom jag omöjligen kan vara expert inom samt- liga dessa områden, blir vissa slutsatser ofrånkomligen av en tämligen ytlig natur. Detta har jag dock till viss del försökt kompensera genom att arbeta mer på djupet med en del frågor, som exempelvis funktionssambandet i artikel 2.
Slutligen finns det viktig fråga att ta ställning till då kvaliteten hos en studie ska bedömas: För vem är forskningen avsedd och vem kommer att ta del av resultaten? Dessvärre är det sällsynt att praktikerna, lärarna som har sin dagliga gärning i matematikundervisningen, tar del av forskningsrön (Lester & Wiliam, 2002). De blivande lärarna får i sin utbildning möta forskningstexter av skilda slag, och får även träna att skriva vetenskaplig text. Ändå är detta svårt för dem, och sannolikheten att de fortsätter att läsa forskningsrapporter när de är färdig- utbildade är liten. En viktig orsak är naturligtvis det svårgenomträngliga språket, som kan vara ett effektivt hinder för många.
För mig själv har det genom hela forskningsprojektet varit av stor vikt att det jag rapporterat varit läsbart, inte bara för medlemmarna i forskningssamhället, utan också för praktikerna på fältet och i utbildningen. Min åsikt är att de forsk- ningsrön jag gjort i stort sett är värdelösa om de inte kan användas för att kon- kret förbättra matematikundervisningen i våra skolor.
Kvalitetsaspekter på ”läraren som forskare”
Aktionsforskning uppkom delvis som ett sätt att komma tillrätta med gapet mellan forskarna och praktikerna, dvs. lärarna. Orsakerna till detta gap beskrivs av Wheeler (1989):
The separation of researchers from practitioners, and of theory from prac- tice, is common to most professional activity in many societies. The structure of academic institutions, which distinguish ”pure” and ”applied” science, and institutionalized differential career opportunities, reinforce the
separation. In education the gap is particularly wide and distressing. This is not so much because teachers do not want technical help, nor because researchers would not be able to supply it, but because each group is embedded in a different situation with its own goals, responsibilities and rewards. Researchers are not recognized by the extent to which their work proves useful to teachers, nor are teachers recognized by the extent to which they are informed about and use the latest research.
(s. 278)
Inom aktionsforskning är det normalt så, att en forskare eller forskargrupp kny- ter till sig och samarbetar med lärare på fältet. Detta sätt att arbeta kan många gånger bli mycket lyckat, men det kan även innebära svårigheter. Exempelvis kan jämvikten i samarbetet få slagsida om forskaren blir alltför dominerande. Läraren kan till och med känna sig utnyttjad, snarare än att han/hon får möjlig- het att utveckla sig. Breen (2003) kallar i sin översikt samarbetet en ”riskabel affär” och ger exempel på de problem som kan uppstå.
Men det finns ett radikalt sätt att knyta samman forskning och praktik:
Kanhända är lösningen för att överbrygga gapet mellan teori och praktik att läraren, praktikern själv, blir forskare och den som ställer frågorna och utför undersökningarna som har relevans för praktiken.
(Grevholm, 2001, s. 257)
Dock finns det ett antal kriterier för vad för vad som krävs för att det utveck- lingsarbete en lärare gör även kan benämnas som forskning. Grevholm (2001) beskriver dessa:
I ett försök att precisera vad jag menar med läraren som forskare vill jag säga att det även krävs att läraren försöker på ett systematiskt sätt finna svar på sina frågor genom att relatera förklaringsmodeller som har sin grund i teorier till egna strukturerade försök i klassrummet. Resultaten bör granskas kritiskt och utsättas för diskussion samt publiceras innan vi kan betrakta arbetet som forskning. (s. 258)
Avgörande för att praktikerforskningen ska få tillräcklig status för att dess resultat ska tas på allvar, är att den genomförs med tillräcklig kvalitet enligt kri- terierna i föregående avsnitt. Det är här viktigt att påpeka att aktionsforskning i allmänhet, och ”läraren som forskare” i synnerhet, har kritiserats för bl.a. kvali- tetsbrister. Det har till och med uttryckts åsikten att lärarforskning inte alls upp- fyller kraven på vad som ska benämnas forskning (t.ex. Huberman, 1996).
Jag har i tidigare kapitel (1, 5 och 6) beskrivit de förutsättningar under vilka Tomas och jag inledde vårt forskningsprojekt, hur detta utvecklades och vilka metodologiska överväganden vi gjorde i samband med att vi var forskande lärare. Vidare har jag redovisat de för- och nackdelar det har inneburit för mig själv och för mina elever. Men en del av kritiken gentemot denna art av forsk- ning består i att den inte alltid håller tillräckligt hög kvalitetsmässig standard. Det är därför skäl i att granska den empiriska delen av mitt forskningsprojekt ur denna synvinkel.
Det första kvalitetskriteriet enligt Lester och Lambdin (1998) gäller relevan- sen. För all slags aktionsforskning menar jag att detta per definition är uppfyllt, eftersom sådan syftar till att direkt använda forskningsresultaten i undervis- ningen för att förbättra denna. Så var även fallet i den typ av aktionsforskning jag bedrev. Det andra kriteriet handlar om koherensen i studien, med inre och yttre validitet. Här finns en risk i att man som lärare i klassrummet kan tappa det övergripande synsättet, och kanske övergeneralisera forskningsrönen utifrån enstaka fall. Vid rapporteringen från det långa forskningsprojektet kan jag se vi i vissa fall kanske brustit i vaksamhet gentemot den ”fällan”. Dock har jag, när jag nu sammanfattar det hela, försökt att avhjälpa tidigare eventuella övergene- raliseringar genom att påpeka dessa.
Det tredje kriteriet, kompetens, har jag diskuterat ovan. Det är sant, att det fanns brister i inledningsskedet av projektet. Men det är också ett faktum, att jag efter hand som detta fortskred skaffade mig nödvändiga kunskaper för att bedriva forskning. Fjärde kriteriet behandlar transparensen i forskningen, och bygger delvis på föregående. Med ökade kunskaper följde också en medvetenhet om hur detaljerade beskrivningarna av mina egna förställningar och om de metoder vi använde bör vara. Även på dessa två punkter var det så småningom möjligt att uppnå de kvalitetsnivåer som krävs.
Trovärdigheten, det femte kriteriet, kan vara besvärlig att uppnå när man