För att avgöra om en mätmodell med en eller flera latenta variabler kan anses vara bekräftad i data eller ej studeras ett antal anpassningsmått som kommer ur analyserna. Anpassningsmåtten undersöker i huvudsak om den av modellen implicerade kovariansmatrisen avviker från faktiskt observerad kovarians i data (Gustafsson, 2009).
Det finns stort antal anpassningsmått inom SEM och fler tillkommer över tid (Kline, 2015). Det första och kanske mest centrala anpassningsmåttet är ett χ2-test som genomförs för att undersöka avvikelsen mellan den implicerade
(av mätmodellen) och observerade kovariansmatrisen i data. Om testet returnerar ett signifikant värde (p < 0,05) indikerar det att det finns en signifikant avvikelse mellan den implicerade och den observerade matrisen, vilket alltså skulle innebära att modellen inte passar data (Kline, 2015; Wang, Hefetz, & Liberman, 2017).
I undersökningar med stora urval finns dock ett problem med χ2-testet. Det
är att testet i dessa fall nästan regelmässigt rapporterar signifikanta värden, även i de fall avvikelsen mellan mätmodellen och data är liten (Gustafsson, 2009). Ett tidigt tillvägagångssätt för att hantera detta, och som då rekommenderades i metodlitteraturen (Kelloway, 1998), var att normalisera χ2-testet genom att dividera det med antalet frihetsgrader i analysen. Ett
returnerat värde mellan 3–5 ansågs indikera god anpassning av modellen till data (ibid). Detta angreppssätt har dock kommit att starkt ifrågasättas i dagens metodlitteratur. Kline (2015) skriver exempelvis att ”there is little statistical or logical foundation for the normed chi-square, it should have no role in global fit testing.” (s.272)
Flera andra mått har därför utarbetats för att bedöma eventuell avvikelse mellan modell och data, och flera olika rekommendationer kring tolkningsregler finns (Hu & Bentler, 1999; Wang, Hefetz, & Liberman, 2017).
Denna variant av faktoranalys kallas just utforskande faktoranalys (”Exploratory Factor Analysis”, EFA) och där används datorprogrammens kraft för att finna vilka variabler som tillsammans skulle kunna bilda en latent variabel. Denna variant av faktoranalys används alltså inte inom SEM.
Det har pågått en omfattande diskussion bland forskare om hur detta ska hanteras. Det finns de som har varnat för en övertro till tolknings- rekommendationer gällande olika anpassningsmått (Marsh, Hau, & Wen, 2004). Vissa har gått ännu längre och menat att man därför strikt bör hålla sig till χ2-testet och låta detta avgöra om en modell kan accepteras eller behöver
förkastas (Barret, 2007). En sådan rigid lösning har dock mött motstånd (Markland, 2007), och flera forskare och metodhandböcker argumenterar idag för att man parallellt med en analys av χ2-resultaten också bör studera och
redovisa uppgifter för fler anpassningsmått (Kline, 2015).
Ett av de vanligast förekommande anpassningsmåtten i litteraturen är Root Mean Square Error of Approximation (RMSEA). Enligt Gustafsson (2009) är skälen för detta flera. Ett är att anpassningsmåttet har flera goda statistiska egenskaper. Bland annat mäter RMSEA avvikelsen mellan modell och data på en absolut skala med hänsyn tagen till både urvalets storlek och modellens komplexitet (antalet parametrar i modellen). Det tidigare gör att måttet fungerar bra även för undersökningar på stora urval (såsom TIMSS) och det senare att måttet inte premierar modeller med många parametrar. En princip inom SEM är nämligen att eftersträva så återhållsamma modeller som möjligt (Kline, 2015). χ2-testet motverkar denna princip genom att resultatet kan
förbättras om forskaren lägger till ytterligare parametrar i modellen, något som sällan är teoretiskt motiverat. Enligt Gustafsson (2009) skyddar RMSEA delvis mot sådant missbruk av χ2 eftersom modeller med onödiga parametrar
får ett högre RMSEA-värde.
Ett RMSEA-värde under 0,05 (eller 0,06 enligt vissa forskare) indikerar att modellen har en god anpassning till data, och ett värde under 0,08 indikerar en acceptabel anpassning (Gustafsson, 2009; Wang, Hefetz, & Liberman, 2017). För RMSEA kan också ett konfidensintervall beräknas. Det är därför eftersträvansvärt att RMSEA-värdet är under 0,08 och utan en övre konfidensgräns som överstiger 0,08.
Ytterligare andra mått som rapporteras i litteraturen är Comparative Fit Index (CFI) och Standardized Root Mean Square Residual (SRMR). Båda dessa anpassningsmått är närbesläktade med RMSEA. Skillnaden i SRMR är att detta anpassningsmått rapporterar ett samlat standardiserat värde på avvikelserna mellan data och modell. Den tumregel som anges för tolkningen av detta mått brukar vara att det ska understiga 0,1, vilket motsvarar en acceptabel anpassning, eller vara under 0,08 vilket motsvarar en god anpassning. CFI å sin sida mäts också det på en skala mellan 0 och 1, men där 1 motsvarar en helt perfekt modellanpassning. Anpassningsmåttet kan bäst
beskrivas som att det mäter hur mycket bättre den implicerade modellen passar data än en tom så kallad baslinjemodell [baseline model]. Ett CFI-värde om 0,9 kan då tolkas som att forskarens modell är 90 procent bättre än baslinjemodellen (Kline, 2015).
Ett CFI-värde över 0,95 indikerar att modellen har en acceptabel anpassning till data (Gustafsson, 2009). Gällande CFI har det dock förts en diskussion om huruvida en acceptabel modellanpassning finns redan vid 0,9 (Hu & Bentler, 1999). Vissa forskare håller fast vid denna nivå (Wang, Hefetz, & Liberman, 2017) medan andra (Gustafsson, 2009) menar att 0,95 bör vara gränsen för en acceptabel anpassning.
Givet de problem som nämndes ovan med χ2-testet och stora urval, är en
återkommande strategi bland forskare som använder SEM att studera dessa andra anpassningsmått parallellt med χ2 (se t.ex. Eklöf & Knekta, 2017). Om
dessa mått indikerar en god anpassning mellan data och modell talar det för att det stora urvalet i undersökningen drivit upp χ2-värdet (Gustafsson, 2009).
Detta kommer också att vara min strategi. Till respektive analys kommer jag att rapportera resultaten av χ2-test, antalet frihetsgrader (df), RMSEA, CFI och
SRMR (Kline, 2015; se exempel i Hansson, 2011; Eklöf & Knekta, 2017). Om de olika anpassningsmåtten från analysen skulle visa att den eller de prövade latenta variablerna inte kan verifieras i data står forskaren inför tre val. Ett val kan vara att utveckla sina teoretiska antaganden för att därefter pröva en annan uppsättning manifesta variabler. Ett annat val kan vara att fördjupa analysen av de manifesta variablernas validitet och reliabilitet: Mäter de rätt saker? Om inget av detta hjälper kvarstår endast möjligheten att förkasta hela teorin.