• No results found

Structural equation modeling : en kraftfull analysmetod för undersökning av kvaliteten i kvantitativa mätinstrument och för att pröva kausala modeller

N/A
N/A
Protected

Academic year: 2021

Share "Structural equation modeling : en kraftfull analysmetod för undersökning av kvaliteten i kvantitativa mätinstrument och för att pröva kausala modeller"

Copied!
66
0
0

Loading.... (view fulltext now)

Full text

(1)

Forskningsmetod

STRUCTURAL EQUATION

MODELING

En kraftfull analysmetod för undersökning av kvaliteten i kvantitativa mätinstrument och

(2)

Bakgrund till mitt intresse för

multivariata analyser

 Jämförelser mellan olika faktoranalyser (olika kovariansmatriser) i eget

avhandlingsarbete; fick hjälp av prof. K.G. Jöreskog (upphovsman till ACOVS och LISREL).

 Prof. Quensels extra opposition vid min disputation 1972, som inriktades på

samplingproblem i skolundersökningar vid klassurval (mellan- och inomgruppsvarians).

 Möte med Herman Wold och J-B Lohmöller, upphovsmän till PLS (som

forfarande frekvent används i Tyskland).

 Kurser i LISREL-analys (K.G. Jöreskog och Dag Sörbom).

(3)

Vad vill jag med denna presentation?

Väcka intresse för en analysteknik som alla

forskare borde känna till.

Få forskare att lära sig använda SEM, dvs. starta

med att gå en nybörjarkurs och sedan ….

Bidra till att svensk forskning inte fortsätter att

sacka efter internationell forskning vad gäller

kvantitativa analysmetoder.

(4)

Variabler –

direkt mätning eller via indikatorer?

 Lärarkompetens

 Motivation

 Självförtroende

 Språkfärdighet

 Stresstolerans

 Attityd till utbildning

 Aggressivitet  Lärandemiljö  Kritisk förmåga  Värderingar  Samarbetsförmåga  Kreativitet  Vikt  Längd

Vilka av följande är mest intressanta för dig? Hur studerar man dessa?

(5)

Av ovanstående variabler kan endast längd

och vikt observeras (mätas) direkt (med

kända mätmetoder). Alla de övriga kan

endast studeras via indikatorer.

Om man använder indikatorer måste man

kunna visa, att dessa är relevanta och

tillförlitliga (dvs. har hög validitet och

(6)

Konstruktioner – teoretiska begrepp

Kan inte mätas direkt.

(7)

Konstruktioner – teoretiska begrepp

 Vilken är den bästa metoden för att veta om

indikatorerna är bra, dvs. är relevanta och tillförlitliga (validitet och reliabilitet)?

 Hur kan man studera relationer mellan olika begrepp?

Svar:

(8)

Forskningsmetoder

inom samhällsvetenskap och speciellt beteendevetenskap

 En orientering bort från NIVI (Naturvetenskaps- Imiterade VetenskapsIdealet och experimentella uppläggningar.

 Betoning på olika typer av deskriptiva studier.

 Utveckling av kausala modeller på deskriptiva data.

 En antipositivistisk inställning och en attitydmässig

negativ inställning till kvantitativa data och kvantitativa analyser har lett till en påtaglig okunnighet om den

senaste tidens utveckling inom mätteori och kvantitativa analysmetoder inom svensk forskning.

(9)

Varför kan man inte använda strikta

experiment inom beteendevetenskaperna?

 Det sanna experimentet kräver att den oberoende

variabeln är manipulativ, dvs. att man kan använda randomiserade grupper. Detta innebär att man slump-mässigt kan fördela deltagande individer till olika

grupper.

 Etiskt kan det vara oacceptabelt att slumpmässigt tilldela individerna grupptillhörighet.

 Även om slumpmässig fördelning är möjlig, kan det vara svårt att hålla samtliga experimentbetingelserna under kontroll.

(10)

I flesta fall får man inom samhällsvetenskaperna

nöja sig med icke-experimentella

undersöknings-uppläggningar, men trots detta vill man gärna

söka kausala förklaringar till sina resultat.

 Kausala förklaringar är den mest fundamentala förklaringen till processer som studeras.

 Det är mer intressant att veta att x orsakar y än att veta att x och y har samband med varandra.

 Om teorier utvecklas i former av kausala relationer kan många andra relationer härledas.

(11)

GLM och SEM

 Många parametriska analystekniker bygger på en statistisk teori om en generell linjär modell (GLM – General Linear Model), och syftet med dessa analys-metoder är att bestämma påverkan av eller relationen mellan de oberoende variablerna och de beroende.

 Structural Equation Modeling, SEM, är den mest

flexibla statistiska analysmetoden som använder GLM, och den kan samtidigt hantera många oberoende och

beroende variabler, både kategoridata och kontinuerliga variabler.

(12)

Vad är SEM?

SEM är en multivariat statistisk metod, som kan användas på deskriptiva data för att utifrån en kausal teori:

 Estimera relationer mellan manifesta (observerade) och latenta (teoretiska) variabler.

 Estimera kausala relationer mellan latenta variabler.

 Pröva eller finna en förklaringsmodell som bäst beskriver empiriskt erhållna data.

(13)

Utvecklingen av kausala modeller

 Sewell Wright (1920-talet)

Blalock, H. M., Jr. (1964). Causal inferences in

non-experi-mental research. Chapel Hill: University of North Carolina

Press.

Duncan, O. D. (1966). Path analysis: Sociological examples. American Journal of Sociology.

Duncan, O. D. (1975). Introduction to structural equation

models. New York: Academic press.

Raykov, T., & Marcoulides, G. A. (2006). A first course in

structural equation modeling. Hove, UK: Psychology Press.

 Svenska forskare som gjort betydande insatser: Herman Wold, K. G. Jöreskog, Dag Sörbom, Bengt Muthén, m.fl.

(14)

Sewell Wright

(path analysis)

 In cases in which the causal relations are uncertain, the method can be used to find the logical

consequences of any particular hypothesis in regard to them (Wright, 1921, p. 557).

 … the method of path coefficients is not intended to accomplish the impossible task of deducing causal relations from the value of a correlation coefficient. It is intended to combine the quantitative information given by the correlations with such qualitative

in-formation as may be at hand on causal relations to give a quantitative interpretation (Wright, 1934, p. 193).

(15)

Regressionsanalys

Regressionsanalys är en multivariat teknik för att

bestämma sambandet mellan en kriterievariabel och två eller flera prediktorvariabler. Regressionstekniken kan användas på intervall-, ordinal- och kategoridata.

Yest = b1x1 + b2x2 + b3x3 + … + bnxn + A

Det predicerade värdet på Y (Yest) skiljer från kriteriet Y

beroende på att x:en inte är perfekta prediktorer. Varje b-värde är en regressionskoefficient som visar hur mycket den beroende

variabeln förändras, om värdet på respektive föregående variabel ökar ett steg. A är en konstant (jfr den räta linjens ekvation y= a + bx). För att kunna se vilka x-variabler som bäst bidrar till

prediktionen standardiseras b-värdena (beta), som då direkt kan jämföras. Dessa kan då variera mellan -1,00 och +1,00.

(16)

Regressionsmodell med tre prediktorvariabler

(b

i

= standardiserade viktkoefficienter;

e = residual)

X1 X2 X3 Y e b1 b3 b2

(17)

Pathmodell (p = pathkoefficienter; e = residual)

X1 X2 X3 X4 e3 e4 p31 p32 p43

(18)

Resultat av regressionsanalys:

Multipel korrelation = 0,52; Förklarad varians i Betyg = 27 %

Resultat av path-analys:

Kön Hemkult Attityd 0,17 Betyg 0,18 0,41 0,26 0,33 0,85 0,86 Kön Hemkultur Attityd 0,33 0,86 0,18 0,17 Betyg

(19)

Brandexemplet:

Korrelationsmatris

Variabler ES BA SV

Eldsvådans storlek (ES) 1.00

Brandmännens arbets-insats (BA)

0.80 1.00

(20)

Erhållna path-koefficienter enligt den teoretiska modellen: SV ES BA SV ES BA 0,90 -0,30 0,80 Teoretisk modell:

(21)

Wright´s rules

Sambandet mellan två variabler i path-diagrammet kan uttryckas som summan av alla stigar (paths), som förbinder dessa två punkter men under

betingelserna:

a) ingen slinga,

b) inte gå framåt och sedan bakåt och c) högst en dubbelriktad pil per stig.

(22)

Wright´s rules (forts.)

Om vi applicerar dessa regler på exemplet ovan erhålls:

Sambandet mellan eldsvådans storlek och skadeverkningar: (rESSV) = 0,90 – 0,30x0,80 = 0,66. © PPR-HL SV ES BA 0,90 -0,30 0,80

(23)

Wright´s rules (forts.)

Sambandet mellan brandmännens arbetsinsats och skadeverkningar: (rBASV) = -0,30 + 0,90x0,80 = 0,42.

© PPR-HL SV ES BA 0,90 -0,30 0,80

(24)

Wright´s rules (forts.)

Sambandet mellan eldsvådans storlek och brandmännens arbetsinsats:

(rESBA) = 0,80 (enligt reglerna får man inte gå framåt och sedan bakåt).

© PPR-HL SV ES BA 0,90 -0,30 0,80

(25)

Wright´s rules (forts.)

Variabler ES BA SV

Eldsvådans storlek (ES) 1.00

Brandmännens arbets-insats (BA)

0.80 1.00

Skadeverkningar (SV) 0.66 0.42 1.00

(26)

Förhållandet mellan mätvariabeln och det

bakom-liggande begrepp som mätvariabeln avser att mäta

Residual Indikator,

manifest variabel Begrepp,

(27)

Latent variabel LV Manifest variabel MV1 Manifest variabel MV2 Manifest variabel MV5 Manifest variabel MV3 Manifest variabel MV4 e1 e2 e3 e4 e5 λ1 λ2 λ3 λ4 λ5

Faktoranalysmodell

(28)

Ekvationer som specificerar modellen och som visar hur de manifesta variablerna förklaras av den latenta variabeln (faktorladdningar) och residualerna.

De fem ekvationer som kan skrivas utifrån modellen är följande: MV1 = λ1LV + e1 MV2 = λ2LV + e2 MV3 = λ3LV + e3 MV4 = λ4LV + e4 MV5 = λ5LV + e5

(29)

Exempel på SEM-analyser

IEA-Written Composition;

analyser utifrån det svenska stickprovet

(30)

Indikatorer för att få ett mått på ’Hemkultur’

(från IEA-Written Composition)

 4. Talar tillsammans om vad som händer på arbetet och i skolan.

 5. Talar tillsammans om familjeangelägenheter, t.ex. om hushållet, släkten, ekonomin.

 6. Gör upp planer tillsammans, t.ex. för veckohelg eller semester, och diskuterar olika alternativ.

 7. Diskuterar allmänna angelägenheter, t.ex. moral, religion, politik.

 8. Diskuterar en bok som någon av er har läst.

(31)

Hur ofta gör barn och vuxna i din

familj följande saker tillsammans?

(svarsalternativ och skalering)

1. Högst en eller två gånger om året

2. Flera gånger om året

3. En eller två gånger i månaden

4. En eller två gånger i veckan

(32)

Relevans och tillförlitlighet?

Frågorna verkar bra och det blir nog tillförlitliga

svar från det slumpmässiga urval av 541 svenska

elever i år 9 som gjordes (även om det fanns ett

visst intern bortfall, dvs. samtliga elever svarade

inte på alla de sex frågorna).

(33)

Validitet och reliabilitet?

Correlati ons ** ** ** ** ** ,576** ** ** ** ** ,441** ,505** ** ** ** ,393** ,449** ,385** ** ** ,287** ,331** ,347** ,397** ** ,327** ,373** ,294** ,360** ,421** MV4 MV5 MV6 MV7 MV8 MV9 MV4 MV5 MV6 MV7 MV8 MV9 Listwise N=487 **.

Vad säger korrelationsmatrisen om

validitet och reliabilitet?

(34)

Resultat av faktoranalys och

reliabilitetsanalys med SPSS

Reliabi lity Statisti cs

,794 6 Cronbach's Alpha N of Items Component Matri xa ,728 ,784 ,710 ,708 ,642 ,641 MV4 MV5 MV6 MV7 MV8 MV9 1 Component

Extraction Method: Principal Component Analy sis. 1 components extract ed.

a.

49.6 % explained variance

(35)

 Visserligen visar Cronbach’s alpha en hygglig reliabilitet, men att endast erhålla en förklarad varians på ca 50 % är inte bra. Man vill gärna komma upp till minst 70 %.

 Resultatet av denna faktoranalys indikerar problem i valet av indikatorer.

 Denna dimensionsanalys är otillräcklig. Med SEM löser man problemet betydligt bättre och dessutom enkelt.

(36)

Indikatorer för att få ett mått på ’Hemkultur’

(från IEA-Written Composition)

 4. Talar tillsammans om vad som händer på arbetet och i skolan.

 5. Talar tillsammans om familjeangelägenheter, t.ex. om hushållet, släkten, ekonomin.

 6. Gör upp planer tillsammans, t.ex. för veckohelg eller semester, och diskuterar olika alternativ.

 7. Diskuterar allmänna angelägenheter, t.ex. moral, religion, politik.

 8. Diskuterar en bok som någon av er har läst.

(37)

Med SEM-tekniken kan man analysera

mätmodellen mycket bättre!

Mätmodell:

LV Hemkultur Fråga 4 Fråga 5 Fråga 6 Fråga 7 Fråga 8 Fråga 9 e e e e e e

(38)

Det finns flera programvaror som kan

utföra SEM-analyser

 LISREL (Jöreskog och Sörbom)

 Mplus (Muthén och Muthén)

 EQS (Bentler)

 AMOS (Arbuckle)

För att lättare ge instruktioner till programvaran, som ska utföra analysen kan man använda hjälp-programmet STREAMS (Structural Equation Modeling Made Simple) (Gustafsson och Stahl)

(39)

Teoretisk modell

MVR V4 V5 V6 V7 V8 V9 LVR G REL G -> V4 V5 V6 V7 V8 V9 LV Hemkultur Fråga 4 Fråga 5 Fråga 6 Fråga 7 Fråga 8 Fråga 9 e e e e e e

Är detta en bra modell som återspeglar erhållna data, dvs. som tillräcklig väl kan reproducera den empiriskt

(40)

Correlati ons ** ** ** ** ** ,576** ** ** ** ** ,441** ,505** ** ** ** ,393** ,449** ,385** ** ** ,287** ,331** ,347** ,397** ** ,327** ,373** ,294** ,360** ,421** MV4 MV5 MV6 MV7 MV8 MV9 MV4 MV5 MV6 MV7 MV8 MV9 Listwise N=487 **.

(41)

Hur jämför man den teoretiska modellen

med insamlade empiriska data?

 Kovariansmatrisen för observerade data jämförs med

kovariansmatrisen som genereras utifrån den hypotetiska modellen.

 Chi-kvadrat-testet används för att jämföra dessa två

matriser. Kvoten mellan Chi-kvadrat-värdet och antalet

frihetsgrader är ett bra mått på anpassning. Om denna kvot är under 2 anses avvikelsen mellan de två matriserna vara högst rimlig (chi-kvadrat-värdet beror dock på antalet

observationer - högre vid stora stickprov).

 Dessutom används RMSEA-värdet (Root Mean Square Error of Approximation) som ett anpassningsindex. Om detta värde, som tar hänsyn till antalet skattade parametrar, är < 0,05 kan modellen betraktas som mycket god för att

(42)

Teoretisk modell

Modell: MVR V4 V5 V6 V7 V8 V9 LVR G REL G -> V4 V5 V6 V7 V8 V9 Resultat:

Goodness of Fit Test:

Chi-square = 50.60, df = 9, p < .01, RMSEA = .102 Maximum Modification Index is 25.3 for:

COV V9& V8&

Modification Index ger information om hur modellen kan förbättras.

(43)

Indikatorer för att få ett mått på ’Hemkultur’

(från IEA-Written Composition)

 4. Talar tillsammans om vad som händer på arbetet och i skolan.

 5. Talar tillsammans om familjeangelägenheter, t.ex. om hushållet, släkten, ekonomin.

 6. Gör upp planer tillsammans, t.ex. för veckohelg eller semester, och diskuterar olika alternativ.

 7. Diskuterar allmänna angelägenheter, t.ex. moral, religion, politik.

 8. Diskuterar en bok som någon av er har läst.

(44)

Ny teoretisk modell

* MVR V4 V5 V6 V7 V9 * LVR G

* REL G -> V4 V5 V6 V7 V9 Goodness of Fit Test:

Chi-square = 8.39, df = 5, p < .14, RMSEA = .038 Estimated reliability: 0.78 Standardized estimates: V4 = +0.71*G +0.71*V4& V5 = +0.80*G +0.61*V5& V6 = +0.63*G +0.77*V6& V7 = +0.59*G +0.81*V7& V9 = +0.49*G +0.87*V9&

(45)

Resultat av LISREL-analys av en mätmodell

Chi-square = 8.39, df = 5, p < .14, RMSEA = .038 Estimated reliability: 0.78 Hemkultur Fråga 6 Fråga 7 Fråga 9 Fråga 4 Fråga 5 0,71 0,87 0,63 0,59 0,49 0,80 0,81 0,77 0,61 0,71 (standardiserade estimat)

(46)

Indikatorer för att få ett mått på ’Hemkultur’

(från IEA-Written Composition)

 4. Talar tillsammans om vad som händer på arbetet och i skolan.

 5. Talar tillsammans om familjeangelägenheter, t.ex. om hushållet, släkten, ekonomin.

 6. Gör upp planer tillsammans, t.ex. för veckohelg eller semester, och diskuterar olika alternativ.

 7. Diskuterar allmänna angelägenheter, t.ex. moral, religion, politik.

 (8. Diskuterar en bok som någon av er har läst.)

(47)

Några resultat av analyser från

andra forskningsprojekt

(48)

Minns följande:

Mätmodell:

Relationerna mellan den latenta variabeln och de manifesta variablerna

Strukturmodell:

(49)

Modell med tre latenta variabler med respektive

fyra, två och tre manifesta variabler

MV2 MV7 MV8 MV9 MV6 MV5 Teoretiskt begrepp LV3 Teoretiskt begrepp LV1 Teoretiskt begrepp LV2 MV1 MV3 MV4

(50)

Parental education

Home library Early reading activities

Early reading abilities

Reading achievement, Grade 4

Path model of direct and indirect influences of parental education on students’ reading achievement

.11 .59 .23 .09 .43 .13 .02 .14 .06 .33 (.38) (.33) (.18) (.11)

(51)

Några kausala modeller utifrån svenska data

från IEA-Written composition

LV’s: Föräldrarnas utbildningsbakgrund (Pared),

hemkultur (Hcult), betyg i uppsatsskrivning

(Bet), TV-tittande (TV), skolattityder (Atti)

MV’s: Pared (v2,v3), Hcult (v4,v5.v6,v7,v9), Bet

(v22,v23,v24,v25), TV (v14,v15), Atti (v10,v16)

(52)

SEM-analysis (LISREL) Hcult Pared Bet v5 v6 v7 v9 v4 v4 v23 v24 v2 v3 v22 v25

Path model of direct and indirect influences of parental education and home culture on students’ writing achievement (total effect within brackets). RMSEA=.0.048

.34 .26

.25 (.35)

(53)

Hcult Pared Bet v4 v6 v7 v9 v5 v23 v24 v2 v3 v22 v25

Path model of direct and indirect influences of parental education, home culture and TV viewing on students’ writing achievement (total effects within brackets). RMSEA=.0.045

.34 .14 (.26) (-.43) TV -.46 .08 v14 -.19 v15 .28 (.31)

(54)

Hcult Pared Bet v4 v6 v7 v9 v5 v23 v24 v2 v3 v22 v25

Path model of direct and indirect influences of parental education, home culture and attitudes on students’ writing achievement (total effect within brackets). RMSEA=.0.047

.34 (.46) Atti .32 .42 v10 .73 v16 .31 .34

(55)

Nedan följer resultat från en

dimensionsanalys av ett frågeformulär till

högstadieelever om lärarkompetens.

Därefter följer resultat om hur

(56)

My teachers:

can keep order maintain discipline

are decisive and know what they want create a positive classroom climate

show great confidence within their subject fields are competent in their subject fields

have well-planned lessons make teaching interesting

can explain new things in a good way increase my self-confidence

use various teaching methods can motivate students

are mostly cheerful and friendly

have a positive attitude towards young people have patience

are easy to talk to

show that they believe in my capacity for learning

show me that they want me to be successful in my studies are happy to see me making progress

tell us when we have done a good job

find out what we know and give individualized teaching help and give support to those who need it

give information as to what I can and what I have to improve sum up what we have done lately and give feedback

have reasonable demands give adequate homework are fair Tknow Tteach Tsocc Tposa Tindi Tfair Tcomp Tdisc .63 .63 .73 .62 .58 .85 .31 .12 .08 .56 .25 .42 .35 .25 .34 .36 .31 .40 .37 .52 .54 .70 .66 .61 .61 .53 .74 .73 .67 .66 .55 .64 .55 .59 .37 .30 .40 .60 .60 .55 .70 .41 .12 .34 .50 .42 .26 .32 .63 .29 .25 .67 .30 .14

(57)

CONFRONTING AVOIDANCE FRONTING Physical aggression (against persons) Displaced aggression (against objects) Psycho -logical aggression (against persons) Hide or Mask Wait, ignore, withdrawal Give up Postpone or avoid person Win-win, co-operate, compromise Self -blame Assistance -seeking, thirdparty .23

The results of a exploratory factor analysis of the conflict questionnaire -.03

(58)

Kausal modell från DRACON-projektet

(slutrapport finns på Malmö högskola)

ober. var.: Tcomp, Atti, Self

(59)

Tcomp: soc, tea, kno, dis, pos, ind, fai

Confronting: phy, psy, fru

(60)

 School attitudes

A1- I have a positive attitude to school and schoolwork. A2- I like schoolwork.

A3- In general I enjoy school.

A4- School helps develop my curiosity and desire to learn.  Self-confidence

S1- I have many good personal qualities.

S2- On the whole I am satisfied with myself. S3- I think I am good enough.

(61)

Tea Kno A1 A2 A3 A4 S1 S3 S3 S4 3-p Com Psy Phy Fru Gender 1=boys 2=girls Confronting Tcomp Self Fronting Atti -.19 -.19 -.20 -.37 .13 -.35 .10 .14 .31 -.14 .18 .75 .43 .56 Dis Soc

(62)

 På nästkommande bild visas slutresultatet av en LISREL-analys från en enkät till lärare i ett slumpmässigt urval av 23 grundskolor i Malmö 1982. Studien ”Teacher stress: Exploratory model building” publicerades i Journal of Occupational Psychology (1983), och blev

uppmärk-sammad i hela världen. Artikeln återpublicerades i samma tidskrift för något år sedan, då den ansågs som

ban-brytande.

 Ref.:

 Tellenback, Sten, Brenner, Sten-Olof & Löfgren, Horst: Teacher stress:

Exploratory model building. Journal of Occupational Psychology, 1983,

(63)
(64)

Hur kan jag lära mig att själv utföra

SEM-analyser?

 Ha en positiv inställning till att lära nya kvantitativa analysmetoder.

 Läs mitt kompendium om SEM-analys

 Gå en 3-dagars kurs i form av workshops (ca. 7 lektionstimmar per dag).

 Ha ett eget datamaterial i form av en SPSS-fil. För att öva på flernivåsanalyser ska datafilen innehålla såväl individdata som gruppdata.

 Utveckla en teori om kausala relationer mellan variabler i datafilen.

(65)

Referenser

 Tellenback, S., Brenner, S-O., & Löfgren, H. (1983). Teacher stress: Exploratory model building. Journal of

Occupational Psychology, 56(1), 19-33.

 Malm, B., & Löfgren, H. (2006). Teacher competence and students’ conflict handling strategies. Research in

Education, 76, 62-73.

Löfgren, H. (2012). Risker med kvantitativa analyser utan

teoretisk förankring och kvalitativ reflektion: Ett belysande exempel.

(66)

För frågor eller hjälp

kontakta mig!

E-post:

horst.lofgren@mah.se

Tel: 046-772490; 0766-472490

References

Related documents

impulse solving The procedure of finding the values on the state vari- ables at a mode-switch and right after the mode-switch, consis- tent with the DEA of the successor mode, and

Syftet med arbetet är att utveckla kvantitativa modeller avseende prod- uktions- och transportkostnader, för att analysera hur antalet sågverk samt deras storlek och

Jag anser mig kunna uttyda en brist på att i verksamheten ta till vara på elevernas egna livsvärldar och på så sätt skapa ett sammanhang för elevernas lärande, detta

Följeforskningens resultat visade att synen på idrott och mot- ionsidrott varierade bland idrottsledare och att det i samhället för övrigt fanns en stark koppling mellan

Riksantikvarieämbetet har skickat ut en enkät som ingår i vår undersökning av hur svenska museer förmedlar

Underskottet beräknas till 1,73 miljoner pesos (samma belopp i US-dollar enligt officiell kurs), motsvarande 3,2 procent av bruttonationalinkomsten, vilket är ett bättre resultat

Har organisationen några interna riktlinjer eller formella regler för arbete med jämn könsfördelning i utställningarna3. Diskuterar ni inom organisationen könsfördelningen i

Genom att analysera hur Storbritanniens och Sveriges regeringar ser pa Palestinas statsstatus utefter den deklarativa teorins kriterier om ett eget territorium, en