Nedan redovisas i tabellform några ytterligare resultat kring värderingsstudiers kvalitet. Se appendix B1 för hänvisningar till nedanstående tabeller.
Tabell B.2.1. Utvärderingsfrågor för värderingsstudier som använder sig av scenario- värderingsmetoden (Mitchell och Carson 1989).
Grundläggande kunskap som behövs för att utvärdera en scenariovärderingsstudie: A. Bakgrund
1. Vem finansierade studien, och har finansiären några intressen i tillhandahållandet av miljövaran? Vilka är i så fall intressena?
2. När samlades data in? Har det därefter blivit några stora förändringar i den allmänna opinionen vilka sannolikt påverkar värdeskattningarna?
B. Stickprov och aggregering
1. Vilken population syftade studiens stickprov till att representera?
2. Vilket urvalsförfarande användes för att göra stickprovet från populationen? Var det ett sannolikhetsurval? Hur väl blev det utfört?
3. Hur stor var stickprovsstorleken från början? Hur stora blev svarsfrekvenserna? Hur stort blev antalet respondenter vars WTP-belopp användes för att skatta ekonomiska värden?
4. Vad blev bortfallet för värderingsfrågorna?
5. Vilken effekt hade bortfallet på de skattade värdena? C. Scenario
Följande tre dimensioner bör beaktas när scenariot utvärderas:
1. Om den hypotetiska marknaden är meningsfull utifrån ekonomisk-teoretiska övervä- ganden.
2. Om scenariot är relevant för det projekt som studien värderar. 3. Om det finns fog för att tro att respondenterna förstår scenariot. Några nyckelfrågor är följande:
4. Hur beskrevs miljövaran?
5. Kan medelsvensson förstå beskrivningen? 6. Vilken typ av äganderätt antogs gälla?
7. Var de ekonomiska måtten (t.ex. WTP eller WTA) lämpliga med tanke på äganderätts- förhållandena och meningsfulla för respondenterna?
8. Var den värderade varan åtskild från besläktade varor med vilka respondenterna skulle kunna blanda ihop den med?
9. Vilka typer av värden (t.ex. användarvärden eller existensvärden) fanns troligen med i respondenternas WTP-belopp för varan?
10. Var forskaren medveten om möjliga ordningsföljdseffekter? Exempel: om en avsikt- lig ordningsföljdseffekt inte var önskvärd och mer än en vara eller förändring värde- rades, informerades respondenterna om vad de skulle bli tillfrågade om innan de värderade den första förändringen? Gavs respondenterna en möjlighet att senare i intervjun revidera sina WTP-svar om de så önskade?
11. Var nyckelelement i scenariot såsom betalningsinstrument och sannolikheten för tillhandahållande lämpliga med tanke på vilket projekt som värderades?
12. Gavs respondenterna tillräckligt med information för att kunna fatta ett upplyst beslut?
13. Var beskrivningen av varan riktig?
14. I vilken utsträckning var beskrivningen av varan och förändringen i dess tillhanda- hållande relevant utifrån ett policyperspektiv?
15. Vilka hänsyn togs i formuleringen av scenariot för att se till att möjliga källor till snedvridningar minimerades?
D. Undersökningen
1. Vilken metod användes för datainsamlingen? Om telefonintervjuer eller en posten- kät användes, togs hänsyn till de speciella problem som dessa metoder medför? 2. Vilka tillvägagångssätt användes för att utveckla och testa undersökningsinstru-
mentet?
3. Hur administrerades undersökningen? Denna information varierar en aning beroen- de på vilken metod för datainsamling som användes. Av särskild vikt är frågor som exempelvis: Hur förklarades undersökningen för respondenterna? Vem beskrevs som finansiär? Vem genomförde intervjuerna eller postenkäten? Vilken procedur an- vändes för att se till att bra standardrutiner för statistiska undersökningar följdes? E. Dataanalys
1. Hur identifierades och hanterades extremvärden och protestsvar?
2. Var informationen om de observationer som uteslöts tillräcklig för att tillåta en bedömning av giltigheten hos denna uteslutningsprocedur?
3. Vilka metoder användes för att kompensera bortfall?
4. Om en värderingsfunktion skattades, beaktades alternativa specifikationer av funk- tionen?
5. Är den eventuella värderingsfunktionen robust med avseende på de underliggande modell- och skattningsantagandena?
F. Tecken på reliabilitet och validitet
1. Finns hela frågeformuläret tillgängligt för granskning?
2. Var frågeformuläret (inklusive informationsmaterial och allt som visades för respon- denten) genomgående tydligt formulerat?
3. Var det beskrivande materialet presenterat på ett sätt som troligen bibehöll respon- dentens intresse?
4. Innehöll frågeformuläret något material som kan tänkas leda till att respondenterna sätter ett mindre eller högre värde på varan jämfört med vad fallet skulle vara med ett fullständigt neutralt frågeformulär?
5. Fanns ordalydelser som överbetonade studiens hypotetiska natur, eller det politiska inflytande som studien kan ha, på ett sätt som kan få respondenter att ge strate- giska svar?
6. Innehöll informationen om varan alla de egenskaper som behövs för att värdering- arna ska bli meningsfulla?
7. Användes några utformningsregler för att ta beslut om stickprovet och scenariot? Vilka är i så fall implikationerna för resultaten?
8. Vilka belägg finns för att respondenterna förstod frågorna på det sätt som forska- ren avsåg?
9. Diskuterar forskaren olika respondentgruppers svarsmönster som stämmer över- ens (eller inte stämmer överens) med respondenternas förståelse för scenariot? 10. Hölls möten med intervjuarna efter undersökningens slutförande för att utvärdera
resultaten? Är i så fall resultatet av mötena rapporterat?
11. Vilka tecken finns på effekter av möjliga snedvridningar? Rapporteras resultat av inbyggda experiment såsom att variera frågeformulärets utformning mellan olika substickprov?
12. Vad är resultatet av en regressionsanalys som undersöker sambandet mellan WTP och teoretiskt motiverade förklarande variabler? (En sådan analys ger belägg för reliabilitet och validitet.)
13. Genomfördes känslighetsanalyser? Vilka var i så fall deras resultat? (Dessa är av hjälp för utvärderingar av resultatens stabilitet.)
14. Hur stora är konfidensintervallen för WTP-skattningarna?
15. Har betydelsen av icke-urvalsfel beaktats på ett tillfredsställande sätt, och har lämpliga varningar givits?
Tabell B.2.2. NOAA-kommitténs riktlinjer för scenariovärderingsmetoden (Arrow et al. 1993).
Följande behövs för att säkerställa reliabiliteten och användbarheten hos den information som ges av en CVM-studie.
1. Stickprovets typ och storlek
Sannolikhetsurval är av central betydelse för en undersökning som ska användas för att utvärdera miljöskadors omfattning (damage assessment). Valet av stickprovets specifika utformning och storlek är en svår, teknisk fråga som kräver vägledning av en professionell stickprovsstatistiker.
2. Minimera bortfall
Ett stort bortfall gör studiens resultat otillförlitliga. Det är viktigt att minimera både objektbortfall och partiellt bortfall. Det förra kan knappast understiga 20% ens i undersökningar av mycket hög kvalitet. Det senare har också varit högt i vissa CVM- studier på grund av den svåra uppgift som respondenten ombeds utföra.
3. Personliga intervjuer
Det är inte sannolikt att postenkäter kan ge tillförlitliga skattningar av ekonomiska värden. Postenkäter använder sig i typfallet av ramar som täcker en alltför liten del av populationen (exempelvis utelämnar stickprov baserade på telefonkataloger ungefär halva USA:s befolkning). Eftersom innehållet i en postenkät kan utvärderas av mottagarna innan de beslutar sig för att besvara den eller inte, kan dessutom de som är mest intresserade av en miljöfråga eller står på ena eller andra sidan fatta sitt beslut på denna grund. Med postenkäter är det vidare omöjligt att garantera slumpmässigt urval inom hushåll eller att avgränsa besvarandet till en viss respon- dent, och det är svårt att kontrollera för eventuella effekter till följd av frågornas ordningsföljd. Personliga intervjuer är vanligen att föredra, även om telefonintervjuer har sina fördelar med tanke på kostnader och centraliserad övervakning.
4. Test av intervjuareffekter
Det är möjligt att intervjuare bidrar till snedvridningar till följd av vad som anses önskvärt i samhället, eftersom bevarande av miljön allmänt ses som något positivt. För att testa detta fenomen bör större CVM-studier innehålla experiment som under- söker intervjuareffekter.
5. Rapportering
Varje rapport om en CVM-studie bör klarlägga definitionen av den population varifrån stickprovet togs, urvalsramen, stickprovsstorleken, objektbortfallet och dess kompo- nenter (t.ex. svarsvägran) och det partiella bortfallet för alla viktiga frågor. Rapporten bör även exakt återge frågeformulärets ordalydelser och ordningsföljd och allt annat som kommunicerades till respondenterna (t.ex. följebrev). Alla data från studien bör arkiveras och göras tillgängliga för alla intresserade.
6. Noggrann testning av ett CVM-frågeformulär
Det är nödvändigt att genomföra mycket noggrant pilotarbete och testning samt att få belägg från huvudstudien att respondenterna förstod och accepterade huvudsak- liga beskrivningar och frågor tillräckligt väl.
7. Utformning som leder till försiktiga värderingsskattningar
I fall då aspekter av undersökningens utformning och analysen av svar är mångty- diga, föredras det alternativ som tenderar att underskatta WTP.
8. Sätt att ta fram preferenser
WTP bör användas i stället för WTA eftersom WTP leder till mer försiktiga värde- ringsskattningar.
9. Folkomröstningsform
Värderingsfrågan bör ställas i termer av en röst i en folkomröstning. Att be respon- denter att uppge ett värde i kronor som ett svar på en öppen fråga är att ställa dem inför en extremt svår uppgift. Och att ge respondenterna ett antal monetära belopp att välja mellan leder troligen till förankringseffekter och andra typer av snedvrid- ningar. Vi rekommenderar som den mest önskvärda frågetypen att använda en fråga med två svarsalternativ som ber respondenterna att rösta för eller emot en viss skattenivå. En sådan frågetyp har även fördelen att vara incitamentskompatibel (incentive compatibility).
10. Riktig beskrivning av projektet eller policyn
Respondenterna måste ges adekvat information om det miljöprojekt som erbjuds. Projektet måste definieras på ett sätt som är relevant för att utvärdera miljöskadors omfattning (damage assessment).
11. Test av fotografier
Fotografiers effekter på respondenterna måste noggrant undersökas. Den drama- tiska naturen hos ett fotografi kan ha mycket större emotionell påverkan än resten av surveyinstrumentet.
12. Påminnelse om oskadade substitutvaror
Respondenterna måste påminnas om substitutvaror, exempelvis andra jämförbara naturresurser eller det framtida tillståndet hos samma naturresurser. Denna påmin- nelse bör vara mycket tydlig och läggas omedelbart före den centrala värderingsfrå- gan för att garantera att respondenterna är klart medvetna om alternativen. 13. Adekvat tidsrymd mellan olyckan och CVM-studien
Studien måste utföras vid en tidpunkt som ligger så långt efter tillfället då miljöska- dan inträffade att att respondenterna uppfattar ett scenario som går ut på totalt återställande av miljön som trovärdigt.
14. Beräkning av genomsnitt över tiden
Tidsberoende mätfel bör reduceras genom att beräkna genomsnitt från oberoende stickprov som görs vid olika tidpunkter.
15. ”Svarar ej”-möjlighet
En ”svarar ej”-möjlighet bör uttryckligen finnas med utöver möjligheterna att rösta ”ja” eller ”nej” till den centrala värderingsfrågan. Respondenter som väljer ”svarar ej” bör på ett icke ledande sätt tillfrågas om en förklaring till valet. Svar bör kodas noggrant för att visa vilka olika typer av svar som gavs.
16. Uppföljningsfrågor till ja/nej-svar
”Ja”- och ”nej”-svar bör följas upp med den öppna frågan ”Varför röstade du ja/ nej?”. Svar bör kodas noggrant för att visa vilka olika typer av svar som gavs. 17. Korstabeller
Studien bör innehålla ett stort antal andra frågor som ger hjälp för att tolka svaren till den centrala värderingsfrågan. Slutrapporten bör visa hur WTP varierar mellan olika respondentgrupper. Följande är några exempel på förhållanden som skulle vara till hjälp för att tolka svaren: Inkomst, kunskap om platsen före CVM-studien, intresse för platsen före CVM-studien (antal besök), attityder rörande miljön, at- tityder rörande storföretag, avstånd till platsen, förståelse för uppgiften, tilltro till scenarierna, förmåga/vilja att utföra uppgiften.
18. Kontroller på förståelse och acceptans
Frågeformuläret bör mot slutet försöka fastställa i vilken grad respondenterna såg beskrivningarna och påståendena som gjordes före värderingsfrågan som sanna. 19. Alternativa utgiftsmöjligheter
Respondenterna måste påminnas om att deras betalningsvilja för miljöprojektet ifråga skulle minska deras utgifter för privata varor eller andra kollektiva varor. Den- na påminnelse bör varken vara slentrianmässig eller överväldigande, utan någon- stans mittemellan. Målet är att förmå respondenterna att komma ihåg andra troliga utgifter, inklusive utgifter för andra miljövaror, när de utvärderar huvudscenariot. Det är inte alls självklart hur uttömmande den lista på alternativa kollektiva varor som uttryckligen läggs fram bör vara. Om listan är alltför kort kan respondenterna förväntas spendera för mycket pengar. Om listan är alltför lång kommer responden- terna att uppmuntras att sprida sina utgifter till kollektiva varor för vilka det inte finns någon adekvat totalefterfrågan och som därför faktiskt inte kan erbjudas dem. Studien bör troligen inkludera någon uppgift om alternativens priser, exempelvis den utgift per capita som skulle behövas för att tillhandahålla dem.
20. Undvikande av transaktionsvärden
Studien bör utformas så att den allmänna tillfredsställelsen av att ge (warm-glow) och motviljan mot storföretag kan separeras från det specifika miljöprogram som värderas.
21. Permanenta eller tillfälliga förluster
Det bör göras uppenbart att respondenterna kan skilja mellan tillfälliga och perma- nenta förluster. Kvaliteten hos varje naturresurs varierar dagligen eller säsongsvis runt någon jämviktsnivå eller stabil nivå. Användarvärdet hos en resurs varierar beroende på dess faktiska tillstånd vid tidpunkten för användandet. Men icke- användarvärdet hos en resurs kan enbart eller till största delen härröra från dess stabila nivå och inte från dess dagliga nivå. Detta innebär i så fall att en fullständig restaurering vid någon framtida tidpunkt leder till en eliminiering eller stark minsk- ning av förlusterna i icke-användarvärde.
22. Nuvärdesberäkningar av tillfälliga förluster
Det bör visas att respondenterna är tillräckligt känsliga för tiden för restaurerings- processen när de avslöjar sina värden.
23. Godkännande på förhand
Eftersom utformningen av en CVM-studie kan ha en betydande inverkan på svaren, är det önskvärt att – om detta är möjligt – viktiga delar av studien godkänns på förhand av båda parter i en rättsprocess.
24. Bevisbörda
Ända tills det finns en samling tillförlitliga studier som referensram, måste CVM- utförare genom tester eller andra experiment visa att deras studie inte lider av de problem som dessa riktlinjer syftar till att undvika. En CVM-studie bör bedömas vara ”ej tillförlitlig” om den lider av någon av följande sjukdomar: (i) ett stort objekt- bortfall eller ett stort partiellt bortfall för värderingsfrågan, (ii) otillräcklig känslighet för miljöskadans omfattning, (iii) respondenterna brister i förståelse för uppgiften, (iv) bristande tilltro till ett scenario med fullständig restaurering, och (v) ”ja”- eller ”nej”-röster i den hypotetiska folkomröstningen vilka inte följs upp eller förklaras med hänvisning till projektets kostnad och/eller värde.
Tabell B.2.3. Viktiga frågor att ställa för att utvärdera validiteten hos en CVM-studie, enligt Bishop (2003).
1. Var det sanna värdet klart och korrekt definierat?
2. Identifierades alla miljöattribut som är relevanta för potentiella respondenter? 3. Var de potentiella effekterna av påverkan på miljöattributen och andra ekonomiska
parametrar tillfredsställande dokumenterade och kommunicerade?
4. Var respondenterna medvetna om sina budgetrestriktioner och om existensen av miljösubstitut och andra substitut?
5. Var sammanhanget för värderingen fullständigt specificerat och incitaments- kompatibelt?
6. Accepterade respondenterna scenariot? Trodde de på det? 7. Hur adekvata och kompletta var studiens övriga frågor? 8. Var datainsamlingsmetoden lämplig?
9. Var kvalitativa forskningsmetoder, tester och pilotstudier tillräckliga för att hitta och avhjälpa identifierbara brister i frågeformuläret och till detta hörande material? 10. Givet studiens mål, hur lämpliga var metoderna för att välja undersökningsobjekt
och stimulera en hög svarsfrekvens? 11. Var den ekonometriska analysen lämplig?
12. Hur adekvat är det skriftliga materialet från studien?
Källa: Bishop (2003).
Tabell B.2.4. Nyckelfaktorer som påverkar storleken på scenariometoders skattningar av ekonomiska värden, enligt Bann et al. (2003).
• Tidpunkt för studien • Policysammanhang
• Den undersökta miljöförändringens storlek • Typ av studie
• Betalningsinstrument
• Behandling av proteströster och analys av extremvärden • Beaktande av inkomstrestriktioner
• Inbäddning (embedding (part-whole bias)) • WTP vs. WTA
Tabell B.2.5. Översikt över vad en rapport om en tillämpning av någon scenariometod bör innehålla, enligt Bateman et al. (2002).
A. Mål
1. En detaljerad redogörelse för den icke-marknadseffekt som värderas.
2. Beskrivning av de attribut hos icke-marknadseffekten som kan variera i ett slutligt projekt eller policy.
3. Annan relevant information om de attityder eller åsikter bland populationen vilka kan vara användbara att samla in som en del av studien.
B. Metod
1. En förklaring av den relevanta SP-metoden. 2. Motivering för val av metod.
3. Tolkning av förväntade val utifrån ett ekonomiskt-teoretiskt perspektiv. C. Litteraturöversikt
En allsidig genomgång av tidigare värderingsstudier som liknar den aktuella studien. Relevanta aspekter vid en jämförelse mellan tidigare studier och den aktuella studien är exempelvis följande:
1. Värderingsmetod; såväl RP-studier som existerande metastudier bör inkluderas. 2. Vilka egenskaper hos resursen eller förändringen som studierna såg som relevanta. 3. Land och plats.
4. Populationen (t.ex. användare, icke-användare, medborgare, icke-medborgare). 5. Relevant information om val av scenario, betalningsinstrument och institutionellt
sammanhang för frågeformuläret.
6. Värderingsresultat: åtminstone bör medel- och median-WTP/WTA anges för varje grupp, men även andra aspekter (t.ex. värderingsfunktion) kan vara relevanta. 7. Belägg för vilken population som påverkas, och en skattning av förändringens total-
värde.
8. Svårigheter och lärdomar för den aktuella studien bör betonas. D. Population och stickprov
Som ett minimum bör följande ingå i rapporten:
1. Val av rampopulation (t.ex. besökare) och anledningen till detta val.
2. Val av stickprov (t.ex. kvoturval eller sannolikhetsurval) och anledningen till detta val. 3. Val av datainsamlingsmetod (t.ex. personliga intervjuer, postenkät) och anledningen
till detta val. 4. Stickprovsstorleken.
E. Utformning av frågeformuläret
En kortfattad översikt över frågeformuläret (ev. frågeformulären), vilken beskriver huvud- dragen hos och målen för varje avsnitt (t.ex. attityder, användning, värderingsscenario, socio-ekonomiska karaktäristika). Följande bör diskuteras för vart och ett av frågeformu- lärets avsnitt:
1. Typen av insamlade data, och en förklaring till varför de är av intresse.
2. Frågornas struktur och vilka tekniker som har använts (t.ex. parvisa jämförelser, Likert-skalor).
3. Frågornas relevans (t.ex. att ge hjälp att förklara WTP-svar, att stimulera responden- ten att tänka på relevanta ämnen). För CE-studier bör även ingå en beskrivning av valsituationer, attribut och attributnivåer.
4. Värderingsfrågans struktur, inklusive det hypotetiska scenariot, betalningsmekanis- men och frågetypen.
F. Implementering
Resultat från test, pilotstudier och huvudstudier bör sammanfattas och innefatta: 1. Utförare av fokusgrupper och studier.
2. Tidpunkt och plats för fokusgrupper och studier.
3. Tidpunkt och plats för huvudstudien och större pilotstudier. 4. Kortfattad beskrivning av respondenter och stickprovsstorlek.
5. Huvudsakliga resultat från test och pilotstudier och hur dessa påverkade utformning- en av det slutliga frågeformuläret.
G. Resultat: sammanfattande statistisk beskrivning
1. Sammanfattande statistisk beskrivning av socio-ekonomiska karaktäristika: antalet eller andelen respondenter som kännetecknas av dessa karaktäristika.
2. En utvärdering av stickprovets representativitet för den relevanta populationen. 3. Sammanfattande statistisk beskrivning av användning och attityder: antalet eller
andelen respondenter för varje möjligt svar för varje fråga.
4. Statistisk beskrivning även för lättidentifierade undergrupper av intresse (t.ex. använ- dare och icke-användare).
5. Analys av samband mellan variabler av intresse (t.ex. korrelation mellan attityder och användning).
H. Resultat: analys av WTP/WTA-data
Huvudresultat av den ekonometriska analysen bör presenteras i rapportens huvudtext och innefatta följande:
1. Typ av data (t.ex. WTP/WTA, kontinuerliga, binära, intervall).
2. Behandling av svarsvägran och protestsvar, och kontroller för systematisk snedvrid- ning i stickprovets karaktäristika om dessa svar utesluts.
3. Viktningsprocedurer för att korrigera för bristande representativitet (om så är tillämp- ligt).
5. Specifikation av modellen (t.ex. värderingsfunktion, RUM-modell).
6. Skattning av modellen och resultat inklusive förklaringskraft med standardfel, t- värden, (pseudo)R2-värden och test för IIA (independence of irrelevant alternatives) i
conditional logit-modeller.
7. Skattning av medelvärde/median. I. Validitetstest
Studien bör beakta implikationerna av följande validitetstest:
1. Test av innehållsvaliditet/upplevd validitet (content/face validity): det bör diskuteras om studien ställde de rätta frågorna på ett klart, förståeligt, känsligt och lämpligt sätt. Resultat från fokusgrupper, pilotstudier och huvudstudien är användbara här. Om det finns indikationer på okänslighet för miljöförändringens omfattning (scope), inbäddning (embedding) eller andra snedvridningar, bör de troliga orsakerna till sned- vridningarna och hur de åtgärdas (om möjligt) också diskuteras.
2. Test av konvergensvaliditet (convergent validity): en utvärdering huruvida resultaten från SP-studien är jämförbara med dem från andra värderingsstudier bör presenteras, om möjligt genom jämförelser mellan studiens resultat och resultat i rapportens litteraturöversikt.
3. Förväntansbaserad validitetstestning: det bör undersökas om SP-studiens resultat är i linje med teoretiska och intuitiva förväntningar. Om det finns avvikelser från sådana förväntningar bör dessa förklaras.
J. Aggregering och implikationer Detta rapportavsnitt bör innefatta:
1. Vilken strategi för aggregering som användes och varför.
2. En diskussion av olika typer av snedvridningar, om de är närvarande eller inte, och