Kvalitetskriterier för ekonomiska miljövärderingsstudier

Kvalitetskriterier för ekonomiska

miljövärderingsstudier

veta hur en värderingsstudie bör läggas upp för att hålla god kvalitet? Eller behöver du stöd vid upphandling av en värderingsstudie? Då innehåller den här rapporten ett verktyg som kan hjälpa dig.

Kraven på att redovisa såväl nytta som kostnad av förslag till miljöförbättrande åtgärder har ökat på senare år, men svårigheter med att mäta just nyttan gör att det finns en risk för att denna undervärderas. En lösning på detta problem är att genomföra nya studier för att öka kunskapen på områden där få eller inga värderingsstudier hittills har gjorts, men detta är dyrt och tidskrävande. Därför är det även viktigt att i möj-ligaste mån använda resultat från befintliga studier. Emellertid är det avgörande att dessa studier håller en god kvalitet, och syftet med den här rapporten är därför att ge myndigheter och konsulter ett verktyg som kan användas för att belysa och bedöma kvaliteten hos olika värderingsstudier. Med hjälp av verktyget förbättras förutsätt-ningarna för att beslut om miljöförbättrande åtgärder bygger på ekonomiska miljö-värderingsstudier av god kvalitet. Dessutom kan de kvalitetskriterier som presenteras i rapporten användas som stöd vid upplägg och upphandling av nya studier.

ISBN 91-620-1247-9 www.naturvardsverket.se

Kvalitetskriterier för ekonomiska

miljövärderingsstudier

Beställningar

Ordertel: 08-505 933 40 Orderfax: 08-505 933 99 E-post: natur@cm.se

Postadress: CM-Gruppen, Box 110 93, 161 11 Bromma Internet: www.naturvardsverket.se/bokhandeln

Naturvårdsverket

Tel: 08-698 10 00, fax: 08-20 29 25 E-post: natur@naturvardsverket.se

Postadress: Naturvårdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se ISBN 91-620-1247-9 ISSN 0282-7298 © Naturvårdsverket 2005 Tryck: CM Digitaltryck AB Omslagsfoto: Ablestock

Omslagsillustration: Yann Robardey/AB Typoform

.

Innehåll

Läsanvisning

Förord

1.

Bakgrund och syfte

2.

Kvalitetsdimensioner för värderingsstudier

2.1 Användardimensionen 11

2.2 Den naturvetenskapliga–medicinska dimensionen 12

2.3 Den ekonomiska dimensionen 13

2.4 Den statistiska dimensionen 15

2.5 Dimensionernas kopplingar till varandra 20

3.

Ett verktyg för kvalitetsbedömning

3.1 Kvalitetsfaktorer för alla värderingsstudier oavsett värderingsmetod 23 3.2 Kvalitetsfaktorer för produktionsfunktionsmetoden 40 3.3 Kvalitetsfaktorer för resekostnadsmetoden 42 3.4 Kvalitetsfaktorer för fastighetsvärdemetoden 49 3.5 Kvalitetsfaktorer för skyddsutgiftsmetoden 53 3.6 Kvalitetsfaktorer för scenariometoder 56 3.7 Kvalitetsfaktorer för ersättningskostnadsmetoden 67 3.8 Kvalitetsfaktorer för humankapitalmetoden 70

3.9 Kvalitetsfaktorer för värdering utifrån kostnaden

att verkställa politiska beslut 73

3.10 Helhetsbedömning av kvaliteten 75

Referenser

Appendix A.

Värderingsmetoder

A.1 Metoder baserade på faktiskt marknadsbeteende 80

A.2 Scenariometoder 81

A.3 Andra värderingsmetoder 82

Appendix B.1

Kvalitet hos värderingsstudier – tidigare resultat

B.1.1 Kvalitetskriterier i vetenskaplig litteratur 85 B.1.2 Riktlinjer utarbetade av myndigheter 92 B.1.3 Kvalitetskriterier i databaser 98

Appendix B.2

Ytterligare resultat kring kvalitet

Läsanvisning

Har du en värderingsstudie som du vill kvalitetsbedöma? Eller vill du veta hur en värderingsstudie bör läggas upp för att hålla god kvalitet? Eller behöver du stöd vid upphandling av en ekonomisk miljövärderingsstudie? Då innehåller den här rapporten ett verktyg som kan hjälpa dig. För att du ska kunna använda verkty-get behöver du ha grundläggande kunskaper om ekonomisk värdering, inklusive grundläggande kunskaper i statistik/ekonometri. Däremot ska expertkunskaper inte vara nödvändiga. Rapporten ersätter dock inte grundböcker om ekonomisk värdering! Den kombineras med fördel med modern litteratur om värderings-metoder, exempelvis Bateman et al. (2002), Champ et al. (2003), Freeman (2003), samt Haab och McConnell (2002). En del litteraturreferenser ges dess-utom i kapitel 3, och du som läsare kan även ta hjälp av rapportens appendix. Använd rapporten på följande sätt:

1. Läs kapitel 1, 2 och inled-ningen till kapitel 3. 2. Läs även appendix A, B1 och B2 om du behöver ytterligare kött på benen när det gäller värderingsmetoder och kvalitetsbedömningar av miljövärderingsstudier. 3. Läs vid behov även ytter-ligare litteratur. Litteraturtips finns i rapporten.

4. Ladda ned den elektroniska svarsblanketten från www.naturvardsverket.se/ bokhandeln/dse/620-1247-9 I denna fyller du i svar på alla kontrollfrågor om studiens kvalitet.

5. Gå igenom avsnitt 3.1 och besvara kontrollfrågorna i avsnittet.

6. Identifiera vilken (eller vilka) värderingsmetod(er) som studien har använt sig av. 7. Avsnitten 3.2-3.9 innehåller kontrollfrågor för respektive värderingsmetod. Gå igenom det (de) avsnitt som passar den studie som du vill bedöma och besvara kontrollfrågorna. 8. Gå igenom avsnitt 3.10 och gör en helhetsbedömning av studiens kvalitet.

9. Klart!

Läs kapitel 1, kapitel 2 och inledningen till kapitel 3.

Ladda ned den elektroniska svarsblanketten från www.naturvardsverket.se/bokhandeln/dse/620-1247-9

Gå igenom avsnitt 3.1.

Identifiera studiens värderingsmetod.

Vid behov: Läs appendix A, B1 och B2 samt ytterligare litteratur.

Gå igenom ett eller flera av avsnitten 3.2-3.9 beroende på vilken metod som har använts.

3.2

Produktions-funktionsmetoden 3.3 Resekostnads-metoden 3.4 Fastighets-värdemetoden 3.5 Skyddsutgifts-metoden

3.6

Scenario-metoder 3.7 Ersättnings-kostnadsmetoden 3.8 Humankapital-metoden 3.9 Kostnaden för attverkställa politiska beslut

Förord

Kraven på att redovisa såväl nytta som kostnad av förslag till miljöförbättrande åtgärder har ökat på senare år, men svårigheter med att mäta just nyttan gör att det finns en risk för att denna undervärderas. En lösning på detta problem är att genomföra nya studier för att öka kunskapen på områden där få eller inga värde-ringsstudier hittills har gjorts, men detta är dyrt och tidskrävande. Därför är det även viktigt att i möjligaste mån använda resultat från befintliga studier. I Sverige finns sedan 2004 databasen ValueBaseSWE _{med över 170 studier och}

internatio-nellt finns bl.a. EVRI som innehåller ett ännu större antal studier. Avgörande för att dessa studier ska kunna användas som beslutsunderlag är att de håller en god kvalitet, och syftet med den här rapporten är därför att ge myndigheter och konsulter ett verktyg som kan användas för att belysa och bedöma kvaliteten hos olika värderingsstudier. Med hjälp av verktyget förbättras förutsättningarna för att beslut om miljöförbättrande åtgärder bygger på ekonomiska miljövärderings-studier av god kvalitet. Dessutom kan de kvalitetskriterier som presenteras i rapporten användas som stöd vid upplägg och upphandling av nya studier.

Rapporten har författats av Åsa Soutukorva och Tore Söderqvist på Enveco Miljöekonomi. Arbetet har biståtts av en referensgrupp bestående av Fredrik Carlsson (Handelshögskolan vid Göteborgs Universitet), Per-Olov Johansson (Handelshögskolan i Stockholm), Bengt Kriström (Sveriges Lantbruksuniversitet i Umeå), Daniel Thorburn (Stockholms Universitet), Eva Samakovlis (Konjunk-turinstitutet), Sofia Grahn-Voorneveld (Statens Institut för Kommunikations- analys), Anna Helena Lindahl (Naturvårdsverket) och Håkan Marklund (Naturvårdsverket). Projektledare på Naturvårdsverket har varit Oskar Larsson och Lars Drake.

Verktyget har varit föremål för test av flera testpiloter ur den tänkta användar-gruppen. Naturvårdsverket vill rikta ett stort tack både till dem och till referens-gruppen.

1.

Bakgrund och syfte

Ökande antal miljövärderingsstudier

Antalet empiriska studier om det ekonomiska värdet av miljöförändringar har ökat snabbt under de senaste 20 åren. Exempelvis uppges mer än 5000 värde-ringsstudier från fler än 100 länder ingå i en kommande bibliografi (Carson, under produktion). Utvecklingen märks även i form av upprättande av databaser för resultat från värderingsstudier och ett ökande antal grundläggande hand-böcker för ekonomisk miljövärdering (t.ex. Bateman et al. 2002, Champ et al. 2003). I Sverige gjorde Kriström (1992) en sammanfattning av ungefär ett dussin svenska värderingsstudier av miljöförändringar. Fyra år senare sammanfattade Söderqvist (1996) ungefär 60 svenska studier, och i en databas som nyligen har upprättats ingår 170 svenska studier (Sundberg och Söderqvist 2004a).

Att antalet värderingsstudier ökar återspeglar ett alltmer utbrett synsätt om vikten av att beakta miljön/ekosystemtjänster (jfr appendix A) i ekonomiska ana-lyser, inte minst vid utformning och införande av olika policies. Behovet av detta uttrycks även av Naturvårdsverket (2004) i ett förslag till strategi för utveckling av ekonomiska konsekvensanalyser i myndigheternas miljöarbete.

I förslaget framhålls att:

”det finns anledning att satsa mer på att utveckla metoder för hur miljöför-ändringar kan mätas monetärt och att faktiskt mäta värdet av miljöföränd-ringar monetärt” (s. 45).

Ett verktyg för att förstå och bedöma studiernas kvalitet

För att resultaten från värderingsstudier ska kunna användas i policysamman-hang är det viktigt att de är tillförlitliga. Avgörande för detta är att värderings-studierna håller en acceptabel kvalitet, och syftet med denna rapport är att ge myndigheter och konsulter ett verktyg som kan användas för att belysa och bedöma olika kvalitetsaspekter hos värderingsstudier vars resultat ska användas som beslutsunderlag. Med hjälp av verktyget ökar möjligheten till att värderings-studier av god kvalitet används som underlag för policybeslut. Verktyget identi-fierar kvalitetsfaktorer och hjälper på så sätt användaren att förstå vilka aspekter som är viktiga i en utvärdering. Kvalitet är dock en så pass komplicerad egen-skap att verktyget inte kan användas för en enkel betygssättning av värderings-studier – att förmedla en förståelse för detta är också en av verktygets funktioner. Även om huvudsyftet med verktyget är att utvärdera befintliga värderingsstudier så kan de kvalitetsfaktorer som identifieras också användas som hjälp för att för-stå vilka aspekter som bör beaktas vid utformningen av nya värderingsstudier. På så sätt kan verktyget vara till hjälp för den som ska utföra en studie och ett stöd för den som vill göra upphandlingar av värderingsstudier.

Rapporten är upplagd på följande vis:

• Kapitel 2 innehåller en allmän diskussion kring vilka olika dimensioner av kvalitet som är viktiga för värderingsstudier.

• Kapitel 3 innehåller själva verktyget för kvalitetsbedömning. Kapitlet innehål-ler frågor som ska besvaras och kortare resonemang i anslutning till dessa. För att underlätta ifyllande finns en elektronisk svarsblankett tillgänglig för nedladdning från www.naturvardsverket.se/bokhandeln/dse/620-1247-9

Till hjälp för läsaren finns sedan ett antal appendix:

• Appendix A beskriver kortfattat de miljöekonomiska metoder som har ut-vecklats för att värdera miljöförändringar.

• Appendix B1 presenterar resultat från ett urval av tidigare studier som på olika sätt studerat eller diskuterat kvalitet hos värderingsstudier. Det rör sig om dels tidigare forskning, dels riktlinjer för utförandet av värderingsstudier och dels hur kvalitet har beaktats i värderingsdatabaser.

• Appendix B2 ger en ytterligare fördjupning när det gäller vissa tidigare stu-diers slutsatser angående kvalitetsbedömning av värderingsstudier.

• Appendix C är en ordlista som tar upp några begrepp som har definierats på olika håll i rapporten.

2.

Kvalitetsdimensioner för värderingsstudier

Vad är kvalitet? Vad menas med kvalitet? Denna grundläggande fråga måste besvaras för att det ska vara möjligt att utvärdera värderingsstudiers kvalitet. En mycket allmän definition av kvalitet är ”lämplighet för användning” (Juran och Gryna 1980). Definitionen understryker att kvaliteten hos något beror på vad detta något är tänkt att användas till. Just användbarheten understryks även av SCB (2001a), som konstaterar att det är ett vanligt synsätt att en produkts kvalitet avgörs av användarnas syn på produkten och hur användbar den är. Det är alltså viktigt att ta hänsyn till hur pass bra produkten uppfyller användarnas behov och för-väntningar (SCB 2001a). Vi väljer att beskriva kvaliteten hos värderingsstudier utifrån fyra olika dimensioner:

1. Användardimensionen, som i linje med föregående stycke kan betraktas som en överordnad dimension.

2. Naturvetenskaplig-medicinsk dimension. 3. Ekonomisk dimension.

4. Statistisk dimension.

2.1

Användardimensionen

Lämpar sig studien för det tänkta användningsområdet?

Kan användaren göra en objektiv bedömning av studien?

Sett utifrån denna dimension beror värderingsstudiers kvalitet på om de lämpar sig att användas för det ändamål som de är tänkta att användas för. Tabell 1 redovisar några viktiga användningsområden för värderingsstudier. Även om ta-bellen främst beskriver tillämpningen i Storbritannien är likheterna med Sverige stora. Exempelvis görs kostnads-nyttoanalyser som innefattar miljöaspekter av Vägverket, Banverket och SIKA, och fler myndigheter räknar med att genomföra sådana kostnads-nyttoanalyser framöver (Frykblom och Helgesson 2002), jfr även Naturvårdsverket (2004).

En annan aspekt som berör användardimensionen är vem som ska bedöma kvaliteten hos en värderingsstudie. När vi diskuterar tänkbara kvalitetskriterier i den här rapporten utgår vi från att användaren av verktyget har grundläggande kunskaper i ekonomisk värdering inklusive statistik/ekonometri, men däremot inte besitter några expertkunskaper. Denna utgångspunkt innebär att vi så långt det är möjligt vill undvika att användaren tvingas göra subjektiva bedömningar av kvaliteten. Målet är i stället att presentera kvalitetskriterier som utgår från objektivt observerbara egenskaper hos värderingsstudierna.

Tabell 1. Viktiga användningsområden för värderingsstudier.

Område Kommentar utifrån ett brittiskt perspektiv

Kostnads-nyttoanalys av projekt och program. Kostnads-nyttoanalys utvecklades ursprungligen för det här området. Vanligen rör det sig om offentliga projekt vars syfte är att tillhandahålla varor av kollektiv natur. Kostnads-nyttoanalys av politiska beslut, inklusive

regleringar.

I Storbritannien krävs konsekvensbeskrivningar för alla regleringar. I USA är sådana konsekvensbeskrivningar ett traditionellt användningsområde.

Illustration av betydelsen av någon fråga. Används vanligen för att skatta den ekonomiska skadan av någon aktivitet, t.ex. utsläpp eller buller.

Att göra prioriteringar inom en plan för en sektor. Används för att prioritera väginvesteringar. Att göra prioriteringar mellan sektorer. Sällsynt.

Bestämma nivån för en miljöskatt eller –avgift. Erfarenheter i Storbritannien gäller exempelvis en depo-niskatt och en potentiell bekämpningsmedelsskatt. Gröna nationalräkenskaper. Endast liten användning i Storbritannien.

Grön företagsbokföring. Några få studier finns, men ännu färre är offentliga. Fastställande av skadestånd. Används inte i Storbritannien, men är en vanlig

tillämp-ning i USA.

Skattning av diskonteringsräntor. Har använts i hälsoekonomisk litteratur för att härleda diskonteringsräntor i utvecklingsländer.

Källa: Bateman et al. (2002).

2.2

Den naturvetenskapliga–medicinska dimensionen

Är den värderarde miljöförändringen realistisk och relevant?

Uppfattas miljöförändringen på ett objektivt sätt?

Värderingsstudien måste vila på en god naturvetenskaplig/medicinsk grund. Miljöeffekter som värderas ska kunna kopplas till underliggande miljöproblem och till åtgärder. Om syftet exempelvis är att använda en värderingsstudies re-sultat i en kostnads-nyttoanalys av åtgärder mot eutrofiering måste problemfor-muleringen vara korrekt och värderingen gälla sådana effekter som åtgärder mot eutrofiering faktiskt har möjlighet att åstadkomma.

En annan fråga som är viktig i den naturvetenskapliga/medicinska dimensio-nen är att ekonomisk värdering utgår från individers subjektiva upplevelser av en miljöförändring. Betalningsviljan är preferensberoende och därför subjektiv. Men den subjektiva upplevelsen av miljöförändringen kan vara svår att översätta till ett objektivt, naturvetenskapligt mått - detta är viktigt att vara uppmärksam på.

Ett typiskt exempel gäller hur människor uppfattar hälsorisker. Skyddsutgiftsme-toden (se appendix A för metodbeskrivning) kan ge information om vilken be-talningsvilja individer har för åtgärder som minskar deras hälsorisker. Men den hälsoriskminskning som de upplever kan skilja sig åt från den faktiska/objektiva hälsoriskminskningen. Hur eventuella skillnader mellan subjektiva och objektiva riskminskningar behandlas kan ha stor betydelse för utfallet av en kostnads-nyt-toanalys. Problem med att hantera skillnaden mellan individers preferenser och naturvetenskapliga fakta finns också inom scenariometoder (se appendix A för metodbeskrivning) där svårigheten ligger i att samla in data enbart om värde-ringar för just de miljöeffekter som inkluderas i scenariot. Individer kan ha (mer eller mindre välgrundade) uppfattningar om ytterligare effekter som enligt dem skulle uppstå om scenariot blev verklighet, och det kan vara en svår uppgift att rensa bort dessa effekters inverkan på värderingen.

2.3

Den ekonomiska dimensionen

Mäter studien vad den avser att mäta?

För att en värderingsstudie ska vara av god kvalitet måste det stå klart vad den avser att mäta. Ekonomisk teori ger ett fundament för många värderingsmetoder (se appendix A), och rätt utformade ger dessa metoder information om ekono-miska värden av avvägningar som individer/företag är beredda att göra för mil-jöns skull. Metoderna mäter således förändringar i välbefinnande med mått som kan motiveras av välfärdsteori, närmare bestämt förändringen i (det marshallian-ska) konsumentöverskottet, kompenserande variation eller ekvivalent variation när det gäller individer, och förändringen i producentöverskottet när det gäller företag. De metoder som nämns i avsnitt A.3 i appendix A kan dock inte lika tydligt motiveras utifrån ekonomisk teori.

Vilket välfärdsmått som bör skattas när det gäller förändringar i individers välbefinnande är inte självklart. Förändringen i det marshallianska konsument-överskottet har teoretiska svagheter som välfärdsmått. Svagheterna behöver dock inte nödvändigtvis ha stor praktisk betydelse (Willig 1976), och det är enkelt att konstatera att förändringar i det marshallianska konsumentöverskottet används flitigt i praktiken i värderingsstudier där skattningar av marshallianska efter- frågefunktioner är möjliga att göra. Framför allt när scenariometoder används finns möjlighet att utforma studien så att den samlar in information om kompen-serande variation eller ekvivalent variation. Det beror då på miljöförändringens karaktär om kompenserande variation respektive ekvivalent variation mäts genom en fråga om betalningsvilja (willingness to pay, WTP) eller genom en fråga om kompensationkrav (willingness to accept compensation, WTA), se tabell 2. Relevansen av att mäta kompenserande variation eller ekvivalent varia-tion avgörs i sin tur bland annat av hur uppfattningar kring äganderätten (eller den moraliska rätten) till miljöförändringen ser ut bland respondenterna, se tabell 3.

Tabell 2. Förhållandet mellan kompenserande variation och ekvivalent variation å ena sidan och betalningsviljefrågor och frågor om kompensationskrav å andra sidan.

Välfärdsmått Miljöförbättring Miljöförsämring

Kompenserande variation WTP för att förbättringen ska bli verklighet

WTA för att acceptera miljöförsämringen Ekvivalent variation WTA för att avstå från miljöförbättringen WTP för att förhindra miljöförsämringen

Källa: Se t.ex. Freeman (2003).

Tabell 3. Tolkning av kompenserande variation och ekvivalent variation i rättighetstermer.

Välfärdsmått Miljöförbättring Miljöförsämring

Kompenserande variation Individen har ingen rätt till förbättringen (och måste därför betala för att erhålla den)

Individen har rätt till det initiala tillståndet (och måste därför bli

kompenserad för försämringen) Ekvivalent variation Individen har rätt till förbättringen (och

måste därför bli kompenserad för att avstå från den)

Individen har en skyldighet att acceptera försämringen (och måste därför betala för att förhindra den)

Källa: Se t.ex. Freeman (2003).

Är gjorda antaganden rimliga?

Somliga värderingsmetoder skattar ekonomiska värden givet starka restriktioner, och dessa restriktioner är inte alltid rimliga. Exempelvis vilar resekostnadsme-toden och fastighetsvärdemeresekostnadsme-toden på antagandet att en miljöförändring endast påverkar individers välbefinnande om de använder sig av miljöresursen ifråga (s.k. svag komplementaritet, se t.ex. Freeman 2003). Till exempel har de rese-kostnadsstudier som gjorts för miljöförbättringar i Stockholms skärgård skattat det ekonomiska värdet av förbättringarna enbart för de individer som besöker skärgården. Men även människor som (åtminstone för tillfället) inte besöker skärgården kan bry sig om förbättringar i skärgårdsmiljön. Deras betalningsvilja fångas dock inte in av resekostnadsstudierna.

I ekonomisk teori brukar det totala ekonomiska värdet av en miljöförbättring delas in i två komponenter, dels användarvärdet och dels icke-användarvärdet. En metod som baserar sig på ett antagande om svag komplementaritet skattar enbart de värden som användare ger uttryck för. För att skatta icke-användares värden är det nödvändigt att använda någon scenariometod. Om det finns skäl att tro att icke-användarnas värden är stora kan det således vara rimligt att göra värderingsstudien med hjälp av någon scenariometod.

2.4

Den statistiska dimensionen

Har datainsamling, val av statistisk metod och aggregering till populationsnivå gjorts på ett tillförlitligt sätt?

Vetenskapen statistik berör vanligen värderingsstudier på åtminstone tre sätt: 1. Vid upplägget och genomförandet av datainsamlingen, i synnerhet om

pri-märdata ska insamlas. Notera att här kan fler överväganden än rent statis-tiska bli aktuella, t.ex. resultat från psykologi när det gäller formuleringen av frågor i en intervju- eller enkätundersökning.

2. Vid val av metod för statistisk/ekonometrisk analys av insamlade data och genomförande av analysen. Valet av analysmetod kan ha stort inflytande på värderingsstudiernas resultat.

3. Vid aggregering av skattningar till populationsnivå, en procedur som för övrigt har starkt samband med hur datainsamlingen lades upp.

Vad som kan ingå i den statistiska dimensionen illustreras av de riktlinjer för kvalitetsdeklaration som har fastställts för Sveriges officiella statistik (SCB 2001a). En sådan deklaration ska, förutom information om undersökningens syfte, förutsättningar och beställare, innehålla information om statistikens inne-håll, tillförlitlighet, aktualitet, jämförbarhet, samanvändbarhet, tillgänglighet och förståelighet. Detta sammanfattas i tabell 4. Hur en kvalitetsdeklaration kan se ut i praktiken för svensk officiell statistik redovisas i SCB (2001a). I SCB (2001b) relateras riktlinjerna till hur välfungerande ett frågeformulär har varit.

Tabell 4. SCB:s mall för kvalitetsdeklaration för en statistisk undersökning.

Huvudkomponent A: Statistikens innehåll. Här ges framför allt information om vilka defini-tioner som har använts i undersökningen. Exempelvis ska definidefini-tioner ges av målpopu-lationens objekt och avgränsning samt statistikens variabler. Vidare ska statistiska mått specificeras, liksom de variabler som har använts vid indelning i redovisningsgrupper för statistiken.

Huvudkomponent B: Statistikens tillförlitlighet. Här ges dels information om statistikens osäkerhet, inklusive beskrivning av osäkerhetskällor, dels förekomst av osäkerhetsmått och deras innebörd. Informationen ska syfta till att hjälpa en användare att kunna ta ställning till om statistiken är tillräckligt tillförlitlig för användningssyftet, och att kunna använda statistiken på ett riktigt sätt.

1. Tillförlitlighet totalt.

Osäkerheten anges idealt med osäkerhetsintervall, antingen som konfidensintervall eller som bedömningsintervall, där de senare är baserade på tidigare utvärderingar, ämnesförståelse, undersökningserfarenhet, m.m. I fall då statistikens tillförlitlighet inte kan beskrivas i termer av osäkerhetsintervall ska information ges om arten av och styrkan i källor till osäkerhet, och deras tänkbara kvantitativa konsekvenser för statistiken.

2. Osäkerhetskällor.

2.1 Urval. Om statistiken kommer från en urvalsundersökning ska det använda ur-vals- och skattningsförfarandet beskrivas. När ett sannolikhetsurval använts kan osäkerhet som beror på inskränkningen till ett urval vanligen anges med hjälp av konfidensintervall. Beskriv hur osäkerhetsmåtten har beräknats och hur de ska tolkas. Om ett icke-sannolikhetsurval använts, informera om detta och diskutera urvalets representativitet.

2.2 Ramtäckning. Beskriv brister i fråga om rampopulationens täckning av målpopula-tionen och de bedömda konsekvenserna för statistikens tillförlitlighet. Beskriv even-tuella justeringar för ramtäckningsbrister.

2.3 Mätning. Beskriv det använda mätförfarandet. Redovisa eventuella frågeformulär i sin helhet eller i lämpligt sammanhang. Redovisa mätsvårigheter som uppträtt vid insamlingen av uppgifter och deras troliga konsekvenser för statistikens tillförlitlig-het. Om redovisade konfidensintervall fångar upp också osäkerhet från slumpmäs-siga mätfel, ska detta beskrivas. Eventuella justeringar för systematiska mätfel ska beskrivas.

2.4 Svarsbortfall. Ange kvantitativa och kvalitativa aspekter på bortfallet: bortfallsan-del, uppdelning i ”avböjd medverkan” respektive ”ej anträffad”, kända eller förmo-dade bortfallsmönster, åtgärder för att minska bortfallet, m.m. Redovisa bortfallets bedömda konsekvenser för statistikens tillförlitlighet. Beskriv metoder för bortfalls-kompensation i skattningsförfarandet.

2.5 Bearbetning. Redovisa orsaker till osäkerhet som emanerar från dataregistrering, kodning och granskning/rättning och de numeriska beräkningarna. Ange de be-dömda konsekvenserna av eventuella kvarstående fel.

2.6 Modellantaganden. Här redovisas osäkerhet som härrör från andra modellantagan-den än de som hör ihop med ovanstående punkter. Redovisa tänkbara orsaker till, och bedömda konsekvenser av, att modellantaganden inte är helt uppfyllda.

Huvudkomponent C: Statistikens aktualitet. Här ges information som hjälper användare att bedöma hur väl statistiken beskriver nuläget, t.ex. när datainsamling för statistiken skedde.

Huvudkomponent D: Jämförbarhet och samanvändbarhet. Här redovisas faktorer som är av vikt för statistikens jämförbarhet över tiden och mellan grupper, samt om det finns annan statistik som är naturlig att använda tillsammans med den statistik som rappor-teras.

Huvudkomponent E: Tillgänglighet och förståelighet. Här informeras exempelvis om hur eventuell ytterligare dokumentation kan erhållas och om användare kan få tillgång till primärdata.

Källa: SCB (2001a).

Statistikens tillförlitlighet är en central kvalitetsegenskap som beror på i vilken grad betydelsen av olika felkällor kan minimeras. För surveyundersökningar kan felkällorna delas in i fel som har att göra med att ett urval studeras i stället för en hel population (urvalsfel, sampling error) och andra fel (icke-urvalsfel,

nonsamp-ling error), som kan uppstå på grund av datainsamnonsamp-lingen och bearbetningen av

data. Urvalsfel kan sägas vara ett avsiktligt fel eftersom själva grundtanken med surveyundersökningar är att med hjälp av ett sannolikhetsurval kunna dra slut-satser om populationen. Vidare kan urvalsfelets konsekvenser åtminstone i prin-cip beskrivas noggrant med hjälp av konfidensintervall för skattade parametrar. En noggrann teori finns tillgänglig som säger hur detta beräknas för olika typer av sannolikhetsurval, t.ex. obundet slumpmässigt urval (simple random

samp-ling), stratifierade urval (stratified sampsamp-ling), flerstegsurval (multistage sampling)

och gruppurval (cluster sampling), se t.ex. Cochran (1977). Situationen är mer oklar om ett sannolikhetsurval inte har använts, t.ex. ett kvoturval eller olika former av bekvämlighetsurval där respondenter väljs ut utifrån lättåtkomlighet. Sannolikhetsurval är att föredra så fort representativitet för en population är önskvärd och surveyundersökningar förutsätts för övrigt använda sig av san-nolikhetsurval (Dalenius 1985, se även avsnitt 3). Icke-sansan-nolikhetsurval kan dock vara befogade i speciella situationer, t.ex. då representativitet bedöms vara mindre viktigt än att ha kontroll över vilka som blir föremål för undersökningen.

I surveyundersökningar är icke-urvalsfel betydligt mindre förutsägbara än urvalsfel. Deras konsekvenser för de skattade värdenas tillförlitlighet kan vara svåra att fastställa, men i många fall har icke-urvalsfel troligen en större negativ inverkan på tillförlitligheten än vad urvalsfelen har (Biemer och Lyberg 2003). Tabell 5 redovisar fem vanliga källor till icke-urvalsfel.

Modellfel är ytterligare en viktig källa till icke-urvalsfel. Då har valet av sta-tistisk modell varit olämpligt i förhållande till vad som ska skattas. Ett allvarligt modellfel kan exempelvis uppstå om en linjär regression används för att skatta sambandet mellan två variabler trots att data tyder på att sambandet är kraftigt icke-linjärt.

Tabell 5. Fem viktiga källor till icke-urvalsfel.

1. Specifikationsfel: när det finns en skillnad mellan det som mäts av den fråga som ställs i undersökningen och det som undersökningen avser att mäta.

2. Ramfel: när objekt i populationen utesluts eller mångfaldigas, eller när objekt inkluderas felaktigt.

3. Bortfallsfel: vid objektbortfall, partiellt bortfall eller när svar på öppna frågor är ofull-ständiga.

4. Mätfel: när respondenter avsiktligt eller oavsiktligt ger felaktig information, intervjuare misslyckas att följa sina instruktioner, eller frågeformulär ger felaktig information på grund av undermålig utformning.

5. Bearbetningsfel: när fel uppstår vid bearbetning eller registrering av data, eller när det uppstår misstag i analys av data på grund av mjukvarufel eller den mänskliga faktorn.

Källa: Biemer och Lyberg (2003).

Om en källa till icke-urvalsfel misstänks föreligga är det viktigt att undersöka om den orsakar ett slumpmässigt fel (variable error) eller ett systematiskt fel

(syste-matic error), eller bägge typerna av fel. Slumpmässiga fel ökar visserligen

skatt-ningarnas varians, men neutraliserar varandra och åstadkommer därför ingen bias i linjära estimat som t.ex. skattade populationsmedelvärden, populationsto-talvärden och populationsproportioner. På så sätt påverkar slumpmässiga fel och urvalsfel linjära estimat på liknande sätt. Systematiska fel leder däremot till bias i linjära estimat. För icke-linjära estimat kan däremot både slumpmässiga fel och systematiska fel leda till bias.

Det finns en rad metoder som kan användas innan eller under genomförandet av undersökningen för att minska förekomsten av icke-urvalsfel. Dessutom finns möjligheter att efter undersökningens genomförande göra analyser i syfte att konstatera icke-urvalsfel och om möjligt reducera deras inverkan på resultaten. Tabell 6 redovisar några viktiga sådana metoder och analyser.

Tabell 6. Metoder och tekniker för att minska förekomsten av vissa icke-urvalsfel.

Steg i surveyundersökningen Utvärderingsmetod Syfte

Utformning Expertgranskning av frågeformulär.

Utbildning av intervjuare.

Identifiera problem med frågefor-mulärets utformning, frågeformule-ringar, frågeföljd och instruktioner till respondenterna.

Öka chansen att intervjuarna gör ett bra arbete.

Utformning/pilotstudier Kognitiva metoder, t.ex. observation av beteenden och kognitiva inter-vjuer.

Utvärdera en eller flera steg i svars-processen.

Pilotstudier/huvudstudie/efter data-insamlingen

Uppföljningar såsom gruppdiskussio-ner med intervjuare eller fokusgrup-per med respondenter.

Utvärdera frågeformuläret och data-insamlingsförfarandet.

Pilotstudier/huvudstudie Observationer, t.ex. genom fysisk närvaro av handledare eller genom telefonavlyssning och bandinspel-ningar.

Utvärdera intervjuarnas sätt att arbeta.

Identifiera problem med frågeformu-läret.

Efter datainsamlingen Analyser såsom inbäddade experi-ment (t.ex. variationer i frågeformu-leringar), test av intern och extern validitet.

Uppföljande datainsamling, t.ex. upp-repning av intervjuer och bortfallsun-dersökningar.

Jämföra olika datainsamlingsmeto-der.

Skatta en eller flera komponenter av medelvärdet av kvadrerade avvikel-ser (mean squared error).

Validera skattningar.

2.5

Dimensionernas kopplingar till varandra

Diskussionen om de ovanstående fyra dimensionerna är ett försök att betrakta värderingsstudier utifrån egenskaper som allmänt har med studiernas kvalitet att göra. Dimensionerna är dock inte frikopplade från varandra, vilket illustreras av de exempel på kopplingar som ges i tabell 7.

Tabell 7. Kvalitetsdimensionernas ömsesidiga kopplingar.

Användning Naturvetenskap Ekonomisk teori

Naturvetenskap Finns så god naturveten-skaplig kunskap att nytta och kostnader kan kopplas ihop?

Ekonomisk teori Definitionen av totala och marginella värden. Hur kan värdena aggregeras?

Finns stora konflikter mellan naturvetenskaplig kunskap och individers preferenser?

Statistik Osäkerheten i

värderings-resultat. Kvalitet på miljöeffekts-data. Insamling av ekonomiska data. Skattning av välfärds-mått.

3. Ett verktyg för kvalitetsbedömning

Om verktyget…

Faktorer som har betydelse för kvalitet

Syftet med detta kapitel är att ge ett praktiskt användbart verktyg för att bedöma värderingsstudiers kvalitet. Verktyget har lagts upp så att ett antal faktorer som har betydelse för kvalitet identifieras för:

a) värderingsstudier i allmänhet oavsett vilken värderingsmetod som har använts (avsnitt 3.1)

b) var och en av de värderingsmetoder som finns att tillgå (avsnitt 3.2-3.9)

Kvaliteten hos en viss värderingsstudie bedöms alltså dels genom kvalitetsfak-torerna i (a) och dels genom de kvalitetsfaktorer som enligt (b) är relevanta för den/de värderingsmetod(er) som värderingsstudien använde sig av. Underlag som redovisas i appendix B1, särskilt USEPA (2000), har använts som hjälpmedel för att identifiera kvalitetsfaktorerna. I avsnitt 3.10 finns utrymme för användaren att ge en helhetsbedömning av värderingsstudiens kvalitet.

Kontrollfrågor kopplade till varje kvalitetsfaktor

Varje kvalitetsfaktor är föremål för en kort beskrivning och diskussion. Även om kvalitetsfaktorer kan identifieras är det många gånger svårt att praktiskt om-sätta hur de kopplar till kvalitet. Vi gör detta genom att utifrån nämnda beskriv-ning och diskussion ställa en eller flera kontrollfrågor som i de allra flesta fall ska kunna besvaras genom att studera objektivt observerbara egenskaper hos värde-ringsstudierna. Kontrollfrågorna finns i en tabell som i vissa fall även är hop-kopplad med en sammanfattande motivering till varför frågorna ställs. De flesta kontrollfrågorna kan besvaras med ”ja”, ”nej” eller ”vet ej”, och de har formu-lerats så att ”ja”-svar är en indikator på god kvalitet. Andra kontrollfrågor gäller istället en faktaupplysning om värderingsstudien med koppling till dess kvalitet, exempelvis bortfallets storlek. Det är då meningen att kontrollfrågan ska be-svaras genom att text fylls i kolumnen ”kommentar”. Ur kvalitetssynpunkt kan sådana faktaupplysningar vara relevanta bland annat när olika värderingsstudier ska jämföras, exempelvis vid en bedömning av vilken värderingsstudie som ska användas för överföring av värderingsresultat till andra situationer (s.k. benefit

transfer). Observera att vissa kontrollfrågor inte är relevanta för vissa studier,

och i ”kommentar”-fältet bör då fyllas i ”ej relevant”. Exempelvis är frågor om hur budvektorn i en scenariovärderingsstudie fungerade irrelevanta om studien använde sig av öppna betalningsviljefrågor.

För tydlighetens skull är kontrollfrågorna löpnumrerade. Observera dock att detta inte innebär att alla frågor ska besvaras för en viss studie. I avsnitten 3.2-3.9 är frågorna anpassade efter den värderingsmetod som har använts. I normal-fallet har endast en värderingsmetod använts, och då ska alltså bara frågorna i det avsnitt som behandlar denna metod besvaras. Ibland förekommer studier som har använt mer än en värderingsmetod, och då blir givetvis frågor i fler avsnitt aktuella.

Du som använder verktyget kan ladda ner en elektronisk svarsblankett för frågorna i avsnitt 3.1-3.10 från www.naturvardsverket.se/bokhandeln/ dse/620-1247-9. Detta ger dig möjlighet att skriva en valfri mängd text.

Att tänka på…

Kompletterande kommentarer

Även om svaren på kontrollfrågorna bör ge en bild av värderingsstudiens kvalitet är det viktigt att du som användare även tar hänsyn till de svårigheter med att bedöma kvalitet som framgår av beskrivningen och diskussionen av kvalitetsfak-torerna. Vidare är ett ”nej” eller ”vet ej” inte nödvändigtvis ett tecken på dålig kvalitet utan kan bero på omständigheterna. Därför ges du i slutet av vart och ett av avsnitten 3.1-3.9 möjlighet att ge kommentarer som kompletterar svaren på kontrollfrågorna. Då kan exempelvis kommenteras om ett ”nej” innebär en allvarlig brist hos värderingsstudien eller inte.

Verktyget ger dig vägledning, inte ett enkelt svar!

Att bedöma kvalitet är komplicerat, och somliga frågor är därför svårbesvara-de. Det bör därför påpekas att det centrala inte alltid är att kunna ge ett entydigt svar; frågorna kan ses som vägledning kring vilka faktorer användaren av verkty-get bör tänka på eller söka mer information om för att få en uppfattning om stu-diens kvalitet. På så sätt är frågorna ”mjukare” än vad de ibland kan verka vara. En annan anledning till att en fråga kan vara svårbesvarad är att värderings-studier ibland inte innehåller någon information som har med frågan att göra. Detta är ett vanligt problem när studier publiceras som tidskriftsartiklar. Sådana artiklar kan av utrymmesskäl vara så korta att enbart huvudresultaten redovisas. För att göra en rättvis kvalitetsbedömning kan det i sådana fall vara nödvändigt att samla in ytterligare information om studien. Ofta finns hänvisningar i artiklar till en eller flera rapporter i vilka fler detaljer om studien redovisas.

Användbarhet är något relativt

En av svårigheterna med att bedöma kvalitet beror också på att den är mång-dimensionell och att dimensionerna ofta är sammanflätade. I kapitel 2 identifie-rades fyra olika kvalitetsdimensioner. De flesta av de kontrollfrågor som ställs i verktyget har att göra med om värderingsstudien är bra genomförd utifrån ett statistiskt, ekonomisk-teoretiskt eller naturvetenskapligt-medicinskt perspektiv. I vissa fall gäller dock kontrollfrågorna snarare användbarheten hos värderings-studiens resultat. Det är då viktigt att komma ihåg att användbarhet är en relativ kvalitet eftersom den beror på vad resultaten ska användas till. En begränsad användbarhet är bara ett problem för den som därför inte kan utnyttja studiens resultat.

3.1

Kvalitetsfaktorer för alla värderingsstudier

oavsett värderingsmetod

Följande kvalitetsfaktorer har identifierats för alla värderingsstudier, och en de-taljerad genomgång av dem följer nedan:

3.1.1 Tidigare granskning 3.1.2 Beställare/finansiär 3.1.3 Värderingsmetod

3.1.4 Känslighetsanalyser av resultat från statistiska/ekonometriska analyser 3.1.5 Diskontering av framtida värden?

3.1.6 Primärdata eller sekundärdata? 3.1.7 Datainsamling

3.1.7.1 Surveyundersökning, population och stickprov 3.1.7.2 Upplägget av datainsamlingsarbetet

3.1.7.3 Datainsamlingsmetod 3.1.7.4 Bortfall

3.1.7.5 Redovisning av surveyinstrumentet 3.1.8 Tillgång till data

3.1.9 Validitetstest

3.1.10 Naturvetenskaplig/medicinsk förankring

3.1.1 TIDIGARE GRANSKNING

Studien kan ha passerat ett eller flera granskningsfilter, och detta avspeglar rimligen dess kvalitet. Studier som är publicerade i vetenskapliga tidskrifter har i normalfallet klarat sig igenom en vetenskaplig kvalitetsgranskning, vilket är en viktig egenskap. Sådana studier kan dock ha svag användbarhet i policysamman-hang. I vetenskapliga tidskrifter publiceras exempelvis ofta artiklar som har med metodtest och metodutveckling att göra. De värden som sådana studier skattade är inte nödvändigtvis lämpade att aggregera till populationsnivå, kanske därför att ett icke-sannolikhetsurval av respondenter användes för studien. Å andra sidan finns det studier som exempelvis på grund av svagt vetenskapligt nyhets-värde inte blir publicerade i någon vetenskaplig tidskrift, men som ändå är goda tillämpningar av någon värderingsmetod. Det är därför viktigt att kunna skilja ut vilka icke vetenskapligt publicerade studier som har varit föremål för någon annan slags extern granskning/bedömning. Ej publicerade delar av doktorsav-handlingar är det främsta exemplet på sådana studier. Andra exempel kan vara licentiatavhandlingar, examensarbeten på magister/Master-nivå och myndighets-rapporter för vilka en extern referensgrupp har varit aktiv.

Att studien har genomgått tidigare granskning bör ha påverkat kvaliteten positivt. Granskningen kan dock vara mer eller mindre djupgående beroende på typen av studie.

Kontrollfrågor Ja/nej/vet ej Kommentar

1. Har studien varit föremål för extern bedömning/granskning? 1a. Om ”ja”, på vilket sätt?

3.1.2 BESTÄLLARE/FINANSIÄR

Resultaten från en värderingsstudie kan användas för att påverka förverkligandet (eller förhindrandet) av projekt. Det kan därför inte uteslutas att en värderings-studie kan ha lagts upp på ett tendentiöst sätt. Vem som är utförare respektive beställare/finansiär av studien bör därför vara en viktig faktaupplysning som kan vara till hjälp för att bedöma om utföraren eller beställaren/finansiären har haft något eget intresse av studiens utfall eller inte.

Finns risk för snedvridningar på grund av vem som utförde och/eller finansierade studien?

Kontrollfrågor Ja/nej/vet ej Kommentar

2. Vem var studiens utförare? 3. Vem var studiens beställare/

finansiär?

3.1.3 VÄRDERINGSMETOD

Det finns ett flertal metoder tillgängliga för ekonomisk värdering av miljöföränd-ringar, se appendix A. Vissa av dessa syftar till mätning av förändringar av kon-sumentöverskott och/eller producentöverskott och kan därför motiveras utifrån välfärdsteoretiska utgångspunkter. Till denna grupp av metoder hör:

• Produktionsfunktionsmetoden (the production function method, PF) • Resekostnadsmetoden (the travel cost method, TCM)

• Fastighetsvärdemetoden (the hedonic price method, HP) • Skyddsutgiftsmetoden (the defensive expenditure method, DE) • Scenariovärderingsmetoden (the contingent valuation method, CVM) • Choice experiments

Särskilda kvalitetsfaktorer för dessa metoder identifieras i avsnitt 3.2-3.6. Andra värderingsmetoder är inte lika fast rotade i välfärdsteori. Även om detta inte hindrar att de resulterar i användbar information är detta en svaghet, efter-som en vagare teoretisk bas försvårar tolkningen av värderingsresultaten. Till denna grupp av metoder hör:

• Ersättningskostnadsmetoden (the replacement cost method, RCM) • Humankapitalmetoden (the human capital method, HCM)

• Kostnaden för att verkställa politiska beslut (political WTP, pWTP) Särskilda kvalitetsfaktorer för dessa metoder identifieras i avsnitt 3.7-3.9. Vanligen använder sig en enskild värderingsstudie av en av dessa metoder. Det förekommer dock att två eller flera metoder används inom ramen för samma stu-die, t.ex. att resekostnadsmetoden kombineras med scenariovärderingsmetoden. Värderingsmetoder som är rotade i välfärdsteori har en tydlig teoretisk bas, vilket underlättar tolkningen

av metodernas resultat.

Kontrollfrågor Ja/nej/vet ej Kommentar

4. Vilken/vilka

värderingsmetod(er) användes? 5. Användes en värderingsmetod

som är rotad i välfärdsteori?

3.1.4 KÄNSLIGHETSANALYSER AV RESULTAT FRÅN STATISTISKA/ EKONOMETRISKA ANALYSER

Ett av de stora problemen med att tolka resultat från värderingsstudier är att valet av statistisk/ekonometrisk metod för att analysera data kan ha mycket stor inver-kan på skattningarnas storlek och osäkerhet. En studie av god kvalitet förväntas redovisa den statistiska osäkerheten i form av exempelvis konfidensintervall eller standardavvikelser, men beroendet mellan vald analysmetod och osäkerhetens storlek innebär att denna information inte är tillräcklig för att osäkerheten ska kunna bedömas. Vidare krävs i allmänhet djupa ekonomiska och statistiska/eko-nometriska kunskaper för att bedöma om valet av analysmetod var rimligt med tanke på exempelvis strukturen på insamlade data. Svårigheten att bedöma rimlig-heten i metodval och att veta metodvalets konsekvenser för skattningarnas storlek och osäkerhet gör det önskvärt att studien innefattar olika känslighetsanalyser. Särskilt värdefulla är känslighetsanalyser som indikerar vad som kan vara en rimlig undre respektive övre gräns för skattningarna. Information om den nedre respektive övre gränsen kan nämligen vara tillräckliga för att dra slutsatser i en kostnads-nyttoanalys om kostnaderna för projektet ifråga är lägre än den nedre gränsen eller högre än den övre gränsen. En sådan känslighetsanalys kan exem-pelvis studera konsekvenserna av att använda alternativa (men rimliga) analysme-toder och att använda alternativa (men rimliga) antaganden inom ramen för en given metod, t.ex. rörande val av sannolikhetsfördelning. För att bedöma vad som är rimliga alternativ krävs i allmänhet återigen avsevärda ekonomiska och statis-tiska/ekonometriska kunskaper, och vid en enkel kvalitetsgranskning får det tas för givet att studiens författare har gjort en god rimlighetsbedömning.

Det finns ofta stora osäkerheter förknippade med skattningar av ekonomiska värden. Ett grundläggande sätt att redovisa osäkerheter är med hjälp av statistiska mått som konfidensintervall och standardavvikelser, och det är viktigt att få en känsla för hur stora dessa osäkerheter är. Är exempelvis det skattade värdet signifikant skilt från noll? Men det finns andra typer av osäkerheter som inte täcks in av sådana mått, exempelvis valet av analysmetod. Därför är det önskvärt även med en bredare känslighetsanalys som ger en känsla för hur höga respektive låga de ekonomiska värdena rimligen kan vara.

Kontrollfrågor Ja/nej/vet ej Kommentar

6. Redovisades den statistiska osäkerheten för de skattade ekonomiska värdena, t.ex. i form av konfidensintervall eller standardavvikelser?

6a. Om ”ja”, ange de skattade ekonomiska värdena och deras respektive osäkerhet.

7. Fanns en känslighetsanalys som indikerar den nedre rim-liga gränsen för de skattade ekonomiska värdena? 7a. Om ”ja”, ange den nedre

rim-liga gränsen.

7b. Om ”ja”, för vilka faktorer gällde känslighetsanalysen? 8. Fanns en känslighetsanalys

som indikerar den övre rimliga gränsen för de skattade ekono-miska värdena?

8a. Om ”ja”, ange den övre rimliga gränsen.

8b. Om ”ja”, för vilka faktorer gällde känslighetsanalysen?

3.1.5 DISKONTERING AV FRAMTIDA VÄRDEN?

Det är inte ovanligt att en värderingsstudie skattar ekonomiska värden som inträffar i framtiden. Ett exempel kan vara en vattenkvalitetsförbättring som ger positiva effekter för lantbrukares ekonomi. Effekterna av kvalitetsförbättringen kan dröja så att lantbrukarnas producentöverskott påverkas av förbättringen först om ett antal år. Det kan också vara så att kvalitetsförbättringen innebär att

producentöverskottet blir större under en följd av år. När tid kommer in i bilden på det här sättet uppstår ett behov av att uttrycka framtida värden i dagens pen-ningvärde. Detta sker vanligen genom att beräkna ett nuvärde med hjälp av ett diskonteringsförfarande. Diskonteringsräntans storlek spelar då roll för hur stort detta nuvärde blir. Det är därför viktigt att det framgår av värderingsstudien hur nuvärdesberäkningen har skett och hur valet av diskonteringsränta motiverades. I debatten kring diskontering finns dels förespråkare av att diskonteringsräntan bör väljas utifrån kapitalmarknadsaktörers faktiska beteende och dels föresprå-kare av att diskonteringsräntan bör väljas utifrån etiska överväganden, se t.ex. Arrow et al. (1996) och Söderqvist et al. (2004). Förekomsten av olika åsikter indikerar att valet av diskonteringsränta inte bör ske slentrianmässigt.

Kontrollfrågor Ja/nej/vet ej Kommentar

9. Om värderingsstudien skat-tade ekonomiska värden som inträffar i framtiden, framgick det hur dessa omvandlades till nuvärden?

9a. Om ”ja”, hur motiverades den valda diskonteringsräntan? 9b. Om ”ja”, hur hög var den

dis-konteringsränta som använ-des?

3.1.6 PRIMÄRDATA ELLER SEKUNDÄRDATA?

Data av god kvalitet är av avgörande betydelse för resultatens tillförlitlighet. Data kan antingen vara primärdata, och har då samlats in just för att användas för värderingsstudien ifråga, eller sekundärdata, dvs data som har samlats in tidigare inom ramen för något annat sammanhang.

Hur hantera sekundärdata?

Kvalitetsfaktorerna som tas upp i avsnitt 3.1.7 har att göra med insamlingen och bearbetning av primärdata. En studie som har använt sig av sekundärdata innehåller troligen inte tillräckligt med information om den ursprungliga data-insamlingen för att kontrollfrågorna i avsnitt 3.1.7 ska kunna besvaras. Men en studie som använder sekundärdata bör ändå innehålla en utvärdering av hur data en gång i tiden samlades in. En sådan utvärdering bör beakta det som tas upp i avsnitt 3.1.7. Även om kontrollfrågorna inte kan besvaras för en sekun-därdatastudie kan alltså texten och kontrollfrågorna i avsnitt 3.1.7 vara till hjälp för att bedöma den utvärdering som en sekundärdatastudie bör göra av den ursprungliga datainsamlingen.

En potentiell svaghet med sekundärdata är att det inte var ett huvudsyfte för den ursprungliga datainsamlingen att samla in just de data som användes

i värderingsstudien. I så fall finns det en risk att den ursprungliga datainsamling-en ägnade relativt litdatainsamling-en kraft på att säkerställa kvalitetdatainsamling-en på dessa data. Vidare är det ofta en avvägningsfråga hur lämpliga sekundärdata är att använda i en ny studie. Den ursprungliga datainsamlingen kanske har gällt en annan popula-tion (t.ex. USA:s befolkning), men insamlade data har bedömts vara tillräckligt relevanta för den population som värderingsstudien gäller (t.ex. Sveriges befolk-ning), eventuellt efter justering för kända olikheter mellan populationerna. Data som har samlats in specifikt för värderingsstudien (primärdata) är sannolikt mer passande för studiens syften. Om sekundärdata har använts bör den ursprungliga datainsamlingen ha utvärderats.

Kontrollfrågor Ja/nej/vet ej Kommentar

10. Användes primärdata? 11. Om sekundärdata användes,

har kvaliteten hos den ur-sprungliga insamlingen av data utvärderats?

11a. Om ”ja”, vad blev resultatet av denna utvärdering?

12. Om sekundärdata användes, var det ett huvudsyfte för den ursprungliga datainsamlingen att samla in de data som an-vändes i värderingsstudien? 13. Om sekundärdata användes,

utvärderades relevansen av att använda dem för värderings-studien?

3.1.7 DATAINSAMLING

Detta avsnitt är i första hand avsett för studier som har använt primärdata, men avsnittet kan även vara till hjälp för att bedöma en sekundärdatastudies utvärde-ring av sina data, jfr avsnitt 3.1.6.

3.1.7.1 Surveyundersökning, population och stickprov

Det är i allmänhet en styrka för studien om datainsamlingen utfördes som en sur-veyundersökning.1 _{I tabell 8 redovisas allmänna kriterier för vad som}

känneteck-nar en surveyundersökning. Om någon av dessa kriterier inte är uppfyllda kan

1 _{Ibland används ”stickprovsundersökning” eller ”urvalsundersökning” som svenska begrepp,}

det vara svårt eller omöjligt att dra slutsatser om ekonomiska värden för popula-tionen utifrån data i stickprovet, vilket kan vara en allvarlig svaghet. Det händer exempelvis att sannolikhetsurval inte används så att urvalssannolikheterna inte är kända för alla objekt (t.ex. individer eller hushåll) i populationen. Självurval (self-selection) är ett annat vanligt problem som gör att datainsamlingen inte kan klassas som en surveyundersökning. Ett exempel på självurval kan vara en rese-kostnadsstudie i vilken information om besök till ett rekreationsområde samlas Tabell 8. Kriterier som ska vara uppfyllda för att en studie kan klassas som en surveyundersökning.

Kriterium Kommentar

1. En surveyundersökning gäller en mängd objekt som ingår i en population.

Att definiera målpopulationen (dvs den population som är av intresse) är centralt både för att kunna dra slutsatser om populationens egenskaper utifrån stickprovets egenskaper och för att kunna definiera urvalsramen.

2. Den population som studeras har en eller flera mätbara egenskaper.

De egenskaper som bör väljas ut är de som bäst uppfyller studiens syften.

3. Målet är att beskriva populationen med en eller flera parametrar som är definierade utifrån de mätbara egenskaperna.

För varje given mängd egenskaper är olika parametrar möjliga, exempelvis medelvärden, percentiler och summor. Ofta beräknas dessa parametrar för olika delgrupper inom populationen.

4. För att kunna observera en population behövs en ram som på ett operationellt sätt represente-rar populationsenheterna. Ramen kan exempelvis vara en lista på alla objekt som ingår i populatio-nen eller en karta över ett geografiskt område.

Det är ofta svårt att ta fram en ram som täcker mål- populationen perfekt.

5. Ett stickprov med objekt väljs ut från ramen i enlighet med ett urvalsförfarande som speci- ficerar en sannolikhetsmekanism och en stickprovsstorlek (s k sannolikhetsurval).

Urvalsförfarandet beror alltid på de omständigheter som är förknippade med surveyundersökningen. Exempelvis kan skeva populationer kräva stratifierade urval. Varje urvals- förfarande måste specificera sannolikheten för ett popula-tionsobjekt att bli utvalt och en stickprovsstorlek.

6. Observationer av stickprovet görs i enlighet med en mätningsprocess.

Datainsamlingen kan läggas upp på många olika sätt. Ofta måste fler än en datainsamlingsmetod användas. 7. Slutsatser om populationens egenskaper dras

utifrån stickprovets egenskaper genom att använda mätningarna i en skattningsprocess som beräknar parameterskattningar.

Det fel som orsakas av att ett stickprov observeras i stället för hela populationen kan beräknas genom variansskatt-ningar. De resulterande skattningarna kan användas för att beräkna konfidensintervall. Varianserna återspeglar dock inte alla fel som data i en surveyundersökning kan ha.

in genom att frågeformulär läggs ut i områdets raststugor. Förutom problemet att frågeformuläret enbart upptäcks av de som besöker någon av raststugorna är det troligen enbart de som är intresserade av frågorna som fyller i formuläret. Sanno-likhetsurval är att föredra när representativitet för en population är en önskvärd egenskap, vilket ofta är fallet. I speciella situationer, t.ex. när representativitet bedöms vara mindre viktigt än att ha kontroll över vilka som blir föremål för undersökningen, kan dock icke-sannolikhetsurval vara befogade.

Vilken stickprovsstorlek som är nödvändig för att nå en önskad grad av säker-het i populationsskattningar beror på vilken grad av variation som kännetecknar de variabler som är av intresse för värderingsstudien. Någon önskvärd mini-mistorlek på ett stickprov kan därför inte utan vidare anges, även om man kan konstatera att opinionsundersökningar som har ambitionen att säga något om åsikter bland vuxna i riket brukar använda sig av ett urval på åtminstone 1000 individer. För CVM-studier rekommenderar Carson (2000) en stickprovsstorlek på åtminstone 300-2000 undersökningsobjekt.

Nedanstående kontrollfrågor riktar in sig på tre centrala egenskaper hos sur-veyundersökningar: definitionerna av en målpopulation och en urvalsram samt metoden för att göra ett stickprov. Se Svenska Statistikersamfundet (2005) för rekommendationer kring hur populationer och urval kan beskrivas.

Målpopulationen är den population som undersökningen egentligen vill dra slutsatser om, medan rampopulationen (kallas även undersökningspopulation) är den population som surveyundersökningen faktiskt utgick ifrån. Om under-sökningen är en totalundersökning studeras samliga objekt i rampopulationen och om undersökningen är en urvalsundersökning studeras ett urval av objekten i rampopulationen, som då bildar den så kallade urvalsramen.

Ofta skiljer sig målpopulationen och rampopulationen/urvalsramen från var-andra, kanske av praktiska skäl. Det kanske inte finns förteckningar eller register tillgängliga som perfekt täcker in objekten i målpopulationen. Man brukar här tala om övertäckning, som innebär att det finns objekt som inte tillhör målpopulatio-nen men som ingår i rampopulatiomålpopulatio-nen, och om undertäckning, som innebär att det finns objekt som tillhör målpopulationen men som inte ingår i rampopulationen.

Målpopulationen kan exempelvis vara alla som bor i en viss kommun, men en studie kanske väljer att avgränsa rampopulationen till folkbokförda i kommunen eftersom ett register över samtliga folkbokförda finns tillgängligt. Då utesluts de som bor i kommunen utan att vara folkbokförda där (undertäckning). Däremot ingår de som är folkbokförda i kommunen men som faktiskt bor någon annan-stans (övertäckning). Mellan målpopulationen och rampopulationen/urvalsramen kan det finnas skillnader som är viktiga att ta hänsyn till.

Med tanke på svårigheten att ange hur stort ett stickprov bör vara ställs en-dast en kontrollfråga om stickprovets storlek. Om värderingsstudien skattade aggregerade ekonomiska värden för populationen är det viktigt att denna skatt-ning är konsistent med populationsdefinitionen och urvalsmetoden. Populations-skattningen måste exempelvis ta hänsyn till om olika grupper i populationen hade olika sannolikhet att bli utvalda i stickprovet (t.ex. vid stratifierat urval).

En värderingsstudie som syftar till att skatta värden som är representativa för en population bör utformas som en surveyundersökning. Centrala moment blir då bland annat att definiera målpopulation och urvalsram samt att använda ett sannolikhetsurval för att få fram ett stickprov. Om en värderingsstudie har något annat syfte, t.ex. att göra något metodtest, kan den uppfylla sitt syfte på ett fullgott sätt även om den inte är utformad som en surveyundersökning. Frågorna 14-20 behandlar några viktiga krav som ställs på en surveyundersökning. Fråga 21 ger en möjlighet att göra en sammanfattande bedömning utifrån tabell 8.

Kontrollfrågor Ja/nej/vet ej Kommentar

14. Definierades en målpopula-tion?

14a. Om ”ja”, hur definierades målpopulationen i tid och rum samt hur stor var den? 15. Definierades en

rampopula-tion/urvalsram?

15a. Om ”ja”, hur definierades rampopulationen/urvalsramen i tid och rum samt hur stor var den?

16. Redovisades eventuella skillna-der mellan målpopulation och rampopulation/urvalsram? 17. Hur tog studien hänsyn till de

eventuella skillnaderna mellan målpopulation och rampopula-tion/urvalsram?

18. Hur stort var stickprovet? 19. Vilken typ av urvalsförfarande

användes för att få fram stick-provet?

20. Var urvalsförfarandet ett san-nolikhetsurval?

21. Uppfyllde studien som helhet de krav som ställs på en sur-veyundersökning?

Kontrollfrågor Ja/nej/vet ej Kommentar 22. Om ”nej” på fråga 21, var

studiens syfte sådant att en surveyundersökning inte var motiverad? (Exempelvis behö-ver en studie som inte syftar till att nå skattningar som är representativa för en popula-tion nödvändigtvis genomföras som en surveyundersökning.) 23. Om aggregerade ekonomiska

värden för en population skat-tades, var denna skattning kon-sistent med urvalsförfarandet och populationsdefinitionen?

3.1.7.2 Upplägget av datainsamlingsarbetet

Hur god datakvaliteten är avgörs vidare av hur datainsamlingsarbetet lades upp. Det finns ett flertal metoder och principer för utformningen av frågeformulär och genomförandet av intervju- och enkätundersökningar. Exempelvis har metoder utvecklade av Don Dillman ofta kommit till användning i CVM-studier, t.ex. the

total design method och the tailored design method (Dillman 1978, 1991, 2000).

Dessa metoder är dock utvecklade för amerikanska förhållanden, och en svensk värderingsstudie bör även ta fasta på svenska erfarenheter (t.ex. SCB 2001b, Wärneryd 1990). Att knyta en expert på området till värderingsstudien kan vara ett sätt att se till att goda metoder används. Surveyinstrument såsom frågeformu-lär bör vidare ha utvecklats och testats med hjälp av diskussioner i fokusgrupper eller liknande samt med hjälp av en pilotstudie. Brister i upplägget av datainsam-lingsarbetet kan visa sig i form av exempelvis ett stort bortfall, jfr avsnitt 3.1.7.4.

Kontrollfrågor Ja/nej/vet ej Kommentar

24. Var någon expert på datain-samling knuten till värderings-studien?

25. Användes fokusgrupper eller liknande för att utveckla och testa surveyinstrumentet? 26. Gjordes en pilotstudie för att

3.1.7.3 Datainsamlingsmetod

Traditionella metoder för datainsamling är personliga intervjuer, telefoninter-vjuer och postenkäter, men datorteknik inklusive internet och e-post har lett till utveckling av fler metoder. Tabell 9 redovisar ett antal huvudmetoder som finns att tillgå. Tabellen delar upp metoderna dels efter graden av kontakt med respon-denten och dels efter graden av inblandning från datainsamlarens sida. Det bör noteras att metoderna ibland kan kombineras, t.ex. genom att en telefonintervju föregås av utskick av material till den tilltänkta respondenten. Bland andra data-insamlingsmetoder kan nämnas övervakat självifyllande. Då delas frågeformulär ut till en grupp individer som på platsen får besvara den. En undersökningsledare finns dock hela tiden tillgänglig för frågor eller annan hjälp.

Tabell 9. Metoder för datainsamling.

Grad av kontakt med respondenten

Aktiv inblandning av en datainsamlare Mindre aktiv inblandning av en data- insamlare

Papper Dator Papper Dator

Direkt Personlig intervju

med papper och penna

Datorstödd personlig intervju

Dagbok Datorstödd själv-

intervju

Indirekt Telefonintervju med

papper och penna

Datorstödd telefon-intervju

Brev, fax, e-post Datainmatning via telefon, datafil, e-post eller nätet

Ingen Direktobservation Datorstödd

datain-matning

Administrativa register

Dataregister

Källa: Biemer och Lyberg (2003).

Vilken av dessa metoder som bör användas för en viss undersökning beror på en stor mängd faktorer. Arrow et al. (1993) menade att CVM-studier inte bör använda sig av postenkäter. Carson (2000) betonar att personliga intervjuer ökar chansen att respondenterna förstår scenariot, eftersom de underlättar använ-dandet av visuella hjälpmedel som bilder, kartor, m.m. Vi menar att det inte på förhand går att säga vilken datainsamlingsmetod som är bäst i alla sammanhang, utan valet av metod beror på sammanhanget. Exempelvis är personliga intervjuer kostsamma och förekomsten av en intervjuare kan leda till snedvridningar, exem-pelvis i form av att respondenten ger de svar som han/hon tror är de önskvärda svaren. Personliga intervjuer kännetecknas dock av stor flexibilitet och tenderar att resultera i en hög svarsfrekvens. Kostnaden för telefonintervjuer är mindre än för personliga intervjuer, men telefonintervjuer måste vara kortare och det finns ingen möjlighet att använda visuella hjälpmedel, såvida sådana inte postas till respondenten på förhand. Webb-baserade enkäter ger däremot möjlighet att

förmedla bilder. Med en postenkät undviks snedvridningseffekter som har med förekomsten av en intervjuare att göra. Vidare är postenkäter ofta lämpligare att använda för att samla in uppgifter som respondenten upplever som känsliga. Kostnaden för postenkäter är relativt låg, men kan resultera i låg svarsfrekvens, i synnerhet är risken för partiellt bortfall stort. Tabell 10 ger en förteckning över ett urval faktorer som spelar roll för valet av datainsamlingsmetod.

Tabell 10. Några faktorer av betydelse för valet av datainsamlingsmetod.

Faktor Betydelse för valet av datainsamlingsmetod Begrepp/egenskaper

som ska mätas

Om visuella hjälpmedel krävs kan telefonintervjuer uteslutas.

Det är ofta en fördel om en intervjuare finns till hands om undersökningen handlar om komplicerade begrepp/egenskaper.

Målpopulationen Behöver man bara bry sig om den del av populationen som kan nås via telefon? Telefonintervjuer kan i så fall vara en möjlighet.

Vilket eller vilka språk bör användas? Utgör exempelvis invandrare eller besökare från utlandet en stor andel av målpopulationen?

Kontaktuppgifter i ramen

Om uppgifter om namn och adress finns tillgängliga bör en postenkät eller personliga intervjuer övervägas.

Ämnets betydelse Postenkäter är inte lämpliga om mycket övertalning behövs för att få en rimlig svars- frekvens.

Behov att snabbt samla in data

Telefonintervjuer är bäst om data behövs mycket snabbt. Postenkäter är tänkbara om några veckor är tillräckligt snabbt.

Stickprovets storlek För en surveyundersökning som gäller hela befolkningen kan kostnadsskäl tala för en postenkät eller telefonintervjuer.

Stickprovets spridning En mycket stark spridning (över t.ex. hela landet) talar för en postenkät eller telefon- intervjuer. Vid en mindre stark spridning kan det gå att använda personliga intervjuer. Urvalsramens täckning

av målpopulationen

Om täckningen är dålig, använd personliga intervjuer, slumpmässigt urval av telefon- nummer eller någon kombination av datainsamlingsmetoder.

Bortfall Intervjumetoder leder vanligen till lägre bortfall än när respondenten själv ansvarar för att lämna sina svar. Möjligheten att övertala motvilliga objekt att ge svar beror på i vilka former denna övertalning kan ske (exempelvis ger en postenkät endast möjlighet till skrift-lig övertalning). Bortfall kan förväxlas med täckningsproblem när postenkäter och telefon-intervjuer används. Postenkäter kan tolkas som någon slags reklam och bli kastade i papperskorgen.

Faktor Betydelse för valet av datainsamlingsmetod

Intervjuare Intervjuare kan ge upphov till mätfel, exempelvis snedvridning p.g.a. att respondenterna ger svar som de uppfattar som socialt önskvärda. Om känslig information ska insamlas är det mindre lämpligt att ha intervjuare inblandade. Intervjuare kan vara nödvändiga om visuella hjälpmedel ska användas eller för att få respondenten att lämna mer fullständiga eller mer adekvata svar. Centraliserade telefonintervjuer leder till lägre kostnader och min-dre fel jämfört med icke-centraliserade intervjuer. Telefonintervjuare slipper resa och kan därmed hinna med mer arbete.

Respondent Det finns tecken på att respondenter föredrar att själva ansvara för att lämna sina svar. Självadministrerade datainsamlingsmetoder är lämpliga för att samla in känslig informa-tion. Om frågorna är svårbesvarade är hjälp av en intervjuare nödvändig.

Surveyinstrument Postenkäter måste vara relativt enkla, men är lämpliga när frågorna har många svarsalter-nativ. Komplicerade surveyinstrument kräver datainsamling med hjälp av intervjuer. Data-insamling som använder sig av en kombination av metoder måste använda frågeformulär som är lämpliga för samtliga använda metoder.

Kostnader Alla andra faktorer kan bli underordnade om en postenkät är den enda metod som budge-ten tillåter.

Efter Biemer och Lyberg (2003).

Nedan ställs även en kontrollfråga om tidpunkten för datainsamlingen. Värde-ringsmetoder utvecklas över tiden och människors preferenser (och inkomster) förändras, vilket talar för att relativt nygjorda studier har en fördel jämfört med äldre studier, allt annat lika. Men information om tidpunkten kan även vara vik-tig för att bedöma om datainsamlingen skedde vid en tidpunkt då en stor (eller liten) uppmärksamhet fanns kring den miljökvalitet som värderades.

Om en lämplig datainsamlingsmetod har använts måste bedömas från fall till fall. Faktorer som spelar roll är exempelvis hur komplicerade frågor som ställs och hur mycket information som ska förmedlas till respondenten. Datainsamlingens tidpunkt är viktig att veta för att kunna bedöma hur pass aktuell information som studien ger.

Kontrollfrågor Ja/nej/vet ej Kommentar

27. Vilken/vilka

datainsamlingsmetod(er) användes?

28. När ägde datainsamlingen rum?