Vett och etikett vid utvärderingar av miljöstöd

Vad vet vi om miljöstödets effekt på odlingslandskapets biologiska mångfald? Mycket, men samtidigt inte så mycket vi skulle önska oss visar en ny studie från SLU. Undersökningarna saknar ofta en utformning för att kunna dra tydliga slutsatser och en diskussion om metodproblem och alternativa förklaringar utelämnas regelbundet. Dessutom överdrivs ofta resultat genom felaktigt kausalt språkbruk, när forskarna uttrycker orsakssamband även då resultaten inte stödjer det.
Den biologiska mångfalden minskar, inte minst i jordbrukslandskapet. I stora delar av världen används därför miljöstöd – ekonomiska ersättningar till lantbrukare för att främja biologisk mångfald och ekosystemtjänster. Dessa ersättningar kan till exempel stödja ekologiskt jordbruk, naturbetesmarker, blomrika åkrar och kantzoner. Det mesta talar för att åtgärderna i mångt och mycket är värdefulla för odlingslandskapets biologiska mångfald.
Detta är dock en uppfattning som i huvudsak baseras på korrelativa observationer. Om valet av de platser där insatserna utförs är baserat på lantbrukarnas fria vilja finns alltid risken att marker med miljöstöd har en högre mångfald från första början. Två sådana exempel kan vara miljöstödet för skötsel av naturbetesmarker eller ekologisk odling. Om data saknas från tiden före åtgärderna utfördes vet vi inte om den skillnad vi ser fanns redan från första början.
Hela enheten deltog i studien
Dessa problem för utvärdering av miljöstödets effekter uppmärksammades i en vetenskaplig artikel redan år 2003.
– Vi undrade om utvärderingarna blivit bättre sedan dess och vi tog hjälp av hela enheten för landskapsekologi på institutionen för ekologi för att gå igenom alla studier som utvärderar miljöstöd i jordbrukslandskapet mellan 2008 och 2017, säger Tomas Pärt, en av författarna till artikeln som nyligen publicerats i Conservation Letters.
Språkbruk och metodproblem
Forskargruppen passade också på att undersöka språkbruket – om resultaten beskrevs i termer av orsak-verkan eller i korrelativa termer – samt om metodproblem och alternativa förklaringar diskuterats.
– Kort och gott undersökte vi transparensen och några av den vetenskapliga metodens mest klassiska grundbultar, säger Jonas Josefsson, huvudförfattare till studien.
Majoriteten (3/4) av studierna hade ett korrelativt upplägg med analyser av biologisk mångfald endast efter utförd åtgärd. Ändå uttrycktes resultaten från dessa korrelativa studier ofta i termer av orsakssamband. I stor utsträckning undveks också diskussion om möjliga metodproblem och alternativa förklaringar. Cirka hälften av alla dessa studier jämförde ekologiskt och konventionellt jordbruk.
– Trots detta dystra resultat visade genomgången ändå på en viss förbättring av studiedesign sedan 2003, säger Jonas.
Föreslår förbättringar
I artikeln föreslår forskarna flera förbättringsmöjligheter för framtida studier. Självkritiskt rannsakar de också sig själva i sitt språkbruk när data varit korrelativt.
– Några av de mest flagranta exemplen står vi själva för och det var just i ljuset av denna eftertankens kranka blekhet som fröet till denna studie såddes. För, varför använda ett kausalt språk när vi vet att vi inte kan göra så, säger Tomas.
I artikeln ger Jonas, Tomas och deras kollegor några troliga förklaringar.
Läs den uppmanar de, den är relativt lättläst, den ger tips på hur miljöstöd kan designas och utvärderas, samt hur resultat och metodproblem bör redovisas!
Kontakt
Jonas Josefsson
Forskare på institutionen för ekologi, enheten för landskapsekologi, SLU
Tomas Pärt
Professor på institutionen för ekologi, enheten för landskapsekologi, SLU
Vetenskaplig artikel
Improving scientific rigour in conservation evaluations and a plea deal for transparency on potential biases, Jonas Josefsson et al, Conservation Letters
Författarna är eller har varit knutna till institutionen för ekologi plus Åke Berg på Centrum för biologisk mångfald, CBM