Utvärdering: före, under och efter

För att kunna bedöma både vad som är bra digital naturvägledning generellt och för att ta ställning till vilken digital teknik som är bäst lämpad för ett visst ändamål, behöver vi veta mer om vilka användarna är, vilken typ av naturområden de besöker samt vilken information och funktionalitet de söker. 

Både användarnas besöksvanor och upplevelser, liksom deras hantering av digitala hjälpmedel mår därför bra av regelbunden utvärdering. Utvärdering är en del av planeringsarbete för all naturvägledning. 

Att undersöka hur användare utnyttjar digitala inslag i en natur- och kulturmiljö kallas ofta för besökarstudier. Specifika tester vid utveckling av funktioner och gränssnitt för digitala applikationer kallas ofta användarstudier. Det finns flera metoder, både direkta och indirekta, för att få vetskap om hur användare interagerar med mediainslag och därigenom lära sig om vad som fungerar och vad som kan förbättras.

Fråga först, utforma därefter

Många gånger förknippas “utvärdering” med en aktivitet som genomförs efter en avslutad aktivitet eller verksamhet. Men avstämningar kan utföras både innan, under arbetsfasen, samt som en uppföljning efter att ett digitalt projekt har sjösatts.

Avsikten med avstämning under arbetsskeden är att få kunskaper och feedback på idéer, innan den slutliga lösningen presenteras. På detta sätt ökar man möjligheten att det digitala inslaget blir uppskattat och berikar besökarnas besök, liksom resurser investeras bättre.

Till exempel, den som planerar att utveckla en digitalguide i ett nationalparksområde kan i ett tidigt skede av projektet söka upp ett besökscentrum i området, vid en tidpunkt då många vistas där. Väl där, ställa korta frågor om vad besökarna eventuellt undrar eller vill veta om miljön, och hur intressant en digitalguide kan vara?

Liknande frågor kan dessutom läggas i sociala medier, att besvaras enkelt i kommentarsfält, per e-post eller genom en webbenkät. Deltagarnas vanliga frågor eller synpunkter kan då tas med i manusarbetet, innan slutproduktion.

Vid större digitala projekt, t ex webbplatsutveckling eller inför någon fast installation i miljön, är det vanligt att testa ett provexemplar, en “dummy”, med tänkta användare. För att stämma av under väg - om upplägget har fått rätt tilltal eller för att prova och vid behov justera placering/höjd eller utförande, innan en slutlig produkt installeras och så vidare.

Det är också vanligt att via bland annat enkäter eller intervjuer göra uppsamlande utvärdering av befintliga naturvägledningsprojekt, till exempel en digitalguide, en utställning på naturum, en skolaktivitet och liknande, för att stämma av vad som fungerar bra eller kan förbättras.

Frågor som man kan använda vid utvärdering av digital teknik för naturvägledning

1. Är de digitala lösningarna rätt valda för att passa den tilltänka målgruppen? Lätthanterligt och hanterbart digitalt verktyg? Användarvänligt? Inkluderande? Finns brister som hade kunnat undvikas med ordentligt förarbete?
2. Är den digitala teknologin rätt vald för att passa platsen och förvaltningen av platsen? Optimalt vald efter noggrannt övervägande fokus på reella behov? Har de anställda hantera teknologin? Kommer tekniken gångbar även efter fem år? Är skötsel och löpande drift säkerställd på lång sikt? Passar enheten in på platsen? Finns det svagheter/brister? Ingår uppdatering och/eller uppgradering? Är miljön lämplig för enheten?
3. Passar den digitala naturvägledningen in i det bredare kommunikativa sammanhanget? Passar till annan naturvägledning på platsen? Bidrar den till ett nytt lager av innehåll? Uppmuntrar den förstahandsupplevelse med fenomenet? Passar designen in på platsen?
4. Vilken effekt har den digitala naturvägledningen på besökarna? Vill besökarna använda den? Används motiverande tekniker? Underlättar den koppling mellan fenomenet och användaren? Uppmuntrar känslomässig koppling, interaktion med andra eller provocerar tankar? Ger möjlighet att lämna kommentarer eller ge respons? 
5. Kompletterar delarna (text, bilder, filmer, ljud, fysiska saker mm) varandra och fungerar som en helhet? Har alla delar en tydlig roll? Stöttar alla komponenter en central idé? Bidrar dem till ett enhetligt innehåll?
6. Är innehållet tydligt, enkelt och lämpligt för den tilltänkta målgruppen? Är innehållet historiskt/vetenskapligt korrekt? Används ett vardagligt/personligt väl valt tilltal? Förklaras svårare ord? 
7. Hjälper innehållet besökarna att bygga meningsskapande om fenomenet/platsen? Erbjuder den vägar till djupare mening? Används universella koncept och mänskliga berättelser? Är temat tydligt och bygger på fakta? Betonas unika kvaliteteter hos fenomenet?

Punktlistan ovan är en sammanfattning av frågor som finns i detta utvärderingsverktyg för digital naturvägledning. Frågorna är framtagna av Association of Cultural Heritage Managers (KÖME) genom projektet MUSE.ar (musear.eu), vilket är samfinansierat av EU:s Creative Europe-program.

Hur upplevs en interaktiv station i utställningen? Foto: Paul Henningsson, musedia

Logga, samla data och observera

Ett annat exempel på utvärdering av hur digital naturvägledning används kan vara att kartlägga hur många besökare man har haft på sin webbplats och hur de har klickat sig runt på sidorna. Det är relativt enkelt att få den typen av data, vilken ofta brukar lagras eller loggas automatiskt i webbpubliceringsmiljön, vilket de med ansvar för IT-system ofta kan bistå med. Utifrån analyser av informationen kan man sedan göra vägval i sina kommunikationssatsningar. Ett annat sätt att utvärdera en webbplats är att koppla enkäter till den.

Många aktörer använder sociala medier som skyltfönster för andra digitala informationskanaler. Med så kallade hashtaggar, även kallat fyrkantstagg (#), som är nyckelord associerade till ett visst ämne och skrivs ut med hjälp av förledet “#”, kan man söka på de sociala kanalerna för att ta del av de taggade inläggen. Till exempel: #naturstig.

Man kan räkna antal inlägg på ett visst nyckelord, förekomsten av grupperade nyckelord, se när de gjordes och analysera innehållet, för att få ytterligare bild av hur något brukas.

Även för en app går det att få fram data om hur och när den har använts, eller till och med om det finns påtagliga problem i appen, vilket ibland kan vara svåra att förutse med tanke på många olika mobiltelefon-modeller och versioner av operativsystem hos användarna. Har man e-postadresser till användarna så kan man kontakta dem för att be dem delta i en utvärdering.

Utvärdering av hur den digitala naturvägledningen används kan även göras genom direkta observationer av deltagare. Till exempel genom att få följa med besökare som “skugga” och anteckna och/eller filma vad som görs och hur, till exempel med en audioguide.

Observationerna kan även göras genom att låta användare av en app (eller annan digital naturvägledning) spela in sig själva med en videokamera, till exempel på huvudet. Då kan man till exempel se hur användarna interagerar med varandra och tekniken, hur de navigerar tekniken och berättar för varandra om det som pågår.

Observationerna kan sedan samköras med användarstatistik från webben eller appen, för att ytterligare bekräfta insamlade data.

Besökarstudier

Vanligt vid besökarstudier är kvalitativa undersökningar, vilket ofta görs i form av intervjuer, gruppintervjuer eller vid insamling av kommentarer från gästböcker, sociala medier och liknande.

Kortare besökarintervjuer kan göras före och efter besök, till exempel för att jämföra hur och vad besökare upplever med respektive utan en digitalguide. Eller att ställa frågor till slumpmässigt valda besökare eller visst tänkt målgrupp, vid en viss digitalt baserad monter i en utställning. Beroende på syftet med undersökningen kan frågorna betona behållning av innehållet, applikationens eller enhetens funktioner, handhavandefrågor eller en kombination av samtliga delar.

I flera svenska naturum använder man metoden Tankelistning för kvalitativ utvärdering som handlar om att reflektera över tankar som besökare uttrycker efter att ha varit i kontakt med naturvägledning främst genom guidningar och utställningar. Metoden kan också användas för naturvägledning i digital form.

Besökare i naturum-utställning. Foto: CNV

Inventering av besökares behov

Ett exempel på en mer en omfattande inventering av besökares behov inför utveckling av en app är den som STF gjorde 2014 och 2015 där unga vuxna och barnfamiljer fick besöka fjällen på föreningens bekostnad mot att de före, under och efter besöket svarade på frågor. Resultatet från de studierna har STF använt när de tog fram appen STF i fjällen.

I samband med framtagande av en naturvägledningsplan för världsarvet Höga kusten / Kvarkens skärgård bjöds personer som representerade tilltänkta målgrupper in att testa fysiska och digitala prototyper, längs planerade upplevelsestigar i miljön. Feedback från testpersoner liksom workshops bidrog till att förbättra naturvägledningsplanen. Läs mer om testerna här.

Generella besökarundersökningar görs ibland i skyddad natur. Här kan frågor om digitala plattformar integreras med undersökningen. Generella besöksundersökningar, ibland kallade publikundersökningar eller nöjd-kund undersökningar brukar ofta gälla intervjupersonernas bakgrund, besöksvanor, deras betyg på vissa tjänster och produkter och liknande. Här finns möjligheter att även rikta frågor om eventuell kännedom om webbplats eller appar inför besöket.

Fördjupade utvärderingar och undersökningar

Fördjupade utvärderingar och undersökningar kan utformas i samarbeten med till exempel forskare inom friluftsliv. Sådana kan svara på frågor om efterfrågan och behov av information, samt hur den kan tillhandahållas digitalt. 

Genom uppföljningar och utvärderingar av och via de digitala plattformarna kan man avgöra om man har uppnått sina mål och skapa förutsättningar för att förbättra sin verksamhet och möta de behov som friluftsutövare och naturturismaktörer har. En stor del av de satsningar på information och naturvägledning som görs utvärderas dock inte. CNV har vid ett tidigare tillfälle kontaktat länsstyrelser i Sverige för frågor om de har utvärderat digital information eller digital naturvägledning.

Få har gjort mer än att ha besöksräknare i naturområden. De flesta som svarade på frågorna uttrycker att de borde jobba mer med uppföljning och utvärdering av informationskanaler inklusive digitala sådana. En stark fördel med digitala lösningar för information och naturvägledning är att de erbjuder möjligheter att bygga in direkt interaktion med och utvärderingar för användare/besökare i högre grad än till exempel vid användning av skyltar och foldrar.

Det kanske viktigaste när digital naturvägledning planeras, är att avsätta tid att genomföra avstämningar med verkliga användare i projektplaneringen, utöver tid för faktisk innehållsbearbetning och produktion. Även om enklare undersökningar görs så behöver frågor, testmaterial förberedas, undersökning göras och resultat sammanställas, så att de som ingår i utvecklingsgruppen kan ta del av resultat. 

Det är extra viktigt att planera in tid när externa konsulter eller programmerare engageras så att det finns en möjlighet att dels genomföra löpande utvärderingar, dels realistiska möjligheter att inkorporera insamlad feedback i produktionen.

Här gäller det att inte driva egna idéer för hårt, utan vara beredd att justera ett tänkt upplägg vid behov. För kom ihåg: det är inte du eller dina kollegor som är målgrupp för naturvägledningen, det är dina besökare!

För att veta mer om besökare och vad de söker i naturmiljöer, ta gärna del av CNV:s omvärldsanalys på sidorna 8-12 i denna rapport.

För att veta mer om besökarstudier och metoden “Tankelistning”, se CNV:s skrift Besökarnas tankar.