Kontrollgrupper vid kampanjmätning: begrepp och fallgropar

Varför en kontrollgrupp behövs i kampanjmätning

Enligt forskning.se är kontrollgruppen den grupp forskarna jämför med. Den får inte den behandling, insats eller metod som testas, eller tilldelas en jämförelseinsats. Poängen är att avgöra vad som beror på insatsen. forskning.se exemplifierar med två skolklasser där bara den ena får prova ett nytt läromedel, eller två grupper av datoranvändare där bara den ena får testa ett nytt gränssnitt – man behöver något att mäta mot.

I ”Undvik fallgropar när forskningen sammanfattas” beskriver SBU att systematiska fel ofta leder till att effekten av det man testar överskattas. En dåligt upplagd studie kan till och med få en verkningslös behandling att framstå som effektiv. I kampanjmätning betyder det att en uppgång i försäljning eller leads efter en kampanj inte är något bevis i sig: utan jämförelsegrupp vet du inte om uppgången hade kommit ändå.

Läkemedelsboken beskriver att bias och confounding kan skapa skenbara samband mellan insatsen och utfallet, inklusive en felaktig skattning av effektstorleken. Just de skenbara sambanden är risken i kampanjmätning. Säsongsvariation, organisk tillväxt, samtidiga insatser eller allmän marknadsrörelse kan se ut som kampanjens effekt om ingen kontrollgrupp mäts parallellt.

Vad som kännetecknar en kontrollgrupp i marknadsföring

Leadfront definierar en kontrollgrupp i marknadsautomation som ett slumpmässigt urval av ditt segment som inte kommer att få din kommunikation, vare sig det gäller en Campaign eller en Canvas. Det är samma grundtanke som forskning.se beskriver: gruppen får inte insatsen, eller får en alternativ åtgärd.

För att jämförelsen ska vara användbar måste kontrollgruppen dras ur samma population som testgruppen, mätas under samma tidsperiod och följas upp med samma utfallsmått. En kontrollgrupp av prenumeranter när testgruppen är icke-köpare, eller en kontrollgrupp mätt i januari när kampanjen gick i november, mäter något annat än kampanjens effekt.

En vanlig variant är att kontrollgruppen får en jämförelseinsats – forskning.se nämner uttryckligen att gruppen antingen inte får insatsen eller tilldelas en alternativ insats. I praktiken kan det vara ett neutralt utskick eller ingen kommunikation alls. Det avgörande är att skillnaden mellan grupperna bara består av den kommunikation du vill mäta effekten av.

Randomisering, stratifiering och externa kontroller

SBU definierar randomisering som slumpmässig fördelning, lottning, av deltagarna till försöksgrupp eller kontrollgrupp, oftast med hjälp av en dator. Randomiseringen ska skydda mot urvalsfel (selection bias), alltså att personer styrs till endera gruppen på ett sätt som gör jämförelsen missvisande. Genom lottningen har alla samma chans att få insatsen, och fördelningen ska inte kunna förutses eller påverkas. Därför används datorgenererade koder eller slumptal.

Ett annat sätt att uppnå likartad fördelning är enligt SBU stratifierad randomisering. Man utgår från tänkbara påverkansfaktorer, delar först in deltagarna i undergrupper (strata) efter dessa faktorer och slumpar därefter vilka i varje undergrupp som hamnar i respektive grupp. I en kampanj kan strata vara exempelvis kundstatus, tidigare köpbeteende eller region – faktorer som var för sig påverkar sannolikheten att köpa.

SBU:s exempel: i en översikt av forskning om TENS för smärtlindring efter operation visade randomiserade studier ingen skillnad mellan TENS och placebo, medan icke-randomiserade studier pekade på att TENS var bättre. SBU noterar samtidigt att skillnaderna mellan randomiserade och icke-randomiserade studier inte alltid är så stora.

Externa eller historiska kontrollgrupper har enligt Läkemedelsboken en betydande svårighet: selektionen av vilka som hamnar i test- respektive kontrollgrupp är inte gjord på samma sätt. De omständigheter som styr grupptillhörigheten kan samvariera med hur och när tillståndet diagnostiseras, tid från diagnos till behandling och sjukdomsprognos.

Hanteras grupperna inte under samma protokoll kan de dessutom skilja sig i bakgrundsbehandlingar, hur deltagarna övervakas, hur utfallet mäts och mekanismerna för bortfall. Att jämföra årets kampanjperiod mot samma period förra året är just en sådan extern kontroll: urvalet av vad som gör perioderna jämförbara är inte gjort på samma sätt.

Bias och confounding som förvränger kampanjresultat

Läkemedelsboken listar varför bias kan uppstå. Test- och kontrollgruppen kan skilja sig i hur deltagarna selekteras, behandlas och följs upp. De kan också skilja sig i annan samtidig behandling, det vill säga andra insatser vid sidan av den testade, hur utfallet mäts, skälen till att data saknas och hur saknade data hanteras. Var och en av dessa punkter har en direkt motsvarighet i en kampanjmätning.

En confounder beskrivs av Läkemedelsboken som en faktor som samvarierar med både den oberoende och den beroende variabeln – variabler som är kopplade både till vilken intervention man får och till utfallsmåttet. Körs kampanjen exempelvis under en lönehelg eller i en högsäsong påverkar den faktorn både vem som exponeras och hur mycket som köps, och resultatet snedvrids.

SBU delar in de systematiska felen i fördelningsfel (selection bias), behandlingsfel (performance bias), bedömningsfel, bortfallsfel och rapporteringsfel. Behandlingsfel uppstår främst i oblindade studier, där deltagare avsiktligt eller oavsiktligt kan få en annan behandling eller ett annat omhändertagande än avsett beroende på grupptillhörighet. I kampanjsammanhang är det säljare eller kundtjänst som vet vilka som ingår i testgruppen och därför ger dem snabbare uppföljning än kontrollgruppen.

SBU:s akupunkturexempel visar hur mycket bedömningen kan betyda: i de blindade studierna förbättrades 57 procent i akupunkturgruppen mot 50 procent i kontrollgruppen, medan motsvarande siffror i de oblindade studierna var 67 mot 38 procent. Icke-blindade studier tenderar alltså att visa större behandlingseffekter. SBU tar också upp dubbelpublicering som felkälla – samma resultat rapporteras flera gånger i något olika tappning, vilket kan leda till att skillnaden mellan grupperna överskattas. Samma sak händer när ett kampanjresultat räknas in i flera kanalrapporter utan avräkning.

Så designar du kontrollgruppen praktiskt

Steg ett är att definiera population och utfallsmått innan fördelningen görs. Steg två är att slumpa med datorgenererade koder eller slumptal så att fördelningen inte kan förutses eller påverkas, i linje med SBU:s beskrivning av randomisering.

Steg tre är att stratifiera på kända påverkansfaktorer och slumpa inom varje undergrupp, så som SBU beskriver stratifierad randomisering. Steg fyra är att hålla grupptillhörigheten dold för dem som mäter och analyserar: enligt SBU ska ingen känna till vem som tillhör försöks- respektive kontrollgrupp förrän alla mätningar och analyser är klara.

Storleken spelar roll på två sätt. SBU konstaterar att slumpfelets storlek beror på antalet observationer – ju fler observationer, desto mindre slumpfel behöver man befara. I en tillräckligt stor studie är dessutom chansen större att alla faktorer som skulle kunna påverka utfallet, utom själva insatsen, fördelas lika mellan grupperna, och det gäller både kända påverkansfaktorer och sådana som ännu inte har påvisats.

För att statistiskt kontrollera bias och justera för confounding används enligt Läkemedelsboken olika former av matchning av deltagare och/eller statistisk justering av baslinjevariabler som man vet är förknippade med prognos. I kampanjmätning innebär det att para ihop test- och kontrollindivider på bakgrundsvariabler eller att justera resultatet för sådana variabler. Läkemedelsboken är tydlig med begränsningen: man kan bara korrigera för uppmätta confounders, inte för sådana som inte mäts eller är okända, och det är vanligen inte möjligt att övertygande visa att man faktiskt uppnår sitt syfte.

Viktiga statistiska principer för kontrollgrupper

Mät utfall och hantera bortfall i kampanjen

Läkemedelsboken pekar på att grupperna kan skilja sig i bakgrundsbehandlingar, övervakning och mätning av utfallet om de inte hanteras under samma protokoll. I praktiken betyder det att test- och kontrollgrupp ska mätas med samma utfallsmått, i samma tidsfönster och i samma datakälla. Att jämföra testgruppens veckodata mot kontrollgruppens månadsdata är ett mätfel, inte en effekt.

Bortfall är en egen felkälla. SBU räknar bortfallsfel till de systematiska felen, och Läkemedelsboken beskriver att mekanismerna för när deltagare lämnar grupperna kan skilja sig åt och därigenom ge upphov till saknade data, samt att sättet man hanterar saknade data på i sig är en källa till bias. Mät därför bortfall separat per grupp – avprenumereringar, returer, reklamationer, utebliven uppföljning – och redovisa hur saknade data har hanterats i analysen.

Bedömningsfel motverkas genom blindning. SBU:s data visar att oblindade bedömningar tenderar att ge större effekter än blindade, och i praktiken innebär det att den som räknar fram kampanjens resultat inte bör veta vilka individer som tillhör test- respektive kontrollgrupp.

Koppla kontrollgruppen till spårning och affärsdata

Mydrop beskriver tre praktiska skäl till att pixlar blir otillförlitliga. Mobila och appbaserade flöden bryter kedjan från webbläsare till köp. Plattformarnas och webbläsarnas integritetsfunktioner begränsar spårning mellan sajter och blockerar tredjepartscookies, så att konverteringar försvinner eller tilldelas fel.

Kortformatkreativ skapar snabba sessioner med många kontaktytor under samma dag. Resultatet blir underattribuering för den betalda kortformatkanalen och överattribuering för sista-klickskanaler som sök.

Som alternativ till att jaga ett perfekt attribueringssystem föreslår Mydrop en 30-dagars bevisloop (signal, testa, bevisa). Skapa rena signaler du själv kontrollerar – UTM:er, kortkoder och kampanjkoder – och kör små kausala tester som intressenterna kan enas kring. Koppla serverbaserad försäljningsdata till signalerna och visa upplyft med grundläggande statistik.

Innan något går live ska tre beslut vara fattade och dokumenterade. För det första: vilken mätmodell som passar ramarna. För det andra: vem som äger länk- och kodskapandet och var godkännandet ligger. För det tredje: vilken datalagrings- och integritetsbaslinje som gäller under testfönstret.

För kontrollgruppen innebär detta att den inte får några kampanjkoder eller spårningslänkar, eftersom den inte ska exponeras. Utfallet måste därför hämtas i en källa som omfattar båda grupperna.

Mydrop beskriver den källan som serverbaserad försäljningsdata. Den ska inte hämtas i klick- eller kortkodsregistrering, som bara fångar testgruppen. Annars jämför du testgruppens kodregistrerade köp mot kontrollgruppens totalförsäljning.

Tolka och rapportera resultaten rättvist

Utgångspunkten för tolkningen är att systematiska fel ofta leder till att effekten överskattas, och att en dåligt upplagd jämförelse till och med kan få en verkningslös insats att framstå som effektiv (SBU). SBU:s akupunkturexempel visar hur stor betydelse bedömningsfel kan ha. En kampanj som mätts utan kontrollgrupp eller med en extern kontroll bör därför redovisas med förbehållet att effekten sannolikt är överskattad.

Redovisa vilka variabler du justerat för, vilka du mätt men inte kunnat använda och vilka faktorer du inte har data om alls.

Slumpfelet ska redovisas separat från de systematiska felen. SBU konstaterar att slumpfelets storlek beror på antalet observationer och att risken för att ett resultat uppkommit av en slump är stor i studier med ett litet antal observationer. Ange därför antalet individer i varje grupp tillsammans med effektstorleken, och undvik att dra slutsatser om effekter som bygger på små grupper.

Undvik dubbelräkning: rapportera de förbestämda utfallen, inte det utfall som råkade bli bäst.

Checklista för kontrollgrupper vid kampanjmätning

Kontrollgruppen ska vara ett slumpmässigt urval av segmentet som inte får kommunikationen (Leadfront). Enligt forskning.se är kontrollgruppen den grupp forskarna jämför med: den får inte den behandling, insats eller metod som testas, eller tilldelas en jämförelseinsats.

Fördelningen ska göras med datorgenererade koder eller slumptal, och den ska inte kunna förutses eller påverkas av den som genomför kampanjen (SBU om randomisering och urvalsfel).

Stratifiera på kända påverkansfaktorer: dela in i undergrupper och slumpa inom varje strata (SBU om stratifierad randomisering).

Se till att grupperna är tillräckligt stora – slumpfelet minskar med antalet observationer, och i en tillräckligt stor studie ökar chansen att även okända påverkansfaktorer fördelas lika (SBU).

Mät båda grupperna med samma utfallsmått, samma övervakning och samma tidsfönster; skillnader i protokoll mellan grupperna är en bias-källa (Läkemedelsboken).

Analysera bortfallet separat per grupp och redovisa hur saknade data hanterats (SBU:s bortfallsfel, Läkemedelsbokens punkt om skäl till saknade data och hantering av dem).

Håll grupptillhörigheten dold för dem som bedömer eller analyserar resultatet, eftersom oblindade bedömningar tenderar att visa större effekter (SBU).

Justera vid behov med matchning eller statistisk justering av baslinjevariabler, men utgå från att endast uppmätta confounders kan korrigeras (Läkemedelsboken).

Använd rena signaler du kontrollerar – UTM:er, kortkoder, kampanjkoder – och koppla serverbaserad försäljningsdata till experimentet så att båda grupperna mäts i samma källa (Mydrop).

Fastställ utfallsmått, uppföljningstid och analysmetod innan kampanjen går live, och undvik att räkna samma resultat i flera kanalrapporter (SBU om rapporteringsfel och dubbelpublicering).

Checklista för kontrollgrupper vid kampanjmätning