Download
1 / 11
110 likes | 299 Views
Case: Tekst på Call-To-Action link. En hjemmeside, der tilbyder hjælp til træning af mave-muskler , www.sixpackabsexercises.com testede 3 varianter af teksten på et call to action link. Der stod følgende på de 3 links: ” Next page … Read Sample of Book (=Control group)
E N D
Case: Tekst på Call-To-Action link En hjemmeside, der tilbyder hjælp til træning af mave-muskler, www.sixpackabsexercises.com testede 3 varianter af teksten på et call to action link. Der stod følgende på de 3 links: ”Next page … • Read Sample of Book (=Control group) • Watch Video Preview • Watch my #1 Abs Exercise On Video” Kilde: http://visualwebsiteoptimizer.com/split-testing-blog/video-conversion-rate, hvor der er flere cases.
Testresultater Konklusionifølgehjemmesiden • Both calls to action that hinted at a video significantly increased the number of visitors who clicked to the sales page. • The best-performing variation (Watch Video Preview) increased conversion by 14 %. • (69,6 – 60,9)*100 / 60,9 = 14%
A/B Test 3
A/B Test Afhænger konverteringen af CTA-teksten? Definition To variable er uafhængige, hvis de betingede fordelinger er ens (statistisk set) i populationen. To variable er afhængige, hvis de betingede fordelinger afviger betydeligt fra hinanden (statistisk set) i populationen. 4
A/B Test • Forudsætninger • Simpel tilfældig udvælgelse. • Mindst fem forventede observationer i cellerne. • Hypoteser • H0: De to variable er uafhængige • Ha: De to variable er afhængige • Beregning af teststørrelse • Vi kender det observerede antal observationer i hver celle • Vi beregner det forventede antal observationer i hver celle for det tilfælde, at de to variable er uafhængige. 5
Forventede antal observationer Ad 3: Beregning af teststørrelse • Sandsynligheder • P(Control group) = 307/958 • P(Ja) = 637/958 • Forventede antal observationer • P(Control group) x P(Ja) x 958 = (307/958) x (637/958) x 958 =(307 x 637) / 958 = 207,12 • Hvis de to variable er uafhængige, forventer vi at finde ca. 207 observationer i celle 1 (hvor vi faktisk observerer 187). • Generel skivemåde: 6
Beregning af Chi-i-anden teststørrelsen Differencen mellem ”observerede og forventede” sættes i anden for hvert par af sammenhørende celler. Chi-i-anden teststørrelsen er summen af disse celler. Den sammenfatter, hvor langt de faktiske antal ligger fra de forventede antal (nul-hypotesens ”forventning”). A/B Test
Omregning af teststørrelsen til en sandsynlighed sker vhja. Excels funktion CHI2.TEST. Denne returnerer sandsynligheden i den højre hale. Dvs. P(X2>obs.værdi), ssh. for den observerede værdi af teststørrelse eller større. A/B Test 8
Konklusion: Med P værdi på 0,04134 % afvises H0. Det må formodes at konverteringen afhænger af teksten på CTA-linket. Forskellene i fordelingerne skyldes næppe tilfældigheder som følge af stikprøven. Store værdier af χ2 giver små P-værdier. Små P-værdier er beviser mod nul-hypotesen H0. Vi afviser H0, når P er mindre end 5%. Der for afviser vi i dette tilfælde . A/B Test 9
Opgave i A/B Test Afhænger konverteringen af kilden? Eller med andre ord, påvirker trafikkilden konverteringen? Undersøg om konverteringen afhænger af kilden Kilde til data, (opgave 10.11, løsning i bunden af siden): http://www.sjsu.edu/faculty/gerstman/StatPrimer/crosstabs-exercises.htm 10
