Ab test e personalizzazione all’interno dell’attività di Conversion Rate Optimization
fare gli AB test rappresenta solo la parte operativa di un processo più ampio chiamato CRO. Per sapere che AB test fare, quali fare per prima, cosa inserire nelle versioni migliorative dipende dalle analisi fatte in precedenza che trovate spiegate e raccolte in un bel flusso in questo articolo. Installare un tool e fare un AB test senza gestire bene il flusso prima porta alla seguente conclusione:
il 70% degli Ab test fallisce.
le cause possono essere diverse:
- Non ho identificato la pagina giusta
- non ho identificato bene l’elemento che non funziona
- non ho identificato bene l’obiettivo del test.
- ho cambiato troppi elementi (sarebbe da gestire con un test multivariato e non un AB test) così uno migliorativo e uno peggiorativo portano il test a 0.
per questo motivo bisogna associare il tool ad una buona strategia e testare continuamente ovvero fare più test possibili. per far si che questo accada si consiglia la gestione tramite la metodologia dell’agile management.
cosa puoi testare?
- Microcopywriting
- Immagini
- Layout pagine
- Price
- CTA
- Bottoni (forma, colore, spazio)
tipologie di test: Ab test, slit URL e MVT
- AB test: è un test che ha solo un elemento differente all’interno della pagina
- MVT: un test di cui si cambiano più elementi all’interno di una pagina
- Split url test: è un AB test che ha le pagine con due URL diverse (normalmente la variante si può creare sui tool senza che esista un url vero). l’errore più comune è cambiare tutti gli elementi in pagina e fare due pagine completamente diverse. se hai fortuna ti va bene.
L’approccio statistico per l’analisi delle varianti vincenti: metodo bayesiano
Gli algoritmi per analizzare i dati più comuni sono quello frequentista e quello Bayesiano. google optimize sceglie il secondo.
- Durante il test si tiene conto di fattori quali novità della pagina, differenza tra utenti nuovi e di ritorno e/o giorni della settimana.
- Ogni giorno l’algoritmo rielabora i dati in base al nuovo traffico in ingresso e i risultati vengono perfezionati man mano che i dati vengono raccolti.
- Minimo 2 settimane di esperimento (per ammortizzare le ciclicità settimanali). Si può stoppare il test prima se si è disposti a correre un rischio maggiore del 5%; non è necessario un numero minimo di sessioni perché l’algoritmo bayesiano modella i risultati quotidianamente rispettando l’affidabilità statistica.
- La probabilità che una delle varianti/originale sia migliore delle altre è almeno del 95% allora la variante/originale viene presentata come leader.
Come si crea un Test
- Definizione di un obiettivo: ad esempio acquisto online, visita della pagina, tempo di permanenza sul sito
- definizione tipologie del test: AB test , split url o mvt
- creazione delle varianti: modifiche grafiche con lo strumento di editing oppure caricamento di una pagina con URL sul sito
- configurazione del test:si aggiunge l’obiettivo, si sceglie il target e, se necessario, si ponderano le varianti
- preview del test: si fa un test come se fosse avviato per controllare che partano gli obiettivi, che si veda bene la grafica ecc
- avvio del test:Il test viene pubblicato sul Web e gli aggiornamenti avvengono entro un minuto
- Monitoraggio ed analisi: . si aspettano, normalmente, 2 settimane e il 95% di affidabilità. Ma ci sono spazi di valutazione
Come leggere i risultati di un Ab test
- Sessioni Esperimento: numero totale di sessioni che partecipano all’esperimento e nel tempo.
- Miglioramento della variante rispetto all’originale: differenza nel tasso di conversione tra la variante e l’originale. E’ l’intervallo in cui al 95% rientrerà il miglioramento della variante rispetto all’originale.
- Probabilità di essere il migliore: probabilità che una data variante abbia un tasso di conversione migliore rispetto alle altre
- Probabilità di superare la base di riferimento: probabilità che la variante sia migliore dell’originale
- Intervallo di confidenza (50% e 95%): l’intervallo nel quale dovrebbero rientrare, il 95% (o il 50%) delle volte, i tassi di conversione delle varianti/originale. La mediana è il valore centrale di una serie di dati ordinati
- Grafico ad area: Le aree colorate rappresentano l’intervallo di confidenza giornaliero cioè, l’intervallo in cui il 95% delle volte rientrano i valori reali dei tassi di conversione.
TOOL
- VWO(unico freemium)
- AB tasty
- Optimizely
- Convert
