A/B testing operativo: setup, ipotesi, cultura organizzativa

Senza una prova, ogni decisione sul sito la vince chi ha più autorità in riunione. Il pulsante è verde perché al titolare piace il verde; il testo è quello perché lo ha scritto chi non si può correggere. Un test A/B trasforma quell'opinione in una scommessa registrata, che dopo qualche settimana risulta vera o falsa.

È una disciplina eccellente. Il guaio è che per funzionare ha bisogno di una materia prima che quasi nessuna PMI italiana possiede: il traffico. E quasi tutto ciò che si legge sull'argomento evita accuratamente di dirlo.

Vale la pena partire dal conto, perché è il conto che decide se il resto dell'articolo vi riguarda.

Quante visite servono per sapere davvero se una variante è migliore? Il numero dipende da due cose: quanto converte oggi la pagina e quanto piccolo è il miglioramento che volete riconoscere.

Partiamo da una pagina che converte al 3%, che per una pagina servizi è già un buon risultato. Per riconoscere un miglioramento del 10% relativo — cioè passare dal 3% al 3,3% — servono circa 53.000 visite per variante, 106.000 in totale. Per riconoscere un miglioramento del 20% ne bastano 14.000 per variante. Per un miglioramento del 50%, cioè un cambiamento grosso, circa 2.500 per variante.

Ora confrontate quei numeri con il vostro sito. Un'impresa di servizi ben posizionata fa fra le 800 e le 3.000 visite al mese su tutto il sito, di cui una frazione arriva alla pagina che vorreste testare. Il primo test finirebbe fra due anni.

Questo non è un dettaglio tecnico da risolvere con lo strumento giusto: è il motivo per cui, sotto una certa soglia, il test A/B non è una scelta di metodo ma un modo elegante di non decidere.

Tre condizioni, tutte necessarie. La pagina riceve almeno cinquemila visite al mese. La differenza che state cercando è grande, non un ritocco. E il risultato cambierebbe una decisione: se implementereste la variante comunque, il test è teatro.

In pratica, nelle PMI, le occasioni buone sono quasi sempre le stesse: la pagina di destinazione di una campagna a pagamento con volume costante, il modulo di contatto principale, la pagina di un servizio che porta da sola metà delle richieste. Tre pagine, non trenta.

Un'eccezione utile: se avete una campagna attiva, il test più economico non è sul sito ma dentro la piattaforma pubblicitaria, sugli annunci. Lì i volumi ci sono, l'infrastruttura è già pronta e i cicli sono di giorni invece che di mesi.

Sotto la soglia, la risposta non è rinunciare a migliorare: è cambiare strumento. Quattro alternative producono più valore di un test inconcludente.

Guardare le registrazioni di sessione. Venti sessioni riprese valgono un test A/B che non potete permettervi. Non vi dicono quale variante converte meglio, vi dicono dove la gente si blocca — che di solito è un'informazione più utile e più immediata.

Chiedere a chi ha comprato. Dieci telefonate ai clienti degli ultimi sei mesi, con una domanda sola: cosa la stava convincendo, e cosa l'ha quasi fermata. Le risposte non sono statistica ma sono verità, e costano un pomeriggio.

Applicare le cose che si sanno già. Ridurre i campi di un modulo, mettere i prezzi sulla pagina dei prezzi, rispondere entro pochi minuti, far vedere prove concrete: sono miglioramenti su cui non serve un test, perché la direzione è nota. Testarli è un modo per rimandarli.

Confrontare periodi, con onestà. Cambiate una cosa sola, guardate il mese prima e il mese dopo, e mettete in conto che il risultato è indicativo e non una prova. Dichiararlo per quello che è vale più che chiamarlo esperimento.

Un'ipotesi utile ha tre pezzi e sta in una riga. Il problema osservato, con il numero: «il 62% di chi arriva al modulo non lo invia». La modifica: «i campi passano da sette a tre». Il risultato atteso, dichiarato prima: «gli invii salgono di almeno il 20%».

Il terzo pezzo è quello che quasi tutti saltano, ed è quello che rende il test un test. Senza un risultato atteso scritto prima, qualsiasi esito si può raccontare come conferma di qualcosa. Con quello scritto, un test può fallire — che è esattamente il suo valore.

Il numero dell'ipotesi determina anche quanto durerà la prova: più piccolo è il miglioramento atteso, più visite servono. Se il conto dice che serve un anno, l'ipotesi va cambiata, non lo strumento.

Vince la variante. Si adotta e si scrive perché, così la prossima volta si parte da lì invece che da zero.

Vince il controllo. La variante si scarta. È un risultato buono quanto il primo: avete evitato di peggiorare il sito con una modifica che sembrava ovvia.

Nessuna delle due. La differenza rientra nel rumore. È l'esito più frequente ed è quello che quasi nessuno accetta: si guardano i numeri, si nota che la variante «sembra un po' meglio», e si adotta. Così si accumulano decisioni prese sul nulla, con la sicurezza di chi crede di aver misurato.

Un esito non conclusivo è un'informazione vera: la modifica non sposta abbastanza da essere visibile, quindi non è lì che si gioca la partita. Vale la pena scriverlo e passare oltre.

Se il sito è costruito con un impianto moderno, i test lato server sono la scelta giusta: la variante viene decisa prima che la pagina arrivi al browser, quindi non c'è lo sfarfallio che si vede con gli strumenti che riscrivono la pagina dopo il caricamento, e non si peggiorano i segnali di prestazione che Google misura.

Le soluzioni che agiscono nel browser restano valide su siti che non si possono toccare a livello di codice, ma si paga in velocità e in fedeltà della misura. Le piattaforme dedicate con costi a quattro cifre mensili hanno senso da volumi in cui il test è un'attività continua, non un'iniziativa.

In ogni caso, lo strumento è l'ultimo problema. Un'azienda che non ha il traffico non lo risolve comprando la licenza migliore.

Dove i volumi ci sono, il valore non viene dal singolo test ma dal ritmo: un'ipotesi nuova a settimana, una prova in corso in ogni momento, una revisione mensile di cosa si è imparato. Le aziende che lo fanno per qualche anno accumulano un vantaggio che non si compra, perché è fatto di cose vere sul loro pubblico specifico.

Serve però che qualcuno tenga l'elenco delle ipotesi ordinato per impatto atteso e facilità di esecuzione, e che i risultati vengano scritti da qualche parte che si possa rileggere. Senza quello, ogni test riparte dalle stesse tre idee.

La regola che riassume tutto: prima si guarda il traffico, poi si decide se testare. Nel dubbio, applicate le cose che già si sanno e tenete il test per le poche decisioni in cui la risposta non è ovvia — è così che impostiamo il lavoro sui siti che costruiamo, descritto in brand e web. Se volete capire se il vostro sito ha i volumi per testare, si guarda insieme.