Cosa valutare prima di scegliere
Che cosa puoi mettere a confronto
Gli strumenti non permettono tutti le stesse varianti. Controlla se puoi cambiare l’oggetto, il testo di anteprima, il nome del mittente (la persona oppure il marchio) e il contenuto, o addirittura il giorno di invio. Per una lista italiana il mittente è spesso il test più istruttivo: una email firmata dal titolare si legge in modo diverso da una firmata dall’azienda. Se lo strumento consente solo l’oggetto, resti molto limitato.
Quota di lista destinata al test
Di solito scegli la percentuale di contatti che riceve le due varianti, mentre il vincitore parte verso gli altri. Con liste di poche centinaia di indirizzi quella quota è troppo piccola per concludere qualcosa, e conviene dividere tutta la lista a metà e leggere il risultato come indizio. Verifica che lo strumento permetta di impostare la quota a mano e non ti obblighi a un valore fisso.
Criterio con cui vince una variante
Se il vincitore viene scelto sulle aperture, sei esposto al problema delle aperture automatiche generate dalla privacy di Apple Mail, che gonfiano i numeri. Cerca strumenti che consentano di decidere sui clic o su una conversione, e che ti lascino scegliere se il vincitore parte da solo o se vuoi approvarlo. L’invio automatico del vincitore è comodo, ma ha senso solo quando il criterio è stato scelto con cura.
Durata del test e calendario
La finestra di attesa prima di inviare il vincitore va decisa in base alle abitudini della tua lista: un negozio di quartiere legge la posta la sera, un ufficio durante la mattina. Evita di far cadere il test su un ponte, su Ferragosto o in settimana di saldi, perché il comportamento cambia per ragioni che non c’entrano con le varianti. Verifica se lo strumento consente un’attesa di molte ore e non solo di pochi minuti.
Piano che include davvero i test
Non basta che il fornitore citi gli A/B test nella pagina delle funzioni: spesso sono inclusi solo da un certo livello e cambiano per tipo di test, ad esempio solo sulle campagne e non sulle automazioni. Leggi la tabella dei piani, guarda quale scatto di prezzo ti serve per sbloccare la funzione e prova a creare un test durante il periodo di prova, prima di legarti a un abbonamento annuale.
Archivio dei test e dei segmenti
Un test serve se lo ricordi: scrivi l’ipotesi, le varianti e il risultato in un registro che condivide chi si occupa della comunicazione, anche solo un foglio di calcolo. Controlla se lo strumento conserva lo storico dei test e se puoi ripeterne uno su un segmento diverso, ad esempio clienti nuovi e abituali. I risultati sulla tua lista valgono più di qualsiasi regola generale letta su un blog.
Domande frequenti
Che cosa conviene testare per primo?
Parti dall’oggetto, perché è ciò che decide se il messaggio viene aperto, e prova una sola differenza per volta: lunghezza, presenza del nome del negozio, una domanda al posto di un’affermazione. Il secondo test utile è il mittente, persona o marchio. Solo dopo passa al contenuto, ad esempio un solo pulsante contro due link, e alla posizione dell’offerta. Cambiare tre cose insieme ti lascia senza sapere quale abbia funzionato.
Con quanti iscritti ha senso fare A/B test?
Non c’è un numero magico valido ovunque: più sono i destinatari per variante, più il risultato è credibile, e le differenze piccole richiedono liste grandi per emergere. Se hai poche centinaia di iscritti, usa i test per scoprire se esistono differenze enormi, non sottili, e ripetili su più invii prima di cambiare abitudini. Su liste molto piccole una variante che vince una volta può perdere la volta dopo senza che sia cambiato nulla.
Cosa faccio se le due varianti hanno lo stesso risultato?
È un dato utile: significa che quella scelta non conta per il tuo pubblico, quindi risparmi energie e puoi tenere la versione più semplice o più coerente con il tono del marchio. Annotalo nel registro dei test e passa a un’ipotesi più ambiziosa, ad esempio un’offerta diversa o un mittente diverso. Non forzare un vincitore leggendo differenze di una frazione di punto: è l’errore più frequente quando la lista è piccola.
Quanto tempo aspetto prima di inviare la variante vincente?
Aspetta abbastanza perché chi legge la mattina e chi legge la sera abbia avuto modo di rispondere: per un negozio rivolto al pubblico questo significa lasciare passare almeno una giornata, per un invio B2B conviene attendere anche il giorno lavorativo dopo. Se la vendita finisce a mezzanotte non hai spazio e devi testare in anticipo su un campione. Controlla che lo strumento ti permetta di impostare l’attesa in ore e non solo in minuti.
Posso fare un A/B test su un’automazione di benvenuto?
Dipende dallo strumento e dal piano: alcuni limitano i test alle campagne singole, altri li estendono ai percorsi automatici. Se il tuo benvenuto è la mail più letta, vale la pena fare il test: la lista entra poco alla volta, quindi servono settimane prima di avere numeri sufficienti. Cambia una variabile per volta e non toccare il resto del percorso durante il test, altrimenti non saprai più a quale modifica attribuire l’effetto.
Posso testare un oggetto con emoji o con parole come “ultime ore”?
Puoi, ma ricordati che il test misura il comportamento, non la correttezza. Un oggetto che vince perché promette un’urgenza falsa rischia di essere una pratica commerciale scorretta: se scrivi che lo sconto finisce stasera, deve essere vero, e per i dubbi sul Codice del consumo conviene sentire un consulente. Anche le emoji vanno provate con cautela, perché alcuni client le mostrano male. Fai sempre un invio di prova prima.
Un A/B test richiede un consenso diverso?
In linea di principio il test non cambia la finalità per cui l’iscritto ha dato il consenso: sono sempre messaggi di marketing che ha accettato di ricevere, con le stesse regole su informativa e disiscrizione. Diverso sarebbe usare i risultati per profilare i singoli in modo non previsto dall’informativa. Se non sei sicuro di cosa hai scritto nel modulo di iscrizione, fai verificare il testo al tuo consulente privacy o al DPO.
Quali test non vale la pena fare?
Evita di testare dettagli che nessun lettore nota, come la tonalità di un pulsante o una virgola nell’oggetto, perché consumano la poca lista che hai. Meglio evitare anche confronti tra due offerte in cui una è chiaramente più generosa: vincerà quella, e avrai solo regalato margine. Valgono invece i test tra messaggi realmente diversi, come una testimonianza contro un elenco di vantaggi o un invito con data contro uno senza.