La Plus Value des Tests A/B, des Split-Testing et des Tests multivariables
Nous les connaissons tous : Les tests A/B - ces outils pratiques qui permettent de comparer plusieurs versions d'un même objet.
Dans Mautic, il existe de nombreux tests A/B pour les e-mails : Ils vous permettent de comparer les taux d'ouverture des e-mails, le nombre de clics, ainsi que le recours aux téléchargements et aux formulaires.
Cependant, il y a un autre canal pertinent que nous adorons, et pour lequel nous aimerions avoir des options de test A/B, et c'est les Objets Focus de Mautic.
Dans ce cas les questions seraient un peu plus complexes que pour les e-mails.... Bien qu'il s'agisse essentiellement de : "Quelles sont les variantes de mon objet focus (en termes de contenu, présentation, comportement) les plus performantes ?" Le problème est que pour définir "plus performantes" il existe une vaste variété de critères possibles.
Tels que...
- Taux de clic (pour le type " Lien ") / Taux de soumission (pour le type " Formulaire ")
- Taux de conversion (pour tous les objectifs de conversion définissables)
- Comportement quantitatif après l'Objet Focus (durée de séjour des utilisateurs / nombre de pages visitées)
- Comportement qualitatif après l'Objet Focus ("Que font les gens ensuite, après que l'Objet Focus a été affiché ?")
- Qualité de la conversion (telles que les données démographiques, les taux de conversion après suivis, le volume moyen d'achat / la valeur vie client / la taille des opportunités, ...)
De plus, pour certains de ces critères, nous ne devons pas seulement comparer un Objet Focus à un autre, mais aussi à l'option "aucun Objet Focus" - un détail très important ! De plus, nous devons nous assurer que nous comparons des pommes avec des pommes... Par exemple : Pour un Objet Focus qui s'affiche après 30 secondes, les résultats ne doivent être comparés qu'au comportement sans Objet Focus des visiteurs qui restent sur la page en question pendant au moins 30 secondes.
Compliqué, c'est le moins qu'on puisse dire, et ce n’est pas encore intégré dans la boîte à outils actuelle de Mautic, mais très intéressant quand même. Nous avons donc décidé de mettre en place une analyse A/B manuellement, c'est-à-dire avec quelques bidouillages ainsi que des statistiques codées en dur pour ce cas spécifique. L'objectif n'étant pas seulement de répondre aux questions liées au projet en cours, mais aussi d'acquérir de l'expérience, de comprendre les failles et de commencer à travailler sur les ébauches d'une solution générique sous Mautic.
Mise en œuvre : Modification du Test A/B des Objets Focus de Mautic
Voici les détails pour le cas le plus complexe, la comparaison "Objet Focus contre aucun Objet Focus" :
a) Comment envoyer un pourcentage donné de visiteurs vers chaque comportement
En l'absence d'une véritable fonction de randomisation dans Mautic, la façon dont nous avons contourné cette contrainte est la suivante :
- Créez un Segment pour chaque groupe du split-test.
- Créez une campagne pour placer chaque contact dans l'un de nos Segments split-test, en fonction de la distribution souhaitée
- Dans cette campagne, créez une clause de "valeur de champ de contact" qui prend en compte le dernier chiffre de la "Date de la Dernière Activité" du contact, et l’a répartie de manière égale. Ainsi, avec un Regex "[0-4]$ " on obtiens 50% aléatoire, et évidemment d'autres splits sont facilement possibles de cette façon.
- Diffuser les Objets Focus à travers des campagnes qui prennent en compte le Segment split-test du contact
Pour notre exemple, nous avons besoin : "Groupe A " = Objet Focus, " Groupe B " = aucun Objet Focus.
b) Travail sur la base de données
L'autre partie du travail consiste à récupérer toutes les données nécessaires directement à partir de la base de données et à transformer ces données en information utile
- Pour chaque type d’Objet Focus (dans notre cas : Contacts du "Groupe A" qui ont reçu l'Objet Focus en question)
Mais aussi pour les contacts qui font partie du "Groupe B", c'est-à-dire qui auraient vu l'Objet Focus s'ils avaient été dans un autre groupe du test. Qu'est-ce que cela signifie ? Exemple : Si l’Objet Focus en question est réglé sur "Afficher après 30 secondes", nous devons trouver les pages visitées par le groupe B sur la même page où les utilisateurs sont restés au moins 30 secondes. - Et tout cela pour une période de temps qui doit être définie, bien sûr.
Pour ces statistiques, nous avons créé un petit script PHP qui fonctionne complètement en dehors de Mautic, et qui retourne des CSVs avec lesquels un humain peut travailler. Ce qui est suffisant pour l'instant !
Quelles sont les leçons apprises?
Comme c'est souvent le cas pour les éléments figurant sur la page de Mautic, le délai entre le comportement de l'utilisateur et l'action de la campagne peut être un peu long. Des tâches cron plus fréquentes peuvent améliorer la situation (dans la mesure du possible), mais une campagne optimisée sera également utile.
Quand on se demande à quoi devrait ressembler un test A/B interne de Mautic, il est logique d'avoir une vision à long terme (peut-être inspirée par les outils spécialisés comme "Google Optimize", mais en commençant beaucoup plus petit avec une simple comparaison et une définition plutôt étroite du terme "plus performant", c'est-à-dire une hypothèse).
Une autre bonne chose serait d'avoir un Objet Focus "vide" qui nous permet de faire une comparaison avec/sans plus facilement, même pour les Objet Focus " déclenchés " (intention de sortie, défilement, etc.)
Et bien sûr, il devrait normalement être conforme à l'aspect et au style des tests A/B pour e-mails.
Bien sûr : La mise en œuvre actuelle des tests A/B "manuels" est un travail difficile et ne convient absolument pas à tout le monde. D'un autre côté, cela nous donne des résultats réels et précieux (au lieu d'utiliser les Focus Items en vol aveugle). Et nous acquérons également l'expérience nécessaire pour une future implémentation au sein de Mautic.