Qu’est ce que le A/B testing ?

Je vais dans ce billet vous présenter brièvement ce qu’est le A/B testing (également appelé split testing). Dans un second billet je parlerais de la représentativité de ce genre de test (c’est à dire je répondrais à la question « la décision que j’ai pris à l’aide de mon A/B test est-elle la bonne ? »).

L’A/B testing permet de choisir entre plusieurs modifications de votre site celle qui maximisera un certain critère (taux de conversion, durée de la visite etc.).
Le concept du A/B testing est complètement idiot : il s’agit de couper aléatoirement ses visiteurs en plusieurs groupes, et de fournir à chaque groupe une expérience utilisateur différente. Un groupe sera appelé le groupe de contrôle (groupe A), il est constitué des visiteurs de votre site qui navigueront sur le site classique. Un (ou plusieurs) autre groupe, noté B ou appelé groupe de traitement, aura lui une version différente du site. Pour chacun de ses groupes, on mesure le critère, la version de votre site qui donne la meilleure valeur au critère est celle que vous mettrez en place.

Exemple de A/B test
Vous avez des pages de vente de produits (des livres par exemple) avec un gros bouton du type :

Vous voulez savoir si en faisant clignoter le texte « Acheter » avec une couleur fluo vous aurez un meilleur taux de click. Vous faites donc un A/B test. 90% de vos visiteurs restent avec le bouton classique tandis que 10% ont le bouton avec le texte en vert fluo clignotant.
Vous avez 10000 visiteurs qui passent, et les résultats sont les suivants :

La conclusion naturelle qui va être la votre sera : je garde le bouton comme il est car le taux est meilleur. On verra dans un billet prochain si cette décision est bonne…

A retenir (avant de passer à la suite)
Le A/B testing est une technique qui permet de choisir entre plusieurs alternatives en estimant l’impact d’un choix sur un critère quantifiable.
Il est important de remarquer qu’on choisit une solution meilleure qu’une autre avec le A/B testing, mais qu’en aucune manière cette méthode a pour but de quantifier le ROI d’un changement.

Problèmes du A/B testing
Voilà quelques problèmes qui peuvent se poser :

• Les critères sont qualitatifs mais ne donnent pas d’explication aux raisons comportementales qui font que le critère varie.

• Lors d’un test le critère est bon pour un choix particulier mais en mise en production les choses sont différentes. Deux possibilités : le test n’est pas significatif (voir le deuxième billet), ou alors le changement ne passe pas à l’échelle (par exemple il surcharge le serveur donc fait fuir les visiteurs).

• Les utilisateurs sont majoritairement des fidèles, ils sont donc déjà formatés et le A/B test ne pourra jamais être probant (sauf si il dure très longtemps).

• Il y a trop de paramètres qui varient en même temps, de plus ces paramètres sont corrélés.

Lire la suite …