Qu'est-ce que le bandit multi armé? Comment ce test est-il utilisé?

La plupart des lecteurs de ce blog connaissent les tests A / B. Pour rappel, les tests A / B sont une expérience dans laquelle un visiteur aléatoire de votre propriété numérique présente une version différente de l'original (également appelé " control ") à la recherche d'un optimiseur pour découvrir une version optimale qui maximise les conversions. Par exemple, c'est peut-être le bouton rouge qui maximise les clics ou c'est peut-être le bouton bleu. Qui sait? Eh bien, votre test A / B le saurait. Cependant, dans cette quête pour maximiser les conversions, il y a un coût que vous engagez: une partie importante de votre trafic est acheminée vers une variante perdante qui réduit directement les paramètres de votre entreprise (comme les ventes ou les conversions).

Dans un test A / B, le coût de l'augmentation des conversions serait en soi des conversions. Nous disons, touchez. "

Prenons l'exemple de Jim. Jim, un analyste UX, qui travaille avec une marque mobile qui lancera son dernier et meilleur téléphone la semaine prochaine. Pour exagérer la demande et déclencher des ventes incendiaires, Jim décide de lancer des ventes flash sur son application mobile pendant 3 jours.

Cependant, voici un avenant: Jim est conscient que la navigation dans l'application de la marque fait défaut (il a mené une enquête auprès des utilisateurs actifs pour arriver à la conclusion) et les visiteurs sont confrontés à des frictions lors de la localisation du produit. Pour améliorer la navigation, il décide de faire une expérience dans laquelle il crée une variante avec une navigation plus intuitive qui amène les utilisateurs directement à l'entonnoir de vente flash pour tester si cette version résoudrait les problèmes de découverte du nouveau téléphone. En résumé, Jim essaie d'améliorer un KPI crucial: le pourcentage de sessions dans lesquelles les utilisateurs ont pu découvrir le nouveau téléphone.

Regardez les données entrantes de l'expérience et notez que les paramètres de navigation dans l'application montrent une forte amélioration. Mais Jim est trop content: il veut partager les premiers résultats avec les top managers et les enthousiasmer. Au moment où elle s'apprête à pénétrer dans la cabine du CMO avec une copie des premières tendances pour la convaincre de diriger plus de trafic vers la nouvelle navigation, un data scientist l'arrête.

Jim, ces tendances sont excellentes, mais sont-elles statistiquement solides? Où est le sens?

"Mais nous n'avons pas le temps d'attendre! La vente se termine dans 3 jours!" Grogna Jim.

Qui a raison? Jim, qui est chargé de faire de son mieux en 3 jours ou le data scientist qui remet en question la signification statistique. Eh bien, ils le sont tous les deux et voici pourquoi. Rappelez-vous le commentaire précédent sur le coût de l'augmentation des conversions, étant des conversions? La situation de Jim justifie une approche qui minimise le coût de l'exécution d'un test A / B. La perte de conversions due à une variation sous-performante est appelée regret bayésien. Il est particulièrement important de minimiser les regrets dans les situations d'urgence ou dans les cas où le coût d'une mauvaise variance est suffisamment élevé pour que les entreprises hésitent à exécuter des tests A / B. Puisque Jim s'appuie sur une fenêtre de trois jours pour maximiser ventes, ne peut pas attendre la signification statistique ET perdre des conversions, qui prennent parfois des semaines (ou des mois, sur les sites Web à faible trafic). Si vous attendez une signification statistique, vous ne pourrez pas utiliser les résultats car la fenêtre de 3 jours sera terminée.

Si Jim avait des algorithmes de bandit multi-armes à utiliser, ce problème ne se serait pas produit. Voilà pourquoi.

Que sont les bandits multi-armés?

Le MAB est un type de test A / B qui utilise l'apprentissage automatique pour apprendre des données collectées pendant le test afin d'augmenter dynamiquement l'allocation des visiteurs en faveur de variations plus performantes. Cela signifie que les variations qui ne sont pas bonnes obtiennent de moins en moins d'allocation de trafic au fil du temps. Le concept de «répartition dynamique du trafic» est au cœur du MAB: il s'agit d'une méthode statistiquement robuste permettant d'identifier en permanence le degré de surperformance d'une version et de diriger la plupart du trafic de manière dynamique et en temps réel vers la variante gagnante.

Ce que le MAB garantit, c'est que, contrairement au test A / B, au cours du test, le nombre total de conversions sera maximisé. Le compromis avec le test A / B est que la certitude statistique est en arrière-plan dans le MAB car l'accent est mis sur les conversions et la recherche des taux de conversion exacts (de toutes les variations, y compris les moins performantes).

Le problème des bandits multi-armés

Le MAB est nommé d'après une expérience de pensée dans laquelle un joueur doit choisir entre plusieurs machines à sous avec différents paiements, et la tâche d'un joueur est de maximiser le montant d'argent qu'il ramène à la maison. Imaginez un instant que vous êtes le joueur. Comment maximiseriez-vous vos profits?

Comme vous avez le choix entre plusieurs machines à sous, vous pouvez déterminer les paiements en prenant des risques avec toutes les machines, en collectant suffisamment de données jusqu'à ce que vous sachiez avec certitude quelle machine est la meilleure. Faire cela vous révélera le taux de paiement exact de toutes les machines à sous, mais dans le processus, vous auriez gaspillé beaucoup d'argent sur les machines à bas prix. C'est ce qui se passe dans un test A / B. Ou, vous pouvez vous concentrer plus rapidement sur certaines machines à sous, évaluer les bénéfices comme dans le cas précédent et maximiser vos investissements dans ces machines à sous pour obtenir des bénéfices plus élevés. C'est ce qui se passe dans le MAB.

Source d'image (1)

Exploration et exploitation

Pour mieux comprendre le MAB, il existe deux piliers qui alimentent cet algorithme: "l'exploration" et "l'exploitation". La plupart des tests A / B classiques sont, par conception, pour toujours en mode "scan"; après tout, déterminer des résultats statistiquement significatifs est sa raison d'être, d'où une perpétuelle exploration. Dans un test A / B, le but est de découvrir le taux de conversion exact des variations. MAB ajoute une touche aux tests A / B: l'exploitation. En raison de la texture, de l'exploitation et de l'exploration “ maximiser les conversions et les bénéfices '' du MAB, exécutées en parallèle, comme une voie ferrée – pensez à l'algorithme qui scanne à un taux de nombreux visiteurs par seconde, atteignant des lignes gagnantes en constante évolution et allouer en permanence la majeure partie de votre trafic de manière dynamique à la variante qui a les meilleures chances de gagner à ce moment (exploitation).

Il peut sembler que le MAB utilise des heuristiques pour mapper plus de trafic à une meilleure variance de performances. Cependant, sous le capot, la mise en œuvre par VWO du MAB est statistiquement robuste. VWO utilise un modèle mathématique pour mettre à jour en permanence les taux de conversion de variance estimés et attribue la répartition du trafic en proportion directe à ces estimations. À mesure que l'estimation de la meilleure variance de performances s'améliore, cette variance obtient un pourcentage de trafic plus élevé. Si vous souhaitez apprendre les mathématiques de l'algorithme VWO MAB, vous pouvez en savoir plus sur un concept appelé Thompson Sampling (1).

Pendant le cycle de test, l'algorithme équilibre entre les phases d'exploration et d'exploitation. Au fur et à mesure que les utilisateurs à hautes performances obtiennent plus de conversions, la répartition du trafic continue d'augmenter, atteignant un point où la grande majorité des utilisateurs reçoivent la meilleure variance de performances. De cette façon, MAB permet à Jim, à partir de notre exemple précédent, d'implémenter progressivement la meilleure version de son application mobile, sans avoir à attendre que ses tests atteignent une signification statistique.

Si le MAB semble si étonnant, pourquoi quelqu'un ferait-il des tests A / B?

Il est important de comprendre que les tests A / B et MAB servent des cas d'utilisation différents car leur approche est différente. Un test A / B est effectué pour collecter des données avec la fiabilité statistique associée. Une entreprise utilise ensuite les données collectées, les interprète dans un contexte plus large, puis prend une décision.

Au contraire, MAB est un algorithme d'optimisation qui maximise une métrique donnée (qui sont des conversions d'un type particulier dans le contexte de VWO). Il n'y a pas d'étape intermédiaire d'interprétation et d'analyse, car l'algorithme MAB ajuste automatiquement le trafic.

Cela signifie que les tests A / B sont parfaits dans les cas où:

• L'objectif est de collecter des données pour prendre une décision commerciale critique. Exemple: Si vous décidez du positionnement d'un produit, les données de participation à différentes positions dans un test A / B sont un point de données important (mais pas le seul)
• L'objectif est d'apprendre l'impact de toutes les variations avec une confiance statistique. Exemple: Si vous avez travaillé dur pour développer un nouveau produit, vous souhaitez non seulement optimiser les ventes, mais également collecter des informations sur les performances afin que la prochaine fois, vous puissiez intégrer des informations pour développer un meilleur produit.

En revanche, MAB est parfait pour les cas où:

• Il n'est pas nécessaire d'interpréter les résultats / performances des variations et tout ce qui vous intéresse est de maximiser les conversions. Exemple: si vous testez un jeu de couleurs, vous ne souhaitez servir que celui qui maximise les conversions
• La fenêtre d'opportunité d'optimisation est de courte durée et le temps est insuffisant pour collecter des résultats statistiquement significatifs. Exemple: optimisation des prix pour une offre à durée limitée.

En conclusion, il est juste de dire que A / B et MAB ont leurs forces et leurs faiblesses: la dynamique entre les deux est complémentaire et non compétitive.

Voici quelques scénarios courants du monde réel, où le MAB a montré qu'il est clairement supérieur aux tests A / B:

1. Le coût d'opportunité des conversions perdues est trop élevé

Imaginez que vous vendez des diamants (ou une voiture) en ligne. Chaque conversion perdue vaut probablement des milliers de dollars en opportunités perdues pour vous. Dans ce cas, l'accent mis par le MAB sur la maximisation des conversions est parfait pour vos besoins d'optimisation.

2) Optimisation des taux de clics pour les médias couvrant les événements urgents

Au départ, évoquer des titres accrocheurs était le travail d'un éditeur, mais c'est clairement faux: demandez à nos amis du Washington Post (2). La courte durée de vie des nouvelles signifie qu'une optimisation rapide est essentielle. Ils optimisent et testent les titres, les miniatures de photos, les miniatures de vidéos, les articles de presse recommandés et les articles populaires pour générer un maximum de clics dans une courte fenêtre.

3) Optimisation continue

Les optimiseurs ont la possibilité d'ajouter ou de soustraire plusieurs éléments de variation et de les tester tous simultanément. Dans un test A / B traditionnel, il y a peu de liberté pour organiser les changements une fois que l'expérience est activée car le caractère sacré des données est sacro-saint.

4) Optimisation des revenus à faible trafic

S'il n'y a pas suffisamment de trafic, les tests A / B peuvent prendre beaucoup de temps pour produire une signification statistique. Dans de tels cas, une entreprise peut trouver préférable d'exécuter un MAB, car elle est capable de détecter la version potentiellement meilleure beaucoup plus tôt et d'y diriger plus de trafic.

Bien que le MAB ait ses mérites, il existe de nombreux scénarios où les tests A / B sont clairement la meilleure option:

1) Lorsque vous pointez sur la signification statistique

Malgré toutes ses forces, les expériences MAB ne sont pas la meilleure option lorsque vous voulez obtenir un gagnant statistiquement solide. Le test A / B est toujours la forme la plus rapide de signification statistique, bien qu'il puisse perdre certaines conversions dans le processus.

2) Optimisation pour plusieurs métriques

Les équipes d'expérimentation matures suivent plus de 4 objectifs par expérience, car les expériences sont constituées d'objectifs primaires et secondaires. Bien que les expériences MAB fonctionnent très bien en optimisant une mesure clé, elles ne fonctionnent pas bien pour plusieurs objectifs, car elles ne prennent en compte l'objectif principal que lors de l'allocation du trafic entrant.

3) Analyse post-expérience

La plupart des expérimentateurs aiment couper et découper les données collectées au cours d'une expérience pour vérifier comment les différents segments ont réagi aux modifications de leurs propriétés Web. Cette analyse est possible dans les tests A / B, mais peut-être pas possible dans le MAB, car il peut ne pas y avoir suffisamment de données disponibles pour les variations de sous-performance.

4. Incorporer l'apprentissage de toutes les variantes (y compris les plus pauvres) dans d'autres décisions commerciales.

Au cours du test, le MAB attribue la majeure partie du trafic à la meilleure variance de performances. Cela signifie que les variations sous-performantes n'obtiennent pas suffisamment de trafic pour atteindre la confiance statistique. Ainsi, bien que vous puissiez connaître en toute confiance le taux de conversion pour la meilleure variance de performances, une confiance similaire peut ne pas être disponible pour les sous-performances. Si l'acquisition de ces connaissances est importante pour une décision commerciale (vous voudrez peut-être savoir dans quelle mesure la variance perdante est comparée aux meilleures), un test A / B est la voie à suivre.

Résumer

Si vous êtes nouveau dans le monde de la conversion et de l'optimisation de l'expérience et que vous n'effectuez pas encore de tests, commencez maintenant. Selon Bain & Co (3), les entreprises qui améliorent continuellement l'expérience client croissent entre 4% et 8% plus rapidement que leurs concurrents. Les tests A / B et MAB sont des méthodologies d'optimisation efficaces: le MAB est une excellente alternative pour les optimiseurs qui sont pressés par le temps et peuvent participer avec une signification statistique en échange de plus de conversions dans une courte fenêtre. Contactez-nous à (e-mail protégé) si vous voulez un pinceau avec MAB. Vous pouvez également vous inscrire ici pour un test.