Mautic Know-How
Mautic Know-How
Mautic Tutoriais para Iniciantes & Dicas para Especialistas

Testes A/B de Itens de Foco com o Mautic

O Mautic fornece testes A/B extensos e úteis para e-mail, mas há um outro canal para o qual gostaríamos de ter opções de testes A/B: Itens de Foco do Mautic. Com alguns truques e estatísticas codificadas, criamos nossa própria análise A/B.

O Valor dos Testes A/B, Testes de Divisão e Testes Multivariados

Todos nós os conhecemos: Testes A/B - aqueles ajudantes amigáveis quando se trata de comparar várias versões de um item.
No Mautic, há extensos testes A/B para e-mails: Permitem comparar as taxas de abertura de e-mail, cliques e downloads e formulários.

No entanto, existe um outro canal relevante que adoramos e para o qual gostaríamos de ter opções de testes A/B, que são os Itens de Foco do Mautic.
As perguntas para esses itens seriam um pouco mais complexas do que para os e-mails... Embora seja basicamente sobre "Qual das minhas variantes de item de foco (sobre conteúdo, ótica, comportamento) tem melhor desempenho?", O problema é que, para "melhor desempenho" existe uma grande variedade de critérios possíveis.

Tais como...

  • Taxa de cliques (para o tipo "Link") / Taxa de envio (para o tipo "Formulário")
  • Taxa de conversão (para quaisquer metas de conversão que possam ser definidas)
  • Comportamento quantitativo após o Item de Foco (tempo de espera subsequente / número subsequente de acessos à página)
  • Comportamento qualitativo após o Item de Foco ("O que as pessoas farão depois, após o Item de Foco ter sido apresentado?")
  • Qualidade de conversão (como dados demográficos, taxas de conversão de acompanhamento, volume médio de compras / valor vitalício / tamanho da oportunidade, ...)

Além disso, para alguns desses critérios, não devemos apenas comparar um Item de Foco com outro, mas também com a opção "sem Item de Foco" - um aspecto bastante importante! Além disso, precisamos garantir que comparamos maçãs com maçãs... Exemplo: para um Item de Foco apresentado após 30 segundos, os resultados devem ser comparados apenas ao comportamento sem Item de Foco dos visitantes que permanecem na página em questão por 30 segundos ou mais. 

Complicado, para dizer o mínimo. E não na caixa de ferramentas atual do Mautic. Mas muito interessante, então decidimos configurar uma análise A/B "do jeito sujo", ou seja, com alguns truques e algumas estatísticas codificadas para o caso específico. O objetivo não é apenas responder a perguntas para o projeto em questão, mas também colher experiência, entender as armadilhas e começar a trabalhar em formas de uma solução genérica no Mautic.

Implementação: Hackeando o Teste A/B para Itens de Foco do Mautic

Estes são os detalhes do caso mais complexo, a comparação "Item de Foco versus sem Item de Foco":

a) Como enviar uma determinada porcentagem de visitantes para cada comportamento
Na ausência de um randomizador real no Mautic, a maneira como ultrapassamos esse desafio é a seguinte:

  • Criar um segmento para cada grupo de teste de divisão
  • Criar uma campanha para colocar cada contato em um dos segmentos de teste de divisão, de acordo com a distribuição desejada
  • Dentro dessa campanha, criar uma condição "valor do campo de contato" que analise o último dígito da "Data da Última Atividade" do contato, distribuída igualmente. Assim, um Regex "[0-4] $" nos dará 50% aleatórios e, obviamente, outras divisões são facilmente possíveis dessa maneira.
  • Entregar itens de foco por meio de campanhas que levam em consideração o segmento de teste de divisão do contato.


  •  

Para o nosso exemplo, precisamos de: "Grupo A" = Item de Foco, "Grupo B" = sem Item de Foco.

b) Trabalhar no banco de dados
A outra parte do trabalho é recuperar todos os dados necessários diretamente do banco de dados e transformar esses dados nas informações desejadas.

  • Para cada Item de Foco (no nosso caso: Contatos no "Grupo A" aos quais foi entregue o Item de Foco)
    Mas também para os contatos que estão no "Grupo B", ou seja, teriam visto o Item de Foco se estivessem em um grupo dividido diferente. O que isso significa? Exemplo: Se o Item de foco em questão estiver definido para "apresentar após 30 segundos", precisamos encontrar as visitas das páginas do Grupo B no mesmo horário da página em que os usuários permaneceram por pelo menos 30 segundos.
  • E tudo isso por um prazo que precisa ser definido, é claro.
    O que criamos para essas estatísticas foi um pequeno script PHP que roda completamente fora do Mautic e retorna CSVs com os quais um humano pode trabalhar. Bom o suficiente por enquanto!

O que são os Aprendizados?

Como é frequentemente o caso dos elementos na página do Mautic, o atraso entre o comportamento do usuário e a ação da campanha pode ser uma chatice. Trabalhos cron mais frequentes podem melhorar a situação (sempre que possível), mas o design otimizado da campanha também ajudará.
Quando se trata de "como deve ser um teste A/B interno da Mautic?", faz sentido ter uma visão de longo prazo (talvez inspirada em ferramentas especializadas como o "Google Optimize", mas comece bem devagar com apenas uma comparação simples e uma definição bastante restrita de "desempenho melhor", isto é, hipótese.)
Outra coisa interessante seria ter um Item de Foco "nulo" que nos permita fazer uma comparação com/sem comparação mais facilmente, mesmo para Itens de Foco "acionados" (intenção de saída, rolagem, ...)
E é claro que geralmente deve estar alinhado com a aparência dos testes A/B de e-mail. 

Obviamente, a atual implementação "suja" é um trabalho árduo e com certeza não é para todos. No entanto, estamos realizando testes de vida real (mais do que voar às cegas) - então já é bastante útil.

Your browser is outdated!

Please update your browser to see this website correct. Update your browser now