20 puntos para fracasar con un TEST AB

Test A/B

Una de las grandes ventajas de los TEST A/B es que nos permiten probar con usuarios reales ciertos cambios y validar la eficacia de los mismos. Estos consejos son los que no tienes que seguir si quieres triunfar fracasar:

  1. No pruebes en base a un objetivo y a unas hipótesis basadas en datos. ¿Qué tu color favorito es el rosa? ¡A por ello!
  2. No valides las diferentes versiones de los TEST A/B, si alguna da algún problema en algún dispositivo o navegador ya te avisarán los usuarios; no les vamos a dar todo hecho.
  3. La significancia está sobrevalorada, ¿del 95%? Ni que fuésemos ingenieros.
  4. No esperes dos semanas para analizar los test ni a tener un mínimo de conversiones,  la vida es muy corta.
  5. Cuanto más elementos pruebes a la vez más divertido.
  6. ¿Definir el éxito del test? Eso es fácil,  éxito es que gane la versión que más te guste.
  7. No es justo que sólo las páginas que tengan un volumen adecuado de tráfico puedan participar en un test.
  8. Si tu página tiene poco tráfico es adecuada para hacer un test multivariante. Es como un cubo de Rubik.
  9. Quitar las IPs internas o de proveedores de la web, ¿alguien hace eso?
  10. No es necesario analizar la granularidad ni la evolución, o nos volveremos locos.
  11. La estacionalidad no afecta a los resultados del test A/B. ¿Alguien se comporta diferente por Navidad?
  12. Guardar un histórico con los resultados y las principales aprendizajes de los TEST/AB es un claro ejemplo de diógenes digital.
  13. Que la versión de prueba salga peor que el control no es ningún aprendizaje, es un fastidio.
  14. Si los resultados obtenidos no son los que esperabas, puedes probar otros objetivos de conversión.
  15. Tener varios test a la vez con solapamiento de tráfico es una manera de ahorrar tiempo.
  16. Segmentar es aburrido, para eso se inventaron las medias.
  17. Integrar tu herramienta de testing  con tu herramienta de analítica web no sirve más que para confundirte.
  18. Las fuentes de tráfico no influyen el test, ¡no te líes más de la cuenta!
  19. Si un test funciona bien en las versiones de escritorio, lo hará también en móvil. Es causa consecuencia.
  20. Si un usuario no ha convertido con la versión A, prueba a mostrarle la versión B.

 

Actualmente soy Responsable de Adquisición de Tráfico y Analítica Web en Iberia Express, donde trabajo después de haber pasado por otras empresas como Relevant Traffic, Línea Directa, Aegis Media e IMOP. En cuanto a formación Máster en Estadística Aplicada por la UNED, Award of Achievement in Web Analytics (Universiy of British Columbia); Experto Universitario en Métodos Avanzados de Estadística Aplicada por la UNED, Licenciada en InvestigaciónTécnicas de Mercado por la UOC y Licenciada en Publicidad y RR.PP por la Universidad de Navarra.

Twitter LinkedIn 

Hecho con cariño desde Madrid por las Madrid Geek Girls.