No te fíes de Analytics. Valida la significancia estadística de los datos

Imaginemos que en nuestro e-commerce tenemos un ratio de conversión del 10% para un producto y del 15% para otro producto. ¿Quiere esto decir que el producto que rinde al 15% es mejor que el que rinde al 10%? Y en consecuencia ¿Debemos centrar esfuerzos en posicionar mejor aquel con mayor ratio de conversión?

De entrada, lo primero que tenemos que tener claro es que mirar el ratio de conversión de manera aislada es un error. Como también es un error mirar de manera aislada cualquier otra métrica y extraer conclusiones comparando tan sólo si los valores son mayores o menores entre sí. Independientemente de si las diferencias resultan aparentemente significativas.

Significancia estadística

Lo correcto es que siempre se debería validar la significancia estadística de cualquier dato analizado. De esta manera, sabremos en qué medida los valores observados suceden por azar o bien hay una correlación real. Siempre que hablamos de un cierto nivel de significancia, nos referimos a la probabilidad de que un cierto resultado se de por mero azar. Formalmente, sólo deberíamos creernos aquello que tome un nivel de significancia igual o menor al 0,05. Es decir, se deba por azar en un 5% o, lo que es lo mismo, existen un 95% de posibilidades de que sea cierto.

Herramientas como Google Website Optimizer o cualquier herramienta de test, realizan esta validación de manera automática y dan por concluido el experimento cuando se llegan a unos niveles de certeza estadística superiores al 95%. En el informe de resultados de GWO, por ejemplo, la columna llamada “Probabilidad de ganar al original” nos da este valor. Esto nos garantiza que, mientras el experimento se ha ejecutado, el ratio de conversión que obtiene una versión de diseño alternativa no se ha debido al azar.

gwo

En cambio herramientas de analítica web como Google Analytics, más allá del conjunto de métricas estándar, no ofrecen por defecto ninguna validación estadística de los datos reportados. El problema es que normalmente vamos a extraer conclusiones y tomar decisiones sin una previa validación formal y estadística. Por ejemplo, observando el ratio de conversión asociado a ciertas palabras clave de entrada podríamos (alegremente) priorizar aquellas que mayor rendimiento ofrecen. Pero ¿Qué grado de confianza ofrece la métrica ratio de conversión? ¿Nos permiten estos datos invertir con garantías en ciertas palabras clave por encima de otras?

ztest

Por suerte, un bookmarklet llamado Z-Test desarrollado por Michael Whitaker se integra directamente con Google Analytics y nos da la significancia estadística para las métricas de objetivos y e-commerce.

Y aunque no este integrado con Google Analytics, la calculadora de significancia estadística de KISSinsights también nos ayudará en momentos puntuales 😉

Fuente: Daniel Rodríguez (Trucos Optimización).

Anuncios