Métodos Estadísticos para la Planificación de Campañas de Adwords

Justo IbarraSenior Analyst – Intellignos

jibarra@intellignos.com

Situación Inicial

Se utiliza Adwords para generar subscripciones a un Newsletter Deportivo.

La campaña muestra anuncios en español y en inglés. Se compraron 4 Keywords: Basket, Beisbol, Fútbol y Soccer. Se crearon dos grupos de anuncios, uno para fútbol y otro para el resto de los deportes.

Se emplean tanto la concordancia amplia como específica. Los copys tienen diferente nivel de calidad.

Estructura de la Campaña

Campaña Grupo de anuncios Keyword Concordancia CalidadEnglish Futbol Soccer Amplia 8

Otros Deportes Basket Amplia 5Español Futbol Futbol Amplia 0

Otros Deportes Beisbol Exacta 7

¿Cuánto influye cada uno de estos aspectos en el CPA global de nuestra campaña?

Los Desafíos

¿Es posible ajustar un modelo estadístico a una campaña con estas características? ¿Se puede determinar el impacto de cada aspecto en el CPA Global de nuestra campaña? ¿Qué combinación arrojaría mejores resultados? ¿Es posible estimar el CPA a partir de los datos disponibles?

El Modelo Estadístico

En función de los datos disponibles recurrimos a un modelo de Regresión Lineal Multivariante.

Este modelo busca estimar los valores de una variable independiente numérica a partir de los valores de un conjunto de variables independientes numéricas y dicotómicas (dummy).

Estadísticamente se expresa: Y = + X1 + X2 + ... + Xn + donde:Y = variable dependienteX1 , X2 , Xn = variables independientes

= coeficientes de regresión= error de predicción

Entendiendo el Modelo

La forma más sencilla de estimación lineal es utilizar el valor promedio de CPA, pero esto elimina sus variaciones

Entendiendo el Modelo

La regresión lineal busca estimar el CPA usando información de otras variables para disminuir el error de estimación

Entendiendo el Modelo

Lo importante es crear un modelo que permita maximizar la proporción de varianza explicada empleando pocas variables explicativas. Existen algunas restricciones a considerar:

- Colinealidad: las variables explicativas son independientes entre sí.- Homocedasticidad: el error de estimación tiene esperanza cero y distribución normal para todos los valores considerados.- No autocorrelación de los residuos: los residuos no presentan autocorrelación serial.- Especificación correcta: todas las variables explicativas han sido incluidas en el modelo y no se presenta sobre-determinación.

Planteamiento del Modelo

Para estimar el CPA planteamos las siguientes hipótesis:

- El CPA guarda relación directa con la cantidad de clics, el CPC y la posición promedio.- Mantiene relación inversa con la Calidad del Anuncio y el CPC Máximo.- Las Keywords más relevantes y el criterio de búsqueda exacto disminuyen el CPA.- La hipótesis nula indica que el CPA no es afectado por estas variables en grado significativo.

Analizando los Datos

Primero es necesario realizar la transformación de variables categóricas en dicotómicas (dummy) de la siguiente forma:

Var. Original:

Categorías:

Var. Dummy:

Categorías:

Keyword

Basket Beisbol Fútbol Soccer

d_Basket d_Beisbol d_Fútbol d_Soccer

Basket = 1Beisbol = 0Fútbol = 0Soccer = 0

Basket = 0Beisbol = 1Fútbol = 0Soccer = 0

Basket = 0Beisbol = 0Fútbol = 1Soccer = 0

Basket = 0Beisbol = 0Fútbol = 0Soccer = 1

Analizando los Datos

Es posible analizar los datos con Excel utilizando el complemento de análisis de datos que debemos instalar así:

1- Haga clic en el Botón Microsoft Office y, a continuación, haga clic en Opciones de Excel.

2- Haga clic en Complementos y, en el cuadro Administrar, seleccione Complementos de Excel.

3- Haga clic en Ir.

4- En el cuadro Complementos disponibles, active la casilla de verificación Herramientas para análisis y, a continuación, haga clic en Aceptar.

Tendremos ciertas limitaciones: - El formato de las variables debe ser numérico.- Los datos deben estar un rango continuo y sin celdas vacías.- No podemos analizar más de 16 variables independientes.- No podemos ajustar los criterios de entrada de las variables.

Analizando los Datos

Datos -> Análisis de Datos -> Regresión

Analizando los DatosRango Y -> var. dependiente Rango X -> var. Explicativas

Analizando los DatosObtendremos una salida de resultados de la siguiente forma

Analizando los Datos

Empleando el software SPSS podremos incrementar la capacidad de análisis estadístico y resolver los problemas que conlleva Excel respecto de la estructura de los datos.

El programa seleccionara las variables que integran el modelo y podremos realizar test para comprobar el cumplimiento de los supuestos que limitan el empleo de la regresión lineal.

ADVERTENCIA: Voy a mostrar números y fórmulas es el momento

apropiado para los que se quieran escapar de la sala

El éxodo masivo

AHORA QUE SE FUERON TODOS

Interpretando los Resultados

Existen dos modelos posibles uno que explica el CPA solo en base a los clics y otro que combina clics y gasto en Adwords.

Coeficiente de Correlación varía entre -1 y 1:1 correlación perfecta positiva-1 correlación perfecta negativa0 independencia estadística

Coeficiente de Regresión Lineal varía entre 0 y 1:Indica la proporción de varianza atribuible a la incidencia de las variables explicativas en este caso casi un 42%

Varianza o suma de cuadrados:Se descompone en la parte explicada por el modelo y la parte residual no explicada

Varianza Total =

Varianza Explicada =

Varianza Residual =

Interpretando los Resultados

Los coeficientes de regresión del modelo indican el impacto de las variables sobre el CPA

Coeficientes Beta ponderan el impacto de los cambios en los

valores de las variables explicativas: * X

Coeficientes estandarizados homogeneízan la escala de

medición para permitir comparar el impacto de las

variables

Nivel de Significación estadística su valor crítico

debe ser inferior a =0,05 o sea un error del 5%

Para que un coeficiente sea significativo el intervalo de confianza debe excluir al valor cero del rango que

cubre el mismo

La ecuación de la recta de regresión en nuestro caso sería:

CPA = - 0,022 + 0,024 * Clic +/- 0,42 error

Interpretando los Resultados

Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos:

La distribución de los residuos estandarizados debería ajustarse a una curva normal. En este caso se observa una mayor desviación hacia la derecha

lo que podría indicar que estamos subestimando sistemáticamente el CPA

La probabilidad acumulada de los residuos estandarizados debería

ajustarse a la línea diagonal. En este caso tenemos mayor cantidad de

residuos con valores pequeños que lo esperado lo que indica desajuste.

Interpretando los Resultados

Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos:

La distribución de los residuos estandarizados debería seguir un

patrón irregular para todos los valores. En nuestro caso encontramos

problemas de estimación cuando el CPA es cero o mayor a $ 0,60

Sobrestimación

Subestimación

La distribución de los residuos estandarizados debería seguir un

patrón irregular para todos los valores. En nuestro caso encontramos

problemas de estimación a medida que los valores predichos crecen

Subestimación

Sobrestimación

Interpretando los Resultados

Sin embargo no son tantos los casos donde el error de predicción es superior a 2 desvíos estándar:

Solo en 9 casos entre 124 la estimación realizada excedió el margen de error

determinado por una distribución normal

La línea media representa la recta de regresión lineal y las líneas en los

márgenes los límites superior e inferior de la estimación al 95% de confianza

Corrigiendo el Modelo

El modelo tiene errores de especificación porque la cantidad de clics es una función dependiente de otras variables. Para resolverlo plantearemos un nuevo modelo más complejo:

CPA

Clics

CPC Promedio

Impresiones

Posición Promedio

CPC Máximo

El nuevo Modelo

Este modelo plantea una regresión en dos etapas, en la primera se estiman los clics y el CPC promedio y posteriormente el CPA. Las hipótesis se formulan de la siguiente manera:

Mayor cantidad de impresiones y mejor posición incrementan la cantidad de clics obtenidos.

Mejor posición y mayor CPC que estamos dispuestos a pagar incrementan el CPC promedio de la campaña.

Mayor cantidad de clics y mayor CPC promedio a igual tasa de conversión incrementan el CPA final.

Comparando los Resultados

Puestos frente a frente los modelos comprobamos considerables mejoras en los estadísticos:

Mientras el primer modelo OLS solo permitía explicar el 42% de las variaciones

en el CPA el modelo 2SPS da cuenta del 62% lo que es una mejora de casi un 50%

El error del modelo se redujo considerablemente lo que incrementa la

precisión en las estimaciones del CPA

Estadísticos Modelo OLS Modelo 2SLS % de MejoraCoeficiente R 0,65 0,79 22%Coeficiente R^2 0,42 0,62 49%R^2 Ajustado 0,41 0,61 49%Error Estandar 0,22 0,09 -59%

Coeficientes Modelo OLS Modelo 2SLSConstante -0,022 - - - Clicks 0,024 0,032 CPC Promedio - - - -1,910 Error del Modelo 0,420 0,180

Además algunas de las restricciones dejan de aplicarse para los modelos 2SLS como la colinealidad entre variables.

Comparando los Resultados

Es necesario graficar los residuales para comprobar si existen problemas en el modelo:

Los residuales de la regresión se distribuyen con un mayor ajuste a la curva

normal debido a la mejora del modelo.

La dispersión del CPA pasa a estar explicada por 2 variables los clics y el CPC promedio lo que permite ajustar un plano

de regresión más adecuado.

La crisis existencial

Todo muy lindo nos rompemos la cabeza tratando de entender la Regresión Lineal pero…

COMO C@R@J@ PODEMOS ESTIMAR EL CPA EN ADWORDS!!!

Estimando el CPA

Es muy fácil y en realidad ya lo hicimos…

APLICANDO LA FÓRMULA!!!Y = + X1 + X2 +

O en nuestro análisis:

CPA = 0*constante + 0,032*clics – 1,19*CPC Prom. +/- 0,18 error

Estimando el CPA

Con ello vamos a crear distintos escenarios…

APLICANDO LA FÓRMULA!!!

Resultados de la campaña durante el primer mes:

Clics: 894 Prom. diario: 28,8

Conversiones: 53 Prom. Diario: 1,71

CPC Prom.: $0,05 CPA Prom.: $0,82

Estimando el CPA

Escenario 1: se mantienen los clics y CPC promedioCPA = 0,032 * 28,8 clics – 1,19 * $0,05 CPC Prom. +/- 0,18 error

CPA Estimado: $0,86 CPA Mínimo: $0,68 CPA Máximo: $1,04

Escenario 2: 80% de los clics y 60% del CPC promedioCPA = 0,032*23,1 clics – 1,19 * $0,03 CPC Prom. +/- 0,18 error

CPA Estimado: $0,70 CPA Mínimo: $0,52 CPA Máximo: $0,88

Escenario 3: 120% de los clics y 150% del CPC promedioCPA = 0,032*34,6 clics – 1,19 * $0,07 CPC Prom. +/- 0,18 error

CPA Estimado: $1,02 CPA Mínimo: $0,84 CPA Máximo: $1,20

Así podemos testear todos los escenarios que creamos probables

Precisión de la Estimación

Mucha estadística pero…

¿Funciona realmente?A las pruebas me remito…

CPA Real $ 0,89CPA Estimado $ 0,86Margen de error 3%

Conclusiones

Al ajustar el primer modelo de Regresión Lineal pudimos establecer las variables que carecían de incidencia como factores explicativos.

Los resultados del modelo OLS no fueron satisfactorios por lo que se busco un modelo alternativo.

El modelo 2SLS arrojó resultados más satisfactorios permitiendo mejorar en un 50% la capacidad explicativa respecto del modelo OLS.

El uso de escenarios alternativos nos permite realizar una planificación racional basada en datos estadísticos.

Al emplear modelos estadísticos mejoramos la comprensión de la dinámica de las campañas de Adwords.

Tips para analistas

Desarrollar modelos estadísticos con sustento lógico.

Testear diferentes modelos hasta encontrar el más apropiado a las variables que disponemos.

Validar si se cumplen los supuestos y restricciones para no extraer conclusiones erróneas.

Las conclusiones son válidas en tanto no se produzcan transformaciones de las condiciones estructurales que analiza el modelo estadístico.

Es posible que existan errores de especificación debidos a la falta de inclusión de variables relevantes.

Los modelos deben revisarse y ajustarse a cada campaña e inclusive periódicamente en una campaña de larga duración.