Post on 29-Oct-2018
C o p y r i g h t © 2 0 1 3 , S A S I n s t i t u t e I n c . A l l r i g h t s r e s e r v e d .
make connections • share ideas • be inspired
BBVA BancomerMetodologías de Riesgo
Collection Score: Actualización BayesianaJesús Luján Iván Solórzano Claudia Espinoza
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Índice1. Introducción
2. Teoría bayesiana
3. Desarrollo
4. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
5. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Introducción
Credit Scoring
Es una herramienta numérica utilizada para determinar el
nivel de riesgo asociado a cada solicitante de crédito o
clientes existentes.
A cada solicitante se le asigna una probabilidad de ser
“bueno” o “malo” la cual determina la puntuación o score.
Estos scores o probabilidades se utilizan para la toma de
decisiones en distintas etapas de la vida del crédito como
admisión, seguimiento y cobranza.
En particular, esta es una aplicación en la cobranza.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Introducción
Motivación
La naturaleza de corto plazo que tienen los modelos de
Credit Scoring para cobranza provocan que estos sean
más sensibles ante estacionalidad, cambios estratégicos e
inclusive variaciones macroeconómicas. Por esta razón se
propone actualizar con mayor frecuencia este tipo de
modelos mediante técnicas más rápidas que las
comúnmente utilizadas en Credit Scoring.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Introducción
Objetivo
Implementar un modelo que permita capturar
oportunamente cambios en la dinámica de la población
bajo estudio y mejorar la predicción de los modelos de
Recuperación y Cobranza con respuesta dicotómica.
Propuesta: Regresión Logística Bayesiana
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas1. Introducción
2. Teoría bayesiana
3. Desarrollo
4. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
5. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Inferencia Bayesiana
Objetivo: asignar una distribución de probabilidad a un
parámetro para describir la incertidumbre sobre su
verdadero valor.
Teorema de Bayes:
𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)
𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤
𝜔
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Inferencia Bayesiana
Objetivo: asignar una distribución de probabilidad a un
parámetro para describir la incertidumbre sobre su
verdadero valor.
Teorema de Bayes:
A PrioriEs la información
inicial que tenemos
de los parámetros
𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)
𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤
𝜔
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Inferencia Bayesiana
Objetivo: asignar una distribución de probabilidad a un
parámetro para describir la incertidumbre sobre su
verdadero valor.
Teorema de Bayes:
VerosimilitudEs la información
que nos dan los
datos o experiencia
sobre los
parámetros
𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)
𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤
𝜔
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Inferencia Bayesiana
Objetivo: asignar una distribución de probabilidad a un
parámetro para describir la incertidumbre sobre su
verdadero valor.
Teorema de Bayes:A Posterior
Es la información
actualizada del
parámetro dada
nuestra experiencia
y conocimiento
inicial
𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)
𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤
𝜔
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Si los datos son presentados en forma secuencial, la
posterior en un momento dado se convierte en la priori del
siguiente:
La forma de la distribución predictiva es:
En nuestro caso, se utilizará para determinar la capacidad
predictiva de nuestro modelo con cada actualización.
Proceso de actualización bayesiano
𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)
𝑝(𝑥|𝐷) = 𝑝 𝑥| 𝑤 𝑝 𝑤 𝐷 𝑑𝑤
𝜔
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Regresión Logística Bayesiana
La verosimilitud en la Regresión Logística Bayesiana es:
No tiene una distribución a priori conjugada, por lo que se emplearon dos métodos:
• Muestreo de Gibbs (Simulación – PROC GENMOD)
• Aproximación de Laplace (Numérico – PROC MCMC)
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Introducción
2. Teoría bayesiana
3. Desarrollo
4. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
5. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Desarrollo• Se seleccionaron dos segmentos de recuperación de la
cartera hipotecaria con información de dos años (Sep. 2009-
Sept.2011)
• Para cada segmento se desarrolló lo siguiente:
1. Desarrollo de una Scorecard “Frecuentista” con un año de info.
2. Ajuste de modelos bayesianos con el segundo año de info.
3. Elección de distribuciones a priori
4. Actualizaciones
5. Medidas de desempeño (Gini)
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Desarrollo
Nov.
2010
Ago.
2011
Sept.
2011
Oct.
2010 …Sep. 2009- Sept. 2010
Desarrollo
Frecuentista
+1 Mes +1 Mes +1 Mes +1 Mes
Actualizaciones Bayesianas
𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Desarrollo
𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)
Priori
Nov.
2010
Ago.
2011
Sept.
2011
Oct.
2010 …Sep. 2009- Sept. 2010
+1 Mes +1 Mes +1 Mes +1 Mes
Verosimilitud
Desarrollo
FrecuentistaActualizaciones Bayesianas
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Desarrollo
𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)
Nov.
2010
Ago.
2011
Sept.
2011
Oct.
2010 …Sep. 2009- Sept. 2010
+1 Mes +1 Mes +1 Mes +1 Mes
Posterior
Desarrollo
FrecuentistaActualizaciones Bayesianas
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Introducción
2. Teoría bayesiana
3. Desarrollo
4. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
5. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Descripción Casos PrácticosCartera
Hipotecaria
CON Solución
en este Mes
Mora 0
Mora 1
Mora 2
Mora 3
SIN Solución
en este Mes
Apoyados en Algún Mes
Anterior
Mora 0
Mora 1
Mora 2
Mora 3
Nunca
Apoyados
Mora 0
Mora 1
Mora 2
Mora 3
Segmentos Especiales
PEMEX
Ex
Empleado
Para los casos que no se les aplicó un apoyo en este mes. Se modeló la probabilidad de que el
contrato Suba o No Suba de mora en el siguiente mes.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Segmento: Previamente Apoyados mora 1
Variable Gini Peso
Máxima mora en los últimos 6 meses18.62
%
23.42
%
Mora promedio de los últimos 5 meses18.56
%
20.51
%
Número de veces que aumenta la
mora en los últimos 6 meses
17.65
%
19.51
%
Total pagado el último mes entre total
requerido5.20%
13.73
%
Número de Mensualidades Vencidas
al momento en que se aplicó la
solución
7.33% 8.32%
Número de meses que tiene la cuenta
más antigua de cualquier tipo6.82% 7.73%
Número de cuentas totales del cliente 5.90% 6.79%
Contratos que en algún mes
anterior al actual se les otorgó
algún tipo de apoyo y en este
mes se encuentran en mora 1.
Este segmento presenta mayor
inestabilidad ya que las
estimaciones de las
probabilidades observadas para
los nodos obtenidos por los
arboles cambian mucho a lo
largo del tiempo.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Segmento: Nunca Apoyados mora 2
Variable Gini Peso
Máxima mora en los últimos 6 meses 14.37
%
16.09
%
Mora promedio de los últimos 2
meses ponderado por saldo9.33%
15.38
%
Número de veces que aumenta la
mora en los últimos 6 meses
17.89
%
15.08
%
Número de meses que tiene la
cuenta más antigua de cualquier tipo9.01%
13.36
%
Variación de saldo del tercero al
segundo mes anterior9.22%
13.36
%
Total pagado el último mes entre
total requerido9.11%
13.36
%
Edad del cliente 6.93%13.36
%
Contratos que no se les ha
otorgado ningún tipo de apoyo y
en este mes se encuentran en
mora 2.
Este segmento presenta mayor
estabilidad.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Teoría bayesiana
2. Desarrollo del grupo de innovación
3. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
4. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Distribuciones a priori
10%
15%
20%
25%
30%
oct-10 dic-10 feb-11 abr-11 jun-11 ago-11
Gini – Apoyados m1
Frecuentista Uniforme
1 Mes V. (Priori Inf.) 6 Meses V. (Priori Inf.)
A Priori
𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)
𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤
𝜔
10%
15%
20%
25%
30%
Oct-10 Dec-10 Feb-11 Apr-11 Jun-11 Aug-11
Gini – No Apoyado m2
FrecuentistaNormal InformativaJeffreys
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Teoría bayesiana
2. Desarrollo del grupo de innovación
3. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
4. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Muestreo de Gibbs
Se desea conocer las características de x a partir de su
marginal, como la media y la varianza.
El muestreo de Gibbs consiste en generar una muestra
sin requerir .
Algoritmo (bivariado):
La distribución de converge a conforme
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Muestreo de Gibbs
Ejemplo de salida en SAS:•Demanda alto poder de
cómputo
•Gran número de simulaciones
para las colas
• Se debe desechar muestras
autocorrelacionadas
•Se debe desechar muestra del
periodo de calentamiento
•Funciona para casi cualquier
tipo de distribuciones iniciales
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Estimador Puntual vs Distribución Predictiva
29.1%
23.9%
25.8%
21.4%
16.6%
12.6%
10%
15%
20%
25%
30%
Oct-10 Nov-10 Dec-10 Jan-11 Feb-11 Mar-11
Gini: Apoyados mora 1
Normal (Predictiva) Normal (Media) Frecuentista
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Actualizaciones Bayesianas (Gibbs)1 Mes Verosimilitud – Normal
Se utilizó el proceso de actualización bayesiano:
𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)
𝑝 𝑤 𝛽 =𝑝 𝐷| 𝛽 𝑝(𝛽)
𝑝 𝐷| 𝛽 𝑝(𝛽)𝑑𝛽
𝛽
29.1%
23.9%
25.8%
21.4%
16.6%
12.6%
13.7%
15.7%
14.2%
12.5%
27.0%
22.7%
18.1%
15.9%16.2%
17.8%17.2%
15.5%
10%
15%
20%
25%
30%
Nov-10 Dec-10 Jan-11 Feb-11 Mar-11 Apr-11 May-11 Jun-11 Jul-11 Aug-11
Gini - Segmento: Apoyo m1
Frecuentista Act. 1 MV
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Máxima mora en los últimos 6 meses
Actualizaciones Bayesianas (Gibbs) Apoyado Mora 1, No Sube
-0.25
-0.20
-0.15
-0.10
-0.05
0.00
0.05
1MV
2MV
3MV
4MV
5MV
6MV
Betas – Rango 1
P. 25% Media P. 50% P. 75%
Frecuentista nov-10 ene-11 mar-11 may-11 jul-11
Tasas de Recuperación
0 1 2
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Actualizaciones Bayesianas (Gibbs) Apoyado Mora 1, No Sube
-0.15
-0.13
-0.11
-0.09
-0.07
-0.05
-0.03
-0.01
0.01
1MV
2MV
3MV
4MV
5MV
6MV
Betas – Rango 3
P. 25% Media P. 50% P. 75%
Mora Promedio de los últimos 5 meses
Frecuentista nov-10 ene-11 mar-11 may-11 jul-11
Tasas de Recuperación
0 3 4 5
7 9 0 3
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Actualizaciones Bayesianas (Gibbs) No Reestructurado Mora2, No Sube
Pérdida de Significatividad:
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Actualizaciones Bayesianas (Gibbs) No Reestructurado Mora2, No Sube
Significatividad Estable:
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Teoría bayesiana
2. Desarrollo
3. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
4. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Aproximación de Laplace
Con este método se busca ajustar la mejor Gaussiana a la distribución posterior., a
partir de la moda
Una desventaja de utilizar esta aproximación se presenta cuando la distribución
posterior tiene más de una moda; ya que la aproximación cambia dependiendo de
la moda que se utilice.
Es importante revisar que forma tiene la distribución posterior, ya que puede no ser
la mejor alternativa una aproximación con una Normal.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Actualizaciones BayesianasPriori Normal (Aproximación de Laplace)
29.1%
23.9%
25.8%
21.4%
16.6%
12.6%
13.7%
15.7%
14.2%
12.5%
27.0%
22.7%
18.1%
15.9%16.2%
17.8%17.2%
15.5%
10%
15%
20%
25%
30%
Nov-10 Dec-10 Jan-11 Feb-11 Mar-11 Apr-11 May-11 Jun-11 Jul-11 Aug-11
Gini - Segmento: Apoyo m1
FrecuentistaAct. 1 MVAct. 3 MV
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Temas
1. Teoría bayesiana
2. Desarrollo
3. Descripción de los modelos y resultados
a) Descripción de los segmentos
b) Elección de a Priori
c) Muestreo por Gibbs
d) Aproximación de Laplace
4. Conclusiones y próximos pasos
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Conclusiones• Fácil Implementación
Es despreciable la diferencia en Gini al utilizar un estimador puntual de la posterior en vez
de la predictiva. Esto mismo sucede si utilizamos la Aproximación de Laplace en vez de
Muestreo de Gibbs.
• Aumento de Gini y revisión de tendencia
Detección temprana de cambios de tendencia y pérdida de significatividad en las
variables, en base a este análisis se puede determinar en qué momento es necesario
cambiar el modelo. Además de que con 6 meses de información es suficiente para
mejorar considerablemente el Gini y conservar la tendencia de los rangos.
• Mayor ventaja en modelos inestables
La mejora en Gini con respecto al enfoque frecuentista, es mayor en el segmento
inestable que en el que presenta mayor estabilidad; esto se presenta en todos los
modelos ajustados.
Copyright © 2013 , SAS Institute Inc. All rights reserved.
Próximos Pasos• Actualización de modelos
Se podrían realizar actualizaciones periódicas de los parámetros de modelos ya
implementados para capturar cambios en las características de la cartera en gestión
de forma oportuna y con esto se mejorará el Gini.
• Primer paso en el reajuste de un modelo
En el momento en el que un modelo productivo es candidato a ser desechado, puede
ser que con una actualización bayesiana pueda mejorarlo.
• Backtesting
Se puede evaluar mediante actualizaciones bayesianas la capacidad predictiva de un
modelo y la significatividad de sus variables en periodos cortos para realizar una
detección temprana de un modelo poco predictivo.
Copyright © 2010, SAS Institute Inc. All rights reserved.C o p y r i g h t © 2 0 1 3 , S A S I n s t i t u t e I n c . A l l r i g h t s r e s e r v e d .
make connections • share ideas • be inspired
¡Gracias!
Jesús Luján
jesusantonio.lujan@bbva.com
Iván Solórzano
ivan.solorzano@bbva.com
Claudia Espinoza
claudia.espinoza@bbva.com