Post on 15-Jan-2015
27 | sep | 2012
Escuela de Negocios Itaú Unibanco
Evaluación de la Capacitación
Congreso Clade 2012
AGENDA
1. Breve Reseña – Itaú Unibanco
2. ¿Cómo es el proceso de las acciones de desarrollo?
3. ¿Por qué es importante medir los resultados de la capacitación?
4. ¿Cuáles son los beneficios del uso de la medición de resultados de la formación
para las organizaciones y los recursos humanos?
5. Presentación de los cuatro niveles de medición de resultados de la formación, en
base a la metodología de Kirkpatrick.
6. Las metodologías para la aplicación del estudio, aplicabilidad, impacto y retorno
de la inversión.
7. Presentación de un caso de retorno de la inversión.
1 . Breve reseña de Itaú Unibanco
1er Banco Brasileño y uno de los 15 mayores* bancos del mundo por
valor de mercado.
En Brasil
Presente en el 93% de los municipios con más de 50 mil habitantes.
4.714 puntos de atención, de los cuales 3.844 son sucursales y 870 son PAB.
102 mil colaboradores.
1,08 MM de participaciones en capacitación con 3,4 MM de horas en 2011.
U$ 76,5 MM fue el presupuesto para capacitación en 2011.
En América Latina
Presente en 4 países (Argentina, Chile, Paraguay, Uruguay).
273 sucursales y PAB.
Oficinas de representación en Perú y Colombia dedicadas a la operación de Itaú BBA centrada en
inversores institucionales.
México con foco en tarjetas de crédito.
5,8 mil colaboradores.
* Datos al 29/jun/2012 (fuente: Bloomberg)
2. El proceso de preparación de las acciones de desarrollo es cíclico, continuo y dinámico...
1. Diagnóstico:
estudio de la necesidad de acciones de desarrollo a partir: de los gaps de conocimiento y de
habilidades + de las evaluaciones de efectividad de
las acciones de desarrollo + estrategia de negocio
2. Diseño: elaboración de las
acciones de desarrollo a partir del diagnóstico
4. Evaluación: Verificación de los
resultados obtenidos con la
capacitación
3. Implementación:
ejecución y conducción de la
acción de desarrollo
Fuente: adaptado de Chiavenato, I, Gestión de Personas
Metodología que utiliza los indicadores de negocio/resultado del área cliente para entender gaps y para
evaluar
Actualmente, utilizamos dos grupos de indicadores en la Escuela Itaú Unibanco de Negocios...
No Financiero
Nº participaciones, nº de capacitados y
horas de capacitación en total
Por área, por tipo de cargo, por habilidad
desarrollada
FinancieroCosto/Inversión
Por participación/ por participante/ por
horas de capacitación
No Financiero
Evaluación de Reacción, Aprendizaje y
Aplicabilidad
Reacción respecto al 100% de los programas
Aprendizaje y aplicabilidad por indicación
FinancieroRetorno Económico – ROI
Relación de costos-beneficios generados
exclusivamente por las acciones de desarrollo
en indicadores de resultado del área cliente (ej.:
ventas)
Indicadores de Proceso Indicadores de Calidad
3. ¿Por qué es importante medir los resultados de la capacitación?
Para medir la satisfacción del participante y del cliente con
relación a la capacitación desarrollada.
Para asegurarnos de invertir en lo que es esencial para la
organización.
Para medir el impacto de las acciones de capacitación en los
resultados de los negocios y/o en el cambio de
comportamiento, de acuerdo con nuestra cultura y valores.
Para medir el retorno económico de la inversión (ROI).
4. Cuáles son los beneficios del uso de la medición de los resultados de la formación para las organizaciones y los RRHH
Comenzamos a actuar de forma más estratégica ante los desafíos de
negocios.
Tenemos la oportunidad de que se nos deje de considerar un área de
gastos para transformarnos en un área que puede generar “ingresos”
indirectamente.
Posibilidad de tomar decisiones con base en metodologías de
educación o continuidad de proyectos a partir de datos tangibles.
Redireccionamiento de los recursos que vayan a invertirse.
¿Les ha gustado?¿Cuánto les ha
gustado el curso?Formularios 100%
¿Han aprendido?¿Cuánto han
aprendido?
Tests, exámenes
y simulacrosDel 40% al 70%
¿Están haciendo
uso de ello?
¿Hasta qué punto
lo aplican
en el trabajo?
Medida de
desempeñoDel 30% al 40%
¿Están
pagando?
¿Cuál es el retorno
de la capacitación
sobre la inversión?
Análisis costo
beneficio10%
5. Los cuatro niveles de medida de capacitación – Modelo de Kirpatrick
4º Resultado
3º Comportamiento
2º Aprendizaje
1º Reacción y Satisfacción
Naturaleza Cuestión Instrumentos Cobertura
Fuente: Kirkpatrick, 1978
6. Metodología utilizada en nivel 3 - APLICABILIDAD
Nuestros primeros estudios de aplicabilidad se llevaron a cabo
en 2011.
Objetivo: evaluar la aplicabilidad de los conocimientos adquiridos en
la capacitación desde el punto de vista del colaborador y del gestor con
objeto de medir su efectividad en el día a día.
Publico objetivo: colaborador que participó en la capacitación, gestor
del colaborador que fue capacitado y, en casos de gestión de personas,
también equipo del colaborador.
6. Metodologías utilizadas en nivel 3 - APLICABILIDAD
Cantidad de evaluadores: un 15% de la población capacitada, como
mínimo, para asegurar la muestra estadística, y un 30% como máximo.
Esa elección puede ser aleatoria, pero tenemos que garantizar que un
mismo participante de la capacitación y un mismo gestor no se sometan a
una nueva evaluación de cualquier otra capacitación durante 3 meses
por lo menos.
Plazo de aplicación de la evaluación: 3 meses, como mínimo, y 6
meses, como máximo, a partir del momento en que termine la
capacitación.
6. Modelo de estudio en nivel 3 - APLICABILIDAD
Encuesta de AplicabilidadNecesidad1. Motivo por el que participé en la capacitación: ( ) Necesidad de este nuevo conocimiento en mi rutina de trabajo ( ) Necesidad de perfeccionamiento ( ) Indicación del gestor ( ) Acción prioritaria en mi plan de desarrollo individual ( ) No lo sé2. El contenido de la capacitación es relevante para la actividad que ejerzo.SíNoImpacto del programa3. Después de la capacitación, apliqué el conocimiento adquirido en mi día a día.En caso negativo, el colaborador responderá a la próxima cuestión:¿Por qué motivos aún no has utilizado este conocimiento en tu rutina de trabajo? ( ) El área de actuación no necesita este conocimiento ( ) Ya no ejerzo la misma función ( ) Falta de oportunidad para ponerlo en práctica ( ) Falta de condiciones adecuadas ( ) La capacitación no fomentó el aprendizaje necesario para que lo aplicase en mi trabajo ( ) Otro (especificar)4. La calidad de mi trabajo mejoró después de participar en esta capacitación. 5. Estos nuevos conocimientos contribuyeron a mi desarrollo.Apoyo de mi gestor/ ambiente6. Recibo apoyo de mi gestor para aplicar estos nuevos conocimientos.7. La dinámica de mi día a día posibilita la aplicación de los conocimientos adquiridos en la capacitación. Materiales y recursos.8. Tengo acceso a los recursos necesarios para implementar los conocimientos adquiridos en la capacitación.
Escala - utilizada para las cuestiones de 4 a 8
Totalmente en desacuerdo Parcialmente en desacuerdoNi de acuerdo / ni en desacuerdoParcialmente de acuerdoTotalmente de acuerdo
2011
11 proyectos
2012
57
proyectos
¿Por qué analizar la capacitación a partir del ROI?
¿El colaborador aumentó efectivamente sus resultados (ej.: sus ventas) exclusivamente por lo que aprendió en la capacitación?
¿Los resultados logrados justifican los costos directos y otros derivados de la capacitación?
Estas preguntas son importantes porque, muchas veces, aunque la
capacitación traiga consigo resultados –el aumento en ventas (impacto
positivo)–, no es suficiente para compensar lo que costó su
implementación.
6. Metodologías utilizadas en nivel 4 - ROI
Definición del programa que se va a medir
Definición de los indicadores por evaluar
Cálculo del retorno sobre la
inversión en capacitación
Análisis de resultados no relaciona-dos con el Retorno Económico
Definición de metodología de ROI
Fuentes de los indicadores
Análisis cualitativo de las informa-ciones
Plan de acción y
mejoras de ser
necesario
Planificación Análisis de DatosAnálisis de Impacto
Retorno Económico
3 meses 2 meses3 meses 1 mes
Grupo de Trabajo
ACRF
Analista Escuela
Negocio
Estudio
Indicadores
6. Metodologías utilizadas en nivel 4 - ROI
6. Metodologías utilizadas en nivel 4 - ROI
Medimos ROI desde 2003.
Hasta 2010 ya han sido medidos 7 proyectos.
En 2011 retomamos el proyecto de forma
centralizada.
En 2012 estamos con 3 proyectos en marcha.
Premisa de análisis econométrico de impacto:
Comprensión de la estrategia del negocio y de las variables que lo afectan.
Comprensión de la estructura de base de datos del negocio.
Comprensión del flujo y de la capacitación en sí.
Premisa para la realización del trabajo:
Elección de los responsables que participarán en el grupo de trabajo.
Elección de una capacitación y un área específica para someterla a
evaluación.
Compromiso asumido de presentar los resultados y adoptar las acciones
que corresponda independientemente de los valores a favor o en contra
referentes a la capacitación.
Decisión sobre la forma de comunicación del trabajo.
6. Metodologías utilizadas en nivel 4 - ROI
Informaciones Generales de la Evaluación Económica de las
Acciones de Capacitación
Metodología de análisis:
retorno económico de la capacitación a partir de la evaluación de impacto, de
las informaciones de ingresos y del costo de la capacitación.
Forma/técnica:
para calcular el impacto: división por pares de personas capacitadas y no
capacitadas, a partir de variables observables, a efectos de garantizar una
relación de causa entre capacitación y resultado;
para calcular los ingresos cuando el impacto calculado no esté en forma
monetaria: es necesario disponer de una forma de convertir ese valor, como, por
ejemplo, la atribución de valuation promedio en caso de impacto en unidades de
ventas.
6. Metodologías utilizadas en nivel 4 - ROI
ROI – Retorno Monetario de la Acción de Desarrollo
Objetivo: medir el retorno económico de la inversión en capacitación para que sirva de soporte al análisis estratégico.
Capacitación evaluado: capacitación presencial Metodología Comercial (32 horas).
Población analizada: Operador de Negocio canal comercial Leves.
7. Estudio de caso - ROI
7. Estudio de caso - ROI
Medir el impacto de la capacitación permite cuantificar las
relaciones de causa entre la capacitación y la cantidad de
ventas.
Tal medida nos permitirá afirmar si, de hecho, la capacitación fue
responsable de los cambios ocurridos en las ventas.
En otras palabras: a falta de tal capacitación, los cambios observados en
las ventas no habrían ocurrido.
Promedio general de las variables de resultado y control
TOTAL
No capacitado Capacitado
NPV (R$) R$ 177.380 R$ 206.033
Spread (%) 11,63 10,81
Volumen Operado Promedio (R$) R$ 839.448 R$ 1.037.132
Nº de operaciones 51,96 60,52
Ticket Promedio (R$) R$ 16.154 R$ 17.137
Meses de experiencia en media 18,50 28,94
Premisa: contratos incumplidos desde hace más de 60 días se excluyeron del valor consolidado de las variables de resultado per capita promedio.
* Se rechazaron los valores muy altos y muy ajos, el 1% de las puntas de la distribución.
NPV Promedio (R$) Nº Operaciones Promedio Spread Promedio (%)
No capacitado CapacitadoNo capacitado
Capacitado No capacitado Capacitado
Hombre 180.308 201.395 53 59 11,76 10,96
Mujer 175.437 208.869 52 61 11,45 10,56
Soltero 172.259 202.887 51 60 11,41 10,65
Casado 183.211 209.291 53 61 11,86 10,97
Hasta Enseñanza Secundaria Completa
169.518 187.770 51 58 11,86 11,07
Hasta Enseñanza Superior Completa
175.121 207.184 51 60 11,47 10,76
Posgrado 192.882 223.272 57 69 12,15 10,51
Datos brutos separados
solamente entre capacitados y no
capacitados
Promedio NPV mensual
Existe diferencia en la productividad entre capacitados X no capacitados cuando el control se efectúa tan solo en función del mes, no obstante no podemos considerar que esta diferencia se debe a la capacitación porque no tuvimos en cuenta las demás variables, principalmente el tiempo de experiencia en el cargo.
Promedio NPV por categoría de meses de experiencia
0
50000
100000
150000
200000
250000
300000
Meses de experiência
Sem Treinamento Presencial Com Treinamento Presencial
0
50.000
100.000
150.000
200.000
250.000
300.000
jan/07 fev/07mar/07abr/07mai/07 jun/07 jul/07 ago/07set/07 out/07nov/07dez/07
Mês
Sem Treinamento Presencial Com Treinamento Presencial
Cuando presentamos el resultado promedio con relación al tiempo de experiencia, esta diferencia entre capacitados y no capacitados no es perceptible. Por eso, tenemos que utilizar otras metodologías que aíslen el efecto de la capacitación.
Observación: datos brutos separados solamente entre capacitados y no capacitados
Comportamiento similar entre
grupos
Metodología – Matching (Pareo)
Se calcula la diferencia entre el promedio del valor neto operado de los CAPACITADOS y del
promedio de los NO CAPACITADOS. Solamente se incluyen en el grupo no capacitado
aquellos con las mismas características observables del grupo de los capacitados.
Ponderación de los similares a partir de las variables observables
NO COMPARABLES
No capacitados
Capacitados
Grupo no capacitados
Grupo capacitados
SIMILARES A LOS CAPACITADOS
Experiencia en el cargo (meses) Región Geográfica y Superintendencia Comercial Edad, género, estado civil, escolaridad Nº total de e-learnings realizados Mes de referencia
IMPACTO
Impacto de la capacitación presencial - Total
Efecto de la capacitación general Efecto de la capacitación presencial
Impacto de la capacitación
¿Estadísticamente significativo al 5%?
Impacto de la capacitación
¿Estadísticamente significativo al 5%?
Nº Operaciones 2,9 Sí - No
NPV Promedio (R$) R$ 12.572 Sí R$ 9.475 Sí
% NPV Promedio 9,6% Sí 8,14% Sí
Spread Promedio - No - No
* Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia.
** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es distinto de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación surtió efecto.
El efecto de la capacitación general tiene en cuenta cualquier forma de capacitación.
El efecto de la capacitación presencial mide exclusivamente el efecto de la capacitación presencial, es decir, se descuenta el efecto de la capacitación vía e-learning.
Los e-learnings se ofrecieron a lo largo de
2007.
Impacto de la capacitación presencial para submuestras
Objetivo del análisis: medir el impacto de la capacitación en las variables de resultado
para los diferentes niveles de experiencia después de la capacitación.
Los niveles de experiencia se separaron en tres categorías:
1. Capacitados con 18 meses de experiencia, como máximo, en el cargo;
2. Capacitados con de18 a 36 meses de experiencia, como máximo, en el cargo; y
3. Capacitados con más de 36 meses en el cargo.
Resumen de los impactos en cada una de las tres categorías
¿El efecto de la capacitación es diferente de cero?Para capacitados con0-18 meses de experiencia
Para capacitados con 18-36 meses de experiencia
Para capacitados con más de 36 meses de experiencia
Nº Operaciones
NPV Promedio (R$)
% NPV Promedio
Spread Promedio
- -SíSí
Impacto de la capacitación presencial (aumento adicional) en las submuestras
Operadores capacitados con 18-36 meses de experiencia
Operadores capacitados con más de 36 meses de experiencia
Impacto de la capacitación
¿Estadísticamente significativo al 5%?
Impacto de la capacitación
¿Estadísticamente significativo al 5%?
Nº Operaciones 10,07 Sí -10,38 Sí
NPV(R$) R$ 34.327 Sí - No
% NPV Promedio 33,15% Sí - No
* Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia.
** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es diferente de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación causó impacto.
Impacto mes a mes de la capacitación presencial
-100000
-80000
-60000
-40000
-20000
0
20000
40000
60000
80000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Un
idad
es d
e ve
nta
s ad
icio
nal
es
Meses posteriores a la capacitación
16 meses es lo que se calcula que dure el impacto de la capacitación
Tendencia de la productividad adicional después de la capacitación
Desviación estándar de la estimación
Estimación por mes después de la capacitación con alto error estándar
Retorno Económico per capita – Submuestra
Muestra capacitada con menos de 18
meses de experiencia
Muestra capacitada con 18-36 meses de
experiencia
Muestra capacitada con más de 36 meses
de experiencia
Meses de retorno - 16 meses -
Impacto mensual de la capacitación – en NPV
- R$ 34.327 -
Tasa CDI, descontado el IPCA 0,34% a.m
Mes promedio de la capacitación 10º 27º 68º
Flujo de Caja
VP Ingresos totales (A)VP Costos de la capacitación* (B)
VPN – Valor Presente Neto (C) = (A) + (B)
(R$ 32.761)
(R$ 32.761)
R$ 479.748(R$ 30.645)
R$ 447.108
(R$ 26.321)
(R$ 26.321)
Total de capacitados 341 ( 59%) 102 ( 17%) 136 ( 24%)
TIR a.m - 101% a.m. -
Nota: resultado referente al impacto del NPV positivo y estadísticamente significativo.
* El prorrateo del costo administrativo no se tuvo en cuenta.
Retorno económico total de los capacitados en 2007
Nota: resultado referente al impacto positivo y estadísticamente significativo.
Submuestra – Ingresos conseguidos por la población capacitada con18-36 meses
VPN - Ingresos (102) (A)
R$ 48.934.296
VPN Costo - Nº de capacitados 0-18 (342) (B) (R$ 11.171.501)
VPN Costo - Nº de capacitados 18-36 (102)(C)
(R$ 3.125.823)
VPN Costo - Nº de capacitados >36 (132) (D)
(R$ 3.579.699)
VPN – Valor Presente Neto(E) = (A)+(B)+(C)+(D)
R$ 31.065.809
Plazo de recuperación de la inversión 1 mes
Resultados
La capacitación causó impacto en NPV (ingresos) en el caso
de los capacitados que tienen de 18 a 36 meses de experiencia
en el cargo.
Tal resultado indica que esta capacitación tiene carácter de
perfeccionamiento y no de desarrollo inicial.
Conclusión
Mantener la metodología comercial para la población con de 18
a 36 meses de experiencia en el cargo.
Desarrollo de un programa de formación para la población con
de 0 a 18 meses de experiencia en el cargo.
7. Estudio de caso - ROI
Principales cuidados que debemos tener para medir correctamente los resultados de la capacitación...
Alineamiento con el área de negocio al inicio del proyecto.
Contar con un equipo especializado para diseñar el indicador, buscar aliados que tengan conocimiento.
Dificultad de aislar algunos indicadores específicos de la capacitación recibida.
Tiempo – no desistir del proyecto en función del plazo necesario para su desarrollo.
Falta de comunicación clara.
Tengan la seguridad de que medir la capacitación nos acerca a la
meta de ser un RRHH Estratégico....
Muchas graciasRafael Turchiai Gabriel
Escuela Itaú Unibanco de Negociosrafael.gabriel@itau-unibanco.com.br