Post on 07-Jun-2015
Evaluación del Impacto de Programas de Capacitación
Los Ángeles 26 de Noviembre de 2009
Luis Hernán Delgado Guerrero
Jefe Departamento Diseño Instruccional
ldelgadog@uc.cl luchohdg@gmail.com
http://luishernandelgado.blogspot.com luchohdg@gmail.com
Me gustaría hacerles algunas aclaraciones
1ª: Aclaración:Hoy no van a aprender nada
nuevo
Escuchar no significa aprender
Escucharme hoy no significa que vayan a aprender
Recitar procedimientos de memoria tampoco es aprendizaje
Aprendemos cuando Aplicamos lo que nos enseñan
2ª: Aclaración:Tampoco podré hoy certificar su
aprendizaje
¿Cuando podemos hablar de aprendizaje?
La pregunta es entonces…
El asunto es que esta interrogante nos viene dando vuelta en la
cabeza
¿Cómo podemos medir lo aprendido en un curso de
capacitación?
¿Cuando consideramos que alguien aprendió?
1313
¿Porqué nos hacemos estas preguntas ¿Porqué nos hacemos estas preguntas ??
La capacitación está cuestionadaLa capacitación está cuestionada
……ahora nadie discute su necesidad ahora nadie discute su necesidad sino su eficaciasino su eficacia……
La capacitación está cuestionadaLa capacitación está cuestionada
……ahora nadie discute su necesidad ahora nadie discute su necesidad sino su eficaciasino su eficacia……
Habitualmente es común encontramos con esto:
…Muchas ofertas de formación…
Pero…
¿Podemos validar la utilidad de lo aprendido?
¿Podemos siquiera determinar el grado de aprendizaje después de un curso?
¿Podemos asegurar que estamos agregando valor al desempeño profesional del capacitado?
Quizás unas preguntas más epistemológicas:
¿Por qué evaluar ?
¿Cómo evaluar?
3ª Aclaración:
La estructura de mi presentación
Esta presentación consta de 2 partes
Primera Parte: Por qué evaluar
Segunda Parte: Cómo evaluar
Primera Parte: Por qué evaluar
Como introducción veamos esta historia
Personajes
Juan FernándezDirector de un establecimiento
Margarita RojasCoordinadora de Capacitación
Al final de una reunión de coordinación Juan le preguntó a Margarita acerca de los talleres de comunicación que se habían realizado para un porcentaje significativo de los funcionarios de la institución
El taller presentaba la tipología Myers-Briggs (MBTI)
y mostró a los participantes cómo interactuar y
entenderse entre ellos, en sus actividades rutinarias.
El MBTI clasifica a la gente en uno de 16 tipos
de personalidad .
Juan dijo:
“ Encontré el taller muy interesante. Puedo identificarme de manera certera con mi tipo particular de personalidad, pero tengo la curiosidad de saber que valor específico o utilidad le ha traído este taller a los funcionarios”
¿Tienes alguna forma de mostrar los resultados de los 25 talleres?.
Margarita respondió rápidamente:
“Efectivamente hemos mejorado los equipos de trabajo y las comunicaciones al interior del establecimiento. He escuchado a funcionarios hacer comentarios de lo bien que les han hecho los talleres”
Juan continuó:
“Tienes algo más preciso, por ejemplo sabes cuanto dinero se gastó en los talleres.”
Margarita respondió
“No estoy segura si tenemos algún dato preciso, y tampoco estoy 100% segura de cuanto dinero gastamos, pero seguro puedo averiguarlo”.
Juan concluyo con algo de incitación:
Algo más especifico sería de ayuda. Por favor entiende que yo no me estoy oponiendo a este tipo de programas, pero me gustaría asegurarme queestamos agregando valor al trabajo o a las condiciones laborales de los funcionarios.
“Margarita estaba un poco preocupada por los comentarios de su director, sabia que él personalmente había tomado el taller y había manifestado abiertamente su gusto ¿por qué estaba preocupado de los costos?.
Ella sentía que se les estaba ofreciendo un gran taller a los funcionarios, sentía que los equipos de trabajo habían mejorado pero no había forma de saberlo de manera segura. ¿Que debía hacer, responder a su director o ignorar el tema?
Algunas Preguntas que debemos hacernos
¿Es esta una situación típica de una organización?
¿Cuáles son los temas y problemas básicos en este caso?
Esto nos lleva a preguntarnos…
El Resultado
El asunto es que….
• Hoy en día es más común en las instituciones un creciente interés en monitorear y administrar eficientemente sus proyectos y programas.
• Hay un creciente interés por invertir bien y evaluar.
• Existe mayor conciencia que los proyectos y programas independiente de sus fines deben tener algún tipo de evaluación que le permita determinar el éxito en los logros de los objetivos de intervención.
Porque ….
Los procesos de capacitación, van siempre asociados a procesos de cambio en las organizaciones y, por lo tanto, dirigidos a preparar a los miembros de la organización para lograr el estado cualitativamente superior que se quiere alcanzar.
Porque ….
Esto implica la creación de nuevas habilidades, para, en el mediano y largo plazo, consolidar los cambios sobre la base de la creación de nuevos valores culturales y organizacionales.
Porque ….
• Para lograr cambios consistentes hay que crear nuevos hábitos, modificar comportamientos y conductas, promover nuevas competencias y en esto juega un papel principal la capacitación.
Porque ….
• No debemos olvidar, sin embargo, que con la capacitación puede lograrse el cambio deseado; pero también algo no deseado si no se planifica y controla adecuadamente..
Porque ….
• Esta realidad determina la necesidad de medir el impacto de los procesos de capacitación desde su fase de planificación hasta el cumplimiento de los objetivos propuestos en la misma.
Porque ….
• La capacitación, en tanto el despliegue de estrategias de formación y desarrollo del capital humano, se enmarca, en un procesos de mejora continua de las organizaciones (cambio organizacional). Esto hace que nos debamos plantear las siguientes preguntas:
¿En qué medida la capacitación realizada fue buena?
¿Cuáles fueron sus efectos?
¿Qué tan buena resultó la ecuación costo beneficio?
¿Qué esperábamos de esta capacitación?
¿Qué necesidades particulares y organizacionales esperábamos satisfacer?
¿Las necesidades detectadas estaban relacionadas con indicadores de gestión de resultados?
…Podemos concluir que…
Hablar de "Evaluación del Impacto de la Capacitación", no es nada simple, sino bastante complejo y no se pueda tratar con liviandad y ocasionalmente, ya que se trata de un proceso que involucra a todo el sistema organizacional y, especialmente, al modelo de gestión de la capacitación que se ha adoptado.
Segunda Parte: Cómo evaluar
Introducción
No pocas veces cuando intentamos realizar una evaluación de impacto nos damos cuenta que nos faltan elementos o datos realmente relevantes
O las instancias de capacitación no responden a determinados objetivos y necesidades
O se requiere conocer la calidad y efectividad de la misma después de realizada
Otras veces, medimos, erróneamente la capacitación a partir de la cantidad de cursos realizados y personal capacitado. Decimos, entonces, “hicimos tantos cursos y capacitamos a tantas personas”, creyendo, ingenuamente, que este es un buen indicador de la efectividad de la formación
El asunto es que….
Dentro del ámbito de la evaluación de proyectos, un modelo que es considerado de gran utilidad y aplicación en la evaluación de programas de intervención y acciones formativas en general es el Modelo ROI
ROI (Return on Investment)ROI (Return on Investment)
• RRetorno / etorno / RRecuperoecupero
• OObservable / bservable / OObjetivobjetivo
de la de la
• IIniciativa / niciativa / IInversiónnversión
MODELO ROI
• Se basa en el Modelo de los 4 Niveles de Donald Kirkpatrick, de fines de los años 50. Originalmente, nace en el mundo de la Capacitación.
• Jack Phillips le agrega, en los 80, una serie de principios para su aplicación, documenta cientos de casos y entrega las técnicas para evaluar el retorno financiero de los proyectos.
• Durante los 90 y esta década se convierte en el Modelo de Evaluación más usado en el mundo, de probada eficacia, y cuyo uso se extiende a diferentes tipos de Programas de RRHH y organizacionales en general
El modelo KirkpatrickEl modelo Kirkpatrick
Niveles de Kirkpatrick
1.La reacción de los participantes
Este nivel es sin duda el tipo de evaluación más utilizada en la mayoría de cursos de formación y programas en general. Ello porque puede realizarse a través de un cuestionario de opinión, o de forma más cualitativa mediante grupos de discusión.
Niveles de Kirkpatrick
2. El aprendizaje
Esta evaluación (en su versión formativa y/o sumativa) persigue comprobar el nivel de conocimientos y habilidades adquiridos por el alumnado a través de tests o pruebas de rendimiento validadas y fiables.
Niveles de Kirkpatrick 3. La Transferencia
Consiste en detectar si las competencias adquiridas con la formación se aplican en el entorno de trabajo y si se mantienen a lo largo del tiempo (mejor desempeño de la tarea, más rapidez, menos errores, cambio de actitud, etc.) Para su implementación se recomienda efectuar una serie de entrevistas además de otras técnicas de recolección de datos que permitan obtener información acerca de la aplicación de lo aprendido al entorno laboral.
Niveles de Kirkpatrick
4. El impacto o Resultado: Esta evaluación es utilizada sobre todo por las empresas. Aunque tradicionalmente la evaluación del impacto o de los resultados se ha basado en criterios económicos (demostrar un mayor número de ventas, mayor productividad, menos errores y/o reclamos) es importante señalar que el conocimiento producido, la capacidad de innovación que genera o la fidelización de las personas empleadas es también importante de ser consignada.
Quinto Nivel ROI
Retorno sobre la Inversión
Es aquí donde se cuantifica el costo-beneficio de un programa en términos monetarios. En líneas generales se puede decir que compara los beneficios del programa con sus costos.
Importante
Tengamos en cuenta que la rentabilidad y/o retorno no debería ser considerada sólo en términos económicos, sino que tendríamos que pensar también en distintos tipos de ganancias, por ejemplo: rentabilidad social, mejora del clima laboral, mejora del trabajo grupal, mejora de las comunicaciones, mejora de la imagen de la institución, etc.
Los Cinco Niveles de Medición Los Cinco Niveles de Medición (Kirkpatrick + Phillips)(Kirkpatrick + Phillips)
IMPACTO
ESFUERZO DE IMPLEMENTACIÓN
Bajo Medio Alto
Medio
Alto
NIVEL 1 REACCIÓN
NIVEL 1 REACCIÓN
NIVEL 2APRENDIZAJE
NIVEL 2APRENDIZAJE
NIVEL 3CONDUCTAS
NIVEL 3CONDUCTAS
NIVEL 4RESULTADOS
NIVEL 4RESULTADOS
NIVEL 5ROI
NIVEL 5ROI
Definición de los niveles de evaluación
Referencia de www.institutoroi.com
Hagamos un ejercicio
Veamos a que nivel de evaluación es el objetivo que se señala:
Disminuir las negligencias en un 20%
Impacto
Iniciar al menos tres proyectos de reducción de costos
Aplicación
Lograr un promedio de 75% de eficacia en un simulador
Aprendizaje
Incrementar el índice de satisfacción usuaria en un 25%
en 3 meses.
Impacto
Veamos la siguiente animación…
Podemos apreciar que la cadena de impacto es crítica
Referencia de www.institutoroi.com
Tabla de Mejoramiento Continuo
Referencia de www.institutoroi.com
Uniendo Detección de Necesidades con Evaluación
Referencia de www.institutoroi.com
El proceso ROI
Referencia de www.institutoroi.com
El proceso ROI
Referencia de www.institutoroi.com
Propósitos y usos de la evaluación
1. Para determinar el éxito en logros de objetivos de intervención.
2. Para identificar fortalezas y debilidades.
3. Para comparar costos y beneficios.
4. Los probar claridad y valides de los instrumentos.
5. Para identificar cuáles participantes fueron mas exitosos.
6. Para determinar si la intervención fue una solución apropiada a las necesidades.
Propósitos que un estudio de impacto debiese cumplir
1. Determinar si una intervención está cumpliendo su objetivo
2. Determinar la relación costo/beneficio de una intervención.
3. Probar la claridad y validez de las pruebas, preguntas y ejercicios.
4. Reforzar el aprendizaje del participante.5. Recoger datos para promover futuros
esfuerzos.
Las aplicaciones de modelos de evaluación como el de Kirkpatrick y
ROI se han diversificado
• Mejoramiento del Desempeño• Aprendizaje y Desarrollo• Desarrollo Organizacional• Programas de RRHH• Iniciativas de Calidad• Iniciativas de bienestar y salud• Implementación Tecnológica• E-Learning• Comunidades de Aprendizaje
A modo de conclusión, si se quiere determinar si es necesario realizar la evaluación integral de capacitación y orientar efectivamente su aplicación, sería importante considerar y resolver los siguientes interrogantes:
De tipo estratégico
¿Qué necesidad(es) de la institución o de desempeño tienen relación con la capacitación?
¿Quiénes son los destinatarios de esta capacitación? (quiénes tienen la necesidad)
¿Contamos con una definición operacional de indicadores de gestión y/o de resultados asociados a las necesidades?
De tipo estratégico
¿Qué condiciones del ambiente y clima de trabajo pueden dificultar la transferencia de habilidades y competencias, desde la capacitación hacia el contexto laboral y los puestos de trabajo?
¿Cuál es la importancia para nuestra organización de evaluar la capacitación?
¿Cuáles son los costos y beneficios de evaluar la capacitación?
De tipo metodológico
¿Cuáles son los objetivos de la evaluación?
¿Qué resultados esperamos de la capacitación?
¿A qué fuentes de información deberemos apelar?
¿Qué métodos de recolección de datos deberemos utilizar?
¿Cuánto tiempo deberemos esperar antes de medir los resultados?
¿Cuál sería el diseño más efectivo?
Para finalizar quiero agradecer su invitación
Espero que este no sea ahora el panorama
Una diapositiva más y me muero ...
Espero haber contado con su
completa atención
Mi hijo Joaquín
Que este tema no les haya sido indiferente
Que no los asuste
Si no que los motive
A investigar…
Y trabajar en equipo…
Muchas Gracias Luis Hernán Delgado Guerrero
Jefe Departamento Diseño Instruccional
ldelgadog@uc.cl luchohdg@gmail.com
http://luishernandelgado.blogspot.com luchohdg@gmail.com