1

La evaluación de la capacitación como proceso de aprendizaje en el marco del

e-learning

Autor: María Ruiz Gutiérrez

Introducción

Los constantes cambios sociales, políticos y económicos exigen al sector público y

privado adaptarse y dar solución a los diferentes problemas que le presenta la sociedad actual.

El trabajador debe poseer unas determinadas competencias que le permitan desarrollar su

trabajo y ejercer sus responsabilidades con garantía de excelencia, a la vez que incorpora

nuevos conocimientos, destrezas innovadoras y actitudes participativas, a través de un

proceso de formación constante y continua.

La capacitación se convierte en la herramienta por excelencia para incentivar el

cambio en las instituciones tanto públicas como privadas, proveyendo espacios compartidos

para producir conocimiento e incorporarlo al contexto profesional. Ahora bien, la

capacitación exige una planificación que integre diferentes componentes y cuyo resultado

final sea de calidad. La calidad de la planificación, según López Camps (2005:56), se orienta

a las siguientes dimensiones: a) la calidad en el diseño de los aprendizajes y las actividades

formativas, y b) la calidad en la conformidad de la formación. Esta última dimensión, y en

palabras del autor “se trata de la calidad que se da cuando una organización, diseña, planifica,

ejecuta y evalúa la acción y los aprendizajes a fin de satisfacer las expectativas de los

diferentes grupos de interés”. Ambas dimensiones nos llevan a tener en cuenta los elementos

que deben formar parte del diseño instruccional de los programas de capacitación así como la

evaluación de todo el proceso y resultados de la acción formativa, con el propósito de

identificar fortalezas y debilidades de las cuales se pueda aprender para mejorar las

capacidades y competencias de los recursos humanos de las organizaciones.

Este artículo se concentra en el proceso de evaluación de la capacitación en las

organizaciones tanto públicas como privadas, no sin antes incluir en su definición de

terminología conceptos claves como capacitación, diseño instruccional, e-learning y

evaluación, sentando las bases y delimitando modelos de capacitación mixtos (presenciales y

virtuales) y el papel de planificar la formación desde una perspectiva de calidad para el logro

de sus objetivos.

Capacitación y Diseño Instruccional

El concepto de capacitación suele ir asociado a la formación en las organizaciones

como elemento de superación profesional y mejora de resultados. En este sentido Silcedo

Aguilar (2006:27) señaló que la capacitación “debe concebirse por todos los miembros de la

organización como un apoyo indispensable para lograr un mejoramiento constante de los

resultados, así como facilitador del cambio y del crecimiento individual y por ende del

desarrollo sólido de la empresa”. Esta perspectiva subraya cuatro propósitos básicos de la

capacitación: a) mejorar los resultados, b) facilitar el cambio, c) crecer individualmente, y d)

contribuir al desarrollo de la organización. Si bien este concepto y propósitos están ligados al

ámbito corporativo es extrapolable a todos los ámbitos organizativos públicos y privados que

demandan constantemente formar su fuerza laboral para mejorar su desempeño y resultados.

2

Delimitado el término capacitación, se hace indispensable pensar en cómo deben

planificarse los programas de capacitación en las organizaciones. La primera cuestión a tener

en cuenta es que la formación en las organizaciones se orienta a personas adultas y tiene en

cuenta los siguientes supuestos: a) los adultos necesitan conocer porqué deben aprender, b)

son autónomos y con capacidad de autodirección, c) aprenden a partir de experiencias, d) son

capaces de aprender lo que necesitan y son capaces de hacer, e) la orientación hacia el

aprendizaje debe ser significativa y ofrecer oportunidades para la resolución de problemas, y

f) responden tanto a estímulos internos como externos (Knowles, Holton y Swanson, 1998).

La segunda cuestión tiene que ver con el concepto de diseño instruccional que integra, en

todas sus fases, elementos claves a tener en cuenta para cumplir con los propósitos de la

capacitación.

Centrándonos en el concepto de diseño instruccional, Piscurich (2006) lo definió

como un proceso simple que apoya en la creación de una capacitación efectiva y de una

manera efectiva. El diseño instruccional se apoya en las teorías educativas (conductismo,

cognotivismo y constructivismo) que definen el cómo y por qué las personas aprenden.

Diversos modelos de instrucción forman parte del panorama actual en este campo. Los más

conocidos y sin entrar en detalle en cada uno de ellos, son los siguientes:

1. Modelo ASSURE, que incluye las fases de análisis de los estudiantes, establecimiento

de objetivos, selección de métodos instruccionales, medios y materiales, utilización de

medios y materiales, establecimiento de la participación de los estudiante, evaluación

y revisión (Smaldino, Russell, Heinich y Molenda, 2005).

2. Modelo para el diseño de Ambientes de Aprendizaje Constructivistas (Jonassen

(1999). El modelo incluye los siguientes elementos: a) pregunta, caso, problema o

proyecto que el estudiante debe resolver; b) sistema de experiencias o casos

relacionados; c) acceso a recursos de información y herramientas cognitivas, d)

desarrollo de herramientas o espacios de comunicación y colaboración; d) apoyo al

contexto.

3. El modelo de Morrison, Ross y Kemp. Este modelo incluye los siguientes elementos:

a) identificar problemas de diseño instructivo y especificar los objetivos pertinentes,

b) examinar las características del alumno, c) identificar los contenido y analizar los

componentes de las tareas que se relacionan con objetivos educacionales, d) declarar

los objetivos educacionales para los estudiantes, e) secuencializar los contenido

dentro de cada unidad, f) diseñar estrategias educacionales, g) Planificar mecanismos

de implementación, h) desarrollo de instrumentos de evaluación , y i) seleccionar

recursos para apoyar la instrucción y actividades de aprendizaje (Akbulut, 2006).

4. El modelo sistemático de la instrucción de Dick, Carey y Carey (2004). El modelo

consta de los siguientes elementos: a) determinación de las metas de instrucción, b)

análisis de las metas de instrucción, c) análisis de los alumnos y contexto, d)

definición de objetivos de desempeño, e) desarrollo de instrumentos de evaluación, f)

desarrollo de estrategias de instrucción, g) desarrollo y selección de la instrucción, h)

diseño y conducción de la evaluación formativa, g) revisión de la instrucción, y h) uso

de la evaluación sumativa.

Los cuatro modelos referenciados tienen en común los componentes que incorpora el

modelo ADDIE: a) análisis, b) diseño, c) desarrollo, d) implementación, y e) evaluación

3

(Bogardus, 2007). Cada uno de los componentes integran a su vez subcomponentes o tareas

específicas que contribuyen a la planificación de la capacitación, teniendo en cuenta las

características de los alumnos, sus necesidades, contexto, propósitos o metas formativas,

estrategias didácticas, acceso a recursos formativos, herramientas o medios de entrega y

procesos de evaluación.

El principal reto del diseño instruccional en los programas de capacitación es

“permitir al estudiante obtener el control sobre el proceso instruccional, es decir, conseguir

los objetivos instruccionales de forma más efectiva y eficaz” (Pla i Molins, 1997:158). Este

desafío supone tener en cuenta las teorías cognitivas del aprendizaje basadas en el

aprendizaje de adultos, cuyas características específicas delimitan su manera de aprender y

comunicarse con sus pares y donde se prioriza la construcción del aprendizaje a través del

intercambio y comunicación. En palabras de Soler (2006:101) y en referencia a la

capacitación en las organizaciones es importante entender que “el aprendizaje no es el

proceso de asimilar conocimiento, sino de construirlo en un formato interactivo, dentro de un

contexto específico”.

Hasta ahora se ha hablado del concepto de capacitación en un contexto general, sin

identificar si nos estamos refiriendo a un formato presencial, online o mixto. Conviene

precisar que las organizaciones tanto públicas como privadas están comenzando a utilizar la

modalidad virtual para distribuir o implementar sus programas formativos. Una revisión de la

literatura sobre la terminología de formación virtual nos aporta numerosas denominaciones y

definiciones que aluden al campo de la formación utilizando tecnologías de la información y

comunicación. Así, podemos encontrar términos como: aprendizaje virtual (virtual learning),

e-aprendizaje (e-learning), teleformación (telelearning), aprendizaje basado en red (web

based learning) y aprendizaje a distancia (distance learning) o educación a distancia (distance

learning), entre otros. Garrison y Anderson (2005:18) definen la formación online como “un

sistema de aprendizaje en red y on-line que tiene lugar en un contexto formal y que pone en

juego toda una serie de tecnologías multimedia”. El marco referencial al que apunta este

artículo, identifica los términos educación virtual y a distancia, e-learning o formación online

como sinónimos y los define como un modelo educativo que ofrece oportunidades de

enseñanza y aprendizaje mediante ambientes interactivos y participativos para apoyar a los

estudiantes en el logro de unos objetivos de aprendizaje, utilizando recursos multimediales y

tecnologías de información, comunicación y colaboración.

El desarrollo principalmente de Internet, como espacio de conexión que permite la

captura, procesamiento y diseminación de la información, ha sido clave para el avance del e-

learning tanto en centros de formación regular (universidades) como en los ambientes

corporativos y organizacionales. El desarrollo del e-learning en las organizaciones e

instituciones público y privadas ha venido creciendo en los últimos años como una vía de

actualización constante y desarrollo de conocimiento y habilidades en los empleados, a fin de

mantener su competitividad y productividad. Según Oblinger y Rush (2003) muchas

organizaciones incluyen o desarrollan programas de capacitación online para clientes y

proveedores, de tal manera que los primeros puedan estar siempre actualizados con respecto a

nuevos productos o soluciones, lo que podría redundar en aumento de ventas y los segundos,

puedan entender mejor las necesidades de los clientes y ofrecerles mejores servicios. Las

motivaciones de las organizaciones, a juicio de los mismos autores, para el desarrollo y oferta

de capacitación virtual son la disminución de costos significativos, el aumento en la

competitividad, la productividad, el mercado y el reclutamiento y retención de buenos

empleados. A esto hay que añadir también razones de peso como la importancia reciente del

4

papel que juega el conocimiento y aprendizaje en las organizaciones, el fracaso de los

departamentos de aprendizaje en las entregas tradicionales, el gran desarrollo del acceso a la

información y establecimiento de redes internacionales y la mejora constante de los enfoques

de aprendizaje para que se puedan aprovechar las ventajas de la distribución en línea de la

formación (e.g., McPherson, Homan y Wilkinson, 2005; Urdan y Weggen, 2000).

Otra perspectiva interesante la presenta Berge (2003) al plantear que las

organizaciones se han visto forzadas a cambiar la manera de hacer negocios, frente a la nueva

economía global. Señala a este respecto, que la sociedad global se está moviendo hacia la era

del conocimiento, donde la tecnología media nuestra manera de vivir, trabajar y aprender,

frente a la pasada era industrial. Esto exige a las organizaciones replantearse cómo desarrollar

en sus trabajadores nuevas habilidades, conocimientos y aprendizajes para adaptarse a un

mundo interconectado y en constante evolución y ser a la vez competitivos. La capacitación,

tal y como se ha señalado, adquiere su protagonismo para dar solución a estas necesidades y

asumir nuevos desafíos en el mundo corporativo. Sin embargo, frente a la capacitación

presencial, la selección del formato virtual y a distancia ha predominado en la última década

y las razones para ello que presentan algunos autores son las siguientes: a) el costo del

empleado, b) el tiempo de entrenadores y entrenados, c) cambios constantes en cortos

periodos de tiempo que requieren capacitación puntual, d) la necesidad de capacitar a un gran

número de empleados, e) la necesidad de capacitar a empleados distribuidos en diferentes

áreas geográficas, f) la reducción del presupuesto en capacitación al mismo tiempo que

aumentan las necesidades de entrenamiento, y g) la necesidad de llegar a ser una

organización que aprende (Berge, 2003; García Rueda, 2008).

Una nueva modalidad de aprendizaje ha venido a sumarse a la presencial y la virtual,

la llamada mixta o híbrida (blended learning). Esta modalidad está comenzando a expandirse

entre las instituciones que incorporan nuevas tecnologías para los procesos de instrucción.

Este modelo combina diferentes métodos, sistemas y medios de entrega (presencial, web,

video, software colaborativo, entre otros) siendo según Jang, Kim y Park (2006) una

estrategia efectiva que mejora la satisfacción de los participantes y logro de aprendizajes. Por

su parte Norlin y Travis (2008), sugieren que ofrece grandes oportunidades a los formadores

para responder a los particulares estilos de aprendizaje de los participantes de la capacitación

y mejorar así el logro de los objetivos de aprendizaje.

Todo proceso formativo tanto sea presencial, virtual o mixto, requiere tener en cuenta

las fases y actividades necesarias que demarcan un buen diseño de instrucción. Los modelos

ya mencionados proporcionan las pautas para analizar e incorporar los elementos o

componentes necesarios para cumplir con los propósitos de una capacitación de calidad.

Evaluación de la Capacitación

Dentro del contexto de la capacitación presencial, virtual o mixta y el diseño

instruccional, la evaluación constituye el elemento que nos proporciona información para

identificar las fortalezas y debilidades del acto formativo. Un repaso al concepto de

evaluación y sus propósitos se presenta en el siguiente apartado, estableciendo las bases a

tener en cuenta en todo proceso de evaluación.

La evaluación ha sido definida desde múltiples perspectivas en su evolución histórica.

La Real Academia de la Lengua Española (2004) define la palabra evaluar como “señalar el

valor de algo” o “estimar, apreciar, calcular el valor de algo”. Asignar una categoría de valor

5

implica emitir un juicio o tomar una decisión en función de unos criterios o referencias

previamente establecidos. El significado de la evaluación entendida como juicio para la toma

de decisiones implica según Mokate (2003:8) “ponderar diversos criterios y a contemplar

diferentes estándares e interpretaciones”. Pérez Juste (2006:82) definió criterio como “la

norma que nos damos para juzgar algo” y por referencia “aquello con lo que ponemos en

relación la realidad evaluada”. En este sentido y en referencia a la evaluación de programas,

Alvira Martin (1997: 11), señaló que evaluar es: “a) emitir un juicio sobre un valor; b)

fundamentado en información recogida sistemática y científicamente; y c) con el objeto

último de analizar dicho juicio e información para actuar sobre el programa, manteniéndolo,

modificándolo o terminándolo”. Este concepto introduce el propósito de la evaluación para la

toma de decisiones, en este caso sobre programas, que pueden afectar la estructura de la

organización, recursos económicos y humanos. Aparece así la evaluación como necesidad o

condición indispensable en el diseño y gerencia de los programas, “en la medida que se

utilice para educar los procesos gerenciales y decisorios” (Mokate, 2003: 35).

En lo que refiere a la evaluación de programas formativos, la propuesta de definición

de Pérez Juste (2006:26, 32, 34) proporciona una perspectiva pedagógica, “integral, integrada

e integradora”, al señalar que la evaluación tiene como principal propósito “facilitar la toma

de decisiones de mejora”. Esta perspectiva y función tiene en cuenta diferentes ámbitos que

el autor referencia como “del aprendizaje y de la enseñanza, de los alumnos y los profesores,

de los materiales, de los recursos, de la organización (…) de las instituciones y de los centros

educativos como unidad”.

Enfoques o Modelos de Evaluación de la Capacitación en las Organizaciones

Si bien se está tomando progresivamente conciencia de la necesidad de evaluar la

capacitación, como herramienta para identificar lecciones aprendidas y mejorar su eficiencia

y eficacia, sigue siendo el componente del diseño instruccional más olvidado. Las razones

suelen estar en consonancia con la cultura de la evaluación y su propósito histórico, asociado

más a la sanción que al aprendizaje. El uso de la evaluación, como identificador de

dificultades, tradicionalmente se ha asociado a valorar la satisfacción de los participantes de

la capacitación, acotando con esta postura una única vía de conocer en profundidad el

proceso y resultados de la acción formativa. Muchas teorías y modelos han surgido en

relación a la evaluación de la capacitación de las organizaciones. Uno de los modelos más

utilizado ha sido el de los cuatro niveles de Kirkpatrick. Según datos de la American Society

of Training and Development (ASTD) más del 60% de las organizaciones que evalúan sus

programas de capacitación utilizan el modelo de Kirkpatrick (Coulthard, 2005). Este modelo,

orientado al impacto, identifica cuatro niveles a tener en cuenta en toda evaluación de

programas de capacitación Kirkpatrick y Kirkpatrick (2007):

1. Nivel 1: reacción. Mide el grado de satisfacción de los participantes ante la acción

formativa. Los autores sugieren delimitar muy bien qué se quiere evaluar,

implementar un cuestionario a los participantes y lograr un cien por cien de respuestas

sinceras que incluyan sugerencias y comentarios.

2. Nivel 2: aprendizaje. Responde a conocer los conocimientos, habilidades y actitudes

que se adquieren mediante la acción formativa. En este nivel se sugiere utilizar grupo

control, evaluar los conocimientos, habilidades y actitudes antes y después de la

acción formativa y obtener una respuesta del cien por cien de los participantes.

6

3. Nivel 3: conducta. Evalúa el grado en que los participantes de la capacitación

transfieren los aprendizajes adquiridos. Para evaluar las conductas es importante

utilizar grupo control, evaluar un tiempo después de la acción formativa, evaluar antes

y después, obtener información de los participantes y personas que puedan observar

las conductas y obtener el cien por cien de respuestas.

4. Nivel 4: Resultados. Evalúa los resultados e impacto final de la acción formativa en

las organizaciones. Para ello se requiere grupo control, evaluar después de un tiempo

de transcurrida la acción formativa, evaluar antes y después y tener en cuenta la

relación coste-beneficio.

El modelo conduce a una evaluación que permite según Kirkpatrick y Kirkpatrick

(2007:41) “mejorar los programas formativos futuros, tomar decisiones sobre el

mantenimiento o no de un curso o programa de capacitación y justificar la existencia del

departamento de formación”.

El modelo de evaluación de Kirkpatrick ha sido defendido como uno de los modelos

de evaluación más fáciles de implementar y que mejor se ajusta a las necesidades de las

organizaciones pero también ha sido ampliamente criticado por su orientación, tipo de

resultados, actores y metodología. Coulthard (2005) resumió el tipo de críticas suscitadas al

modelo, diciendo que se pone demasiado énfasis en el programa de formación frente a las

partes interesadas, los resultados versus el proceso, los alumnos versus objetivos

empresariales y la progresión a comportamientos cambiados frente a la integración de los

lugares de trabajo. Por su parte Swanson y Holton (2001) señalaron como principales críticas

el no admitir la investigación, enfatizar las medidas de reacción, no permitir la actualización

del modelo, no utilizarse y poder llevar a decisiones incorrectas. Otros autores (e.g., Burrow

y Berardinelli, 2003; Phillips, 1997; Strother, 2002; Sutton y Stephenson, 2005) coinciden al

afirmar que el modelo es insuficiente al no incorporar el retorno de la inversión o ROI (por

sus siglas en inglés) como indicador de la evaluación de programas de capacitación.

Russ-Eft y Preskill (2001) hicieron una compilación de los diferentes modelos

utilizados para evaluar la capacitación dentro del departamento de recursos humanos de las

organizaciones, teniendo todos ellos como base el modelo de los cuatro niveles de

Kirkpatrick pero agregándole elementos que podrían superar parte de sus limitaciones. Los

modelos más comunes y sus correspondientes características que los autores identificaron, se

presentan a continuación:

1. Modelo de los cinco niveles de Hamblin. El modelo incluye cinco niveles: a)

reacción, b) aprendizaje, c) cambios conductuales en el trabajo, d) cambios en la

organización, y e) cambios en el logro de los objetivos últimos. En este modelo se

presenta como una cadena de causa y efecto vinculando los cinco niveles, así la

capacitación conduce a la reacción, la reacción al aprendizaje, el aprendizaje a los

cambios de conducta en el trabajo y así sucesivamente (Hamblin, 1974).

2. Sistema de evaluación de eficacia de la formación (TEE). El modelo se focaliza en

tres categorías de herramientas de evaluación: satisfacción de supervisores y

participantes, aprendizaje de los participantes y rendimiento, referido a efectos de la

capacitación (Swanson y Sleezer, 1987). El modelo especifica que un mínimo de

cuatro herramientas se requieren para evaluar la capacitación, dos medidas de

satisfacción, al menos una de aprendizaje y otra de desempeño.

7

3. Modelo de seis etapas de Brinkerhoff. Incluye a los niveles de Kirkpatrick dos etapas

previas, una responden al análisis de necesidades y clarificación de objetivos y la otra

que se focaliza en el diseño del programa. El modelo utiliza el método de casos de

éxito (Success Case Model), SCS, por sus siglas en inglés, para completar la

evaluación. Este modelo consta de los siguientes pasos: a) clarificar los objetivos de

negocio y el proceso de formación y costos, perfil de análisis de impacto; b) diseñar y

administrar una breve encuesta a una muestra de participantes; c) analizar los datos de

la encuesta, evaluar el alcance del impacto e identificar casos de éxito y de no éxito;

d) realizar entrevistas con los casos de éxito, e) analizar los datos que apoyen impacto

y rendimiento; y f) articular las conclusiones y recomendaciones y presentar un

resumen a los clientes (Brinkerhoff y Dressler, 2003).

4. Modelo de entrada, proceso y salida (IPO). Es un modelo que combina los cuatro

niveles de Kirkpatrick y el modelo de Brinkerhoff y fue desarrollado por la empresa

IBM. El primer elemento, entrada o inpunts, son los factores que pueden incidir en la

efectividad de la capacitación, tales como cualificación de los participantes y

facilitadores, diseño del programa, materiales, facilidades y equipamiento. El segundo

elemento es el proceso, donde se realizan los mecanismos de planificación, diseño,

desarrollo y entrega de la formación y se alimenta de las entradas y salidas. El tercer

factor se realiza después de la implementación de la capacitación y se divide en

beneficios a corto tiempo (outputs), tales como reacción, aprendizaje y mejora en el

desempeño y beneficios a largo plazo (outcomes), relacionados con el cliente y

productividad. Todos los elementos se autoalimentan entre sí en un proceso cíclico.

5. Modelo sistémico de factores que predicen resultados de la formación de empleado de

Richey. El modelo incluye las características de los participantes y su percepción

sobre el clima de la organización, como elementos que afectan directamente el

conocimiento, actitudes y conductas. Como características de los participantes se

asume la edad, educación, experiencia en capacitación, ambiente de trabajo,

motivación y habilidad para aprender. Como percepción de la organización se

incluyen factores como condiciones de trabajo y estilo de gerencia. El modelo

entiende también que el diseño instruccional y la implementación de la capacitación

son factores que afectan el resultado de la capacitación.

6. Modelo de los cinco niveles de Kauffman, Keller y Watkins. El modelo incluye un

nivel adicional a los de reacción, adquisición, aplicación y beneficios a corto tiempo,

es el impacto de la capacitación en la sociedad. En palabras de Kauffman, Watkins y

Leigh (2001) el modelo llamado Organizational Elements Model (OEM) comienza

con un análisis de necesidades antes de la capacitación o intervención y se focaliza en

los resultados a nivel mega (sociedad), macro (institución) y micro (individuo o

pequeño grupo.

7. Modelo de la eficacia y eficiencia de la formación. Este modelo tiene cierta similitud

con el de Brinkerhoff e identifica el análisis, desarrollo, implementación y resultados,

como las etapas de la evaluación. El modelo se focaliza en el proceso de la

capacitación y aboga firmemente por la función de los interesados (stakeholders) en el

proceso de evaluación.

8

8. Modelo de evaluación investigativa y medición en Recursos Humanos de Holton. El

modelo identifica como resultados (outcomes) de la capacitación, el aprendizaje,

desempeño individual y resultados organizacionales. Se concentra en los factores

individuales y ambientales, variables que median en la transferencia de aprendizaje

(Honton, 2007). Al ser un modelo que identifica objetos, relaciones, influencia de

factores, hipótesis, predicciones y límites a la generalización, es fácilmente testeable.

9. Modelo de proceso de transferencia de Baldwin y Ford. El modelo conceptualiza la

transferencia de proceso en las entradas (inputs) y salidas (outputs) de la capacitación

y las condiciones de transferencia. Las entradas (inputs) incluyen las características de

los participantes, motivación y diseño de la capacitación. Las salidas (outputs)

incluyen el aprendizaje y retención. Las condiciones de transferencia tienen relación

con la habilidad para generalizar las conductas aprendidas en el trabajo y su

perdurabilidad en el tiempo.

10. Modelo de las etapas de transferencia de Foxon. El modelo entiende la transferencia

no como un resultado sino como un proceso. Las etapas del proceso de transferencia

van relacionadas unas con otras y son las siguientes: a) intención, b) iniciación, c)

transferencia parcial, d) mantenimiento de la transferencia, y e) fallo de la

transferencia (Foxon, 1993). El modelo tiene en cuenta aspectos como el clima

organizacional subraya la importancia de las intenciones de transferencia de los

participantes (Machin, 2002).

11. Modelo de diseño de transferencia de Garavaglia. El modelo es una combinación del

modelo de Baldwin y Ford y el de Foxon. Define la transferencia del aprendizaje

como la efectiva y continuada aplicación en el trabajo de los participantes del

conocimiento y habilidades ganadas en la capacitación (Garavaglia, 1995). Incluye las

siguientes etapas: a) medida del rendimiento inicial, b) factores del diseño sistémico,

c) factores del diseño instruccional, d) el sistema de mantenimiento, y f) medida del

rendimiento de transferencia.

12. Otro modelo que complementa el de Kirkpatrick es el de retorno de la inversión

(ROI), que compara los beneficios netos del programa de capacitación y costos

asociados permitiendo así a los directivos de las organizaciones identificar cómo se

impactan y benefician los individuos y organización a través de la capacitación y el

costo que deriva de la misma. El modelo utiliza un enfoque basado en resultados y

observa los niveles de reacción y percepción de valor, aprendizaje y confianza,

aplicación e implementación, impacto y consecuencias, retorno de la inversión e

intangibles (Phillips y Phillips, 2007).

El enfoque o modelo de evaluación dependerá en gran medida de las necesidades del

programa, de los beneficiarios, del aprendizaje que se quiera lograr a través de la evaluación,

de la familiarización de las distintas metodologías del evaluador y de los propósitos o fines

del proceso y resultados de la evaluación.

A efectos de lograr el propósito de la evaluación, el modelo de Kirkpatrick, aún

teniendo en cuenta sus limitaciones, proporciona suficientes elementos para poder identificar

las fortalezas y debilidades de los programas de capacitación así como la toma de decisiones

futuras sobre los mismos.

9

El acuerdo general, con independencia del modelo que se utilice, viene referenciado a

través de las Normas del The Joint Committee on Standards for Educational Evaluation

(2007) en torno a las condiciones que debe cumplir toda evaluación: a) ser útil, es decir que

permita la identificación de fortalezas, debilidades y soluciones del programa a evaluar; b) ser

factible o de fácil aplicación e implicación de los interesados; c) ser ética y que garantice la

cooperación, confidencialidad y respeto; y d) ser exacta y que garantice independencia en sus

resultados y conclusiones.

Una pregunta adicional sobre la evaluación surge cuando nos planteamos si los

modelos de evaluación descritos, como el de Kirkpatrick sirven para evaluar la formación

online o mixta. Sobre este terreno hay discrepancias entre unos y otros autores. Mientras unos

autores centran sus esfuerzos en definir un modelo integral e integrador de evaluación para el

e-learning, otros como Horton (2001) sostienen que el marco utilizado para evaluar el

elearning o el aprendizaje mixto puede ser el mismo que se utiliza para evaluar otras formas

de aprendizaje, lo único que podría variar serían las técnicas y el empleo de algunas

tecnologías que nos permitieran agilizar el proceso de recogida y análisis de la información.

Este punto de vista no es compartido por otros profesionales y autores en el campo (e.g.,

Ehrmann y Milam, 2003; Thomson y Irele, 2003) ya que según ellos la formación online

comporta unas características específicas diferenciales de la educación tradicional, que deben

ser tenidas en cuenta en la evaluación y proponen nuevos modelos que combinen diferentes

temas y áreas como el uso de la tecnología, los modelos de enseñanza y aprendizaje,

interactividad, temas organizativos, accesibilidad y diversidad, entre otros.

El componente de evaluación es un requisito indispensable para optimizar la

conceptualización, procesos, resultados e impacto de la capacitación y por ende, mejorar su

calidad. La pregunta clave es qué y cómo evaluar para identificar los criterios o indicadores

sobre los que atribuir un valor o emitir un juicio que nos permita tomar decisiones para

mejorar, terminar, complementar o expandir los programas de capacitación en los formatos

presencial, online o mixto. En este sentido, el desarrollo de los diferentes enfoques y

modelos de evaluación puede apoyar la decisión de qué indicadores, criterios y preguntas de

evaluación es necesario explicitar y priorizar (económico, pedagógico, tecnológico y

gerencial) en línea con las necesidades institucionales y el propósito último de la evaluación

que es aprender del proceso y mejorar la capacitación. A nuestro juicio, definir las preguntas

que se quieren responder con la evaluación es el punto medular para establecer indicadores y

criterios así como tejer la estructura del enfoque, modelo y tipo de evaluación a utilizar con

independencia de la modalidad de la capacitación (presencial, virtual o mixta). Esto nos lleva

a tomar las decisiones pertinentes para estructurar y organizar la evaluación teniendo en

cuenta los siguientes elementos que forman parte de su definición:

1. Sus objetivos: evaluación para la mejora vs evaluación para el rendimiento de cuentas

(accountability)

2. Los equipos que realizan la evaluación: evaluación interna o externa.

3. La metodología a utilizar: evaluación cuantitativa, cualitativa o mixta

4. Sus dimensiones (Pineda, 1995): legal (cumplimiento normativa interna y externa);

económica (eficiencia y rentabilidad de los recursos económicos); social (impacto de

la capacitación en el ámbito social del participante); o pedagógica (satisfacción o

efectos del diseño instruccional).

5. El momento de implementación: diagnóstica (evaluación de necesidades); formativa

(de diseño, desarrollo e implementación); o de resultados (sumativa, de transferencias

e impacto)

10

Aprender Evaluando para Mejorar los Procesos y Resultados de la Capacitación

Algunas de las lecciones aprendidas derivadas de la evaluación de programas de

capacitación se pueden incorporar en torno a las fases del diseño ADDIE (análisis, diseño,

desarrollo, implementación y evaluación) que aseguran los componentes necesarios para una

formación exitosa. A modo de síntesis se incorporan algunas de ellas identificadas después de

un proceso de análisis, reflexión y diálogo entre los actores relevantes que han participado en

una, todas o varias fases del diseño instruccional del curso o programa formativo, tanto en las

organizaciones públicas como privadas.

1. Identificar previamente cuál es el problema, las principales necesidades, lo que ya se

conoce y lo que es necesario aprender, en línea con los propósitos y el público

objetivo, optimiza los resultados de la capacitación. Para ello se sugiere desarrollar

una evaluación diagnóstica, establecer una línea de base comparativa (antes/después)

y ofrecer, si es necesario, cursos de nivelación.

2. La base de una evaluación de aprendizajes es el establecimiento de objetivos claros,

que midan conocimientos, habilidades y actitudes y que apunten al desarrollo de

destrezas cognitivas de orden superior. Es necesario por lo tanto establecer el marco

de evaluación de aprendizajes, cotejando logro de objetivos y/o competencias.

3. La aplicación de lo aprendido durante el curso (conocimientos, habilidades y

actitudes) en el contexto real, se asegura cuando se proponen estrategias didácticas

que permiten relacionar la teoría con acciones diarias del participante (aprendizaje

significativo). Se propone para lograrlo establecer tiempos para intercambio de

experiencias, plantear actividades como estudios de caso, simulaciones y resolución

de problemas e identificar temáticas y actividades acorde a las dificultades del

participante.

4. En la medida que se desarrollan contenidos, actividades y prácticas adaptadas a las

realidades de los participantes, el aprendizaje se torna mucho más efectivo. La

propuesta es establecer una metodología para adaptación de contenidos que respondan

a las necesidades de aprendizaje de los participantes.

5. Un formato de entrega mixto (presencial y virtual) agrega valor al aprendizaje.

Permite desarrollar competencias tecnológicas que fortalecen el desempeño y perfil

del recurso humano. Sin embargo para que este formato pueda ser éxitos es necesario

conocer previamente el acceso y conocimientos tecnológicos del participante y

profesor, proveer espacios de apoyo y capacitación sobre el uso de los recursos

tecnológicos a los participantes y profesores y diseñar todos los componentes de la

fase presencial y virtual (objetivos, temas, actividades).

6. El monitoreo y seguimiento de la aplicación del diseño permite identificar los hitos,

momentos o situaciones que no están funcionando y sus causas. Este análisis debe

derivar en el establecimiento de medidas correctivas que apoyen el flujo del proceso

de enseñanza y aprendizaje (evaluación formativa).

11

7. El diseño instruccional se complementa con la capacitación de los formadores que

debe incluir todos los elementos del diseño, es decir, desde la identificación de los

objetivos de aprendizaje, las temáticas, las estrategias didácticas, dinámicas

participativas y evaluación.

8. El proceso de evaluación en su conjunto forma parte del diseño instruccional.

Planificar la evaluación de la capacitación requiere definir con claridad su propósito,

las preguntas que se quieren contestar, indicadores, fuentes de información e

instrumentos a utilizar. Es importante por lo tanto, ajustar el enfoque de evaluación al

programa y propósito de la misma, establecer los sistemas de registro de información

y utilizar instrumentos de recogida de información confiables.

9. Diseñar y planificar una capacitación efectiva, requiere equipos de trabajo

multidisciplinar, (especialistas en contenidos, diseñadores instruccionales, pedagogos,

técnicos y especialistas en evaluación), espacios de coordinación y un liderazgo

compartido.

10. Terminado el proceso de capacitación y con los resultados de la evaluación, conviene

sentarse a analizar y reflexionar sobre las fortalezas y debilidades de la capacitación

para extraer las lecciones aprendidas. Las preguntas guías que pueden apoyar la

reflexión y análisis pueden ser: qué se logró, dónde se quería llegar y en ese

diferencial, qué se está dispuesto (o se puede) hacer para lograr la meta y qué medidas

se tomarán para próximas intervenciones.

Conclusión

Para que un programa de capacitación tenga éxito debe seguir las orientaciones y

pasos definidos por los modelos de diseño instruccional presentados. El modelo ADDIE es

utilizado con mucha frecuencia por su sencillez y resume de la siguiente manera cómo debe

darse el proceso de planificación de un programa de capacitación:

1. Analizar las necesidades, qué se conoce y qué es necesario aprender.

2. Diseñar y explicitar cómo va a realizarse la instrucción.

3. Desarrollar adecuadamente los materiales, actividades y prácticas en un ambiente

de aprendizaje.

4. Implementar lo planificado y diseñado según selección de formatos, contextos y

medios.

5. Evaluar el proceso y resultados.

La evaluación aporta las bases para identificar las fortalezas y debilidades del proceso

de capacitación y apoya en la toma de decisiones que afectan tanto a la capacitación en sí

misma, participantes, actores del proceso formativo e institución. El propósito último de la

evaluación es aprender identificando buenas prácticas y dificultades pero también, tomar las

decisiones pertinentes para mejorar sucesivos programas de capacitación y lograr el

compromiso de las instituciones con la formación de sus recursos humanos y en todos sus

niveles.

Un programa de capacitación orientado a mejorar las competencias del recurso

humano de las instituciones debiera contemplar la posibilidad de incorporar la modalidad

mixta (presencial y virtual) ya que permite utilizar las mejoras prácticas de una modalidad y

12

amplía las oportunidades tanto de los formadores como de los participantes de mejorar los

procesos de enseñanza y aprendizaje.

Bibliografía

Alvira Martin, F. (1997), Metodología de la Evaluación de Programas: Un Enfoque

Práctico, Argentina, Lumen/Humanitas.

Akbulut, Y. (2006), Implications of Two Well-Known Models for Instructional Designers in

Distance Education: Dick-Carey versus Morrison-Ross-Kemp, (ERIC Document

Reproduction Service No. ED496543).

Berge, Z.L. (2003), Planning and Managing Distance Training and Education in the

Corporate Sector. En Handbook of Distance Education, Moore y Anderson (Ed.),

New Jersey, USA, Lawrence Erlbaum.

Bogardus, A. M. (2007), PHR/SPHR: Professional in Human Resources. Certification Study

Guide, New Jersey, USA, John Wiley and Sons.

Dick, W., Carey, L. y Carey. J.O. (2004), The systematic design of instruction, Boston, USA,

Pearson/Allyn and Bacon.

Borrow, J. & Berardinelli, P. (2003), Systematic performance improvement – refining the

space between learning and results, en Journal of Workplace Learning, No. 15.

Brinkerhoff, R. O. & Dressler, D. E. 2003), Using the success case impact evaluation method

to enhance training value & impact,

http://www.kenblanchard.com/img/pub/newsletter_brinkerhoff.pdf, 6-06-2009

Coulthard, G.J. (2005), Critique of Kirkpatrick’s four level of evaluation,

http://www.coulthard.com/files/KirkpatrickCritique.swf, 4-06-2009

Ehrmann, S. C. & Milam, J. (2003), Flashlight Cost Analysis Handbook: Modeling Resource

Use in Teaching and Learning with Technology, MD, USA, The TLT Group.

Foxon, M. (1993), A process approach to the transfer of training, en Australian Journal of

Educational Technology, No. 9.

García Rueda, J.J. (2008), ELearning en la empresa: hay sitio para el aprendizaje informal?,

en Quaderns Digitals, No. 51.

Garavaglia. P. (1995), Transfer of Training: Making Training Stick, Alexandria, VA,

American Society for Training and Development.

Garrison, D. R. y Anderson, T. (2005), El e-learning del siglo XXI. Investigación y práctica,

Barcelona, España, Ediciones Octaedro.

Hamblin, A. C. (1974), Evaluation and control of training, Berkshire, UK, Mcgraw-Hill.

13

Horton, S. (2007), Evaluation of leadership development and training in the British Senior

Civil Service: the search for the Holy Grail,

http://www.ipa.udel.edu/3tad/papers/workshop3/horton.pdf, 06-06-2009

Horton, W. (2001), Evaluating E-learning, Alexandria, VA, USA, American Society for

Training and Development.

Jang, K.S., Kim, Y.M y Park, S. J. (2006), A blended learning program on undergraduate

nursing students‟learning o electrocardiagraphy, en Consumer-centered computer-

supported care for healthy people, Park, Murray y Delaney (ed), Amsterdam:

Netherlands: IOS Press.

Jonassen, D. H. (1999), Designing constructivist learning environments, en, Instructional-

design Theories and Models: A new paradigm of instructional theory, Reigeluth (ed),

New Jersey, USA, Lawrence Erlbaum.

Kauffman, R.; Watkins, R. y Leigh, D. (2001), Useful educational results, Lancaster, PA,

Pro>Active.

Kirkpatrick, D, L. y Kirkpatrick, J D. (2007), Evaluaciones de acciones formativas. Los

cuatro niveles, Barcelona, España, Gestión 2000.

Knowles, M.S., Holton, E. F. y Swanson, R. A. (1998), The Adult Learner: The Definitive

Classic in Adult Education and Human Resource Development, Fifth Edition,

Woburn, MA, Butterworth- Heinemann

López Camps, J. (2005), Planificar la formación con calidad, Madrid, España, WK

Educación.

Machin, M. A. (2002), Planning, managing, and optimizing transfer of training,

http://www.usq.edu.au/users/machin/Machin,%202002.PDF, 6-0--2009 de junio

McPherson, A., Homan, G., y Wilkinson, K. (2005), The implementation and use of

elearning in the corporate university en Journal of Workplace Learning, No17.

Mokate, K (2003). Convirtiendo el 'monstruo' en aliado: la evaluación como herramienta de

la gerencia social, Washington DC, USA, Banco Interamericano de Desarrollo.

Norlin, E., Travis, T.A. (2008), E-Learning and Business Plans: National and International

Case Studies, Maryland, USA, Rowman & Littlefield.

Oblinger, D.G. y Rush, S. C. (2003), The Involvement of Corporations in Distance

Education, en Handbook of Distance Education, Moore and Anderson (ed.), New

Jersey, USA, Lawrence Erlbaum.

Pérez Juste, R. (2006), Evaluación de Programas Educativos, Madrid, España, La Muralla.

Phillips, J.J. (1997), Return on investment in training and performance improvement

programas, Texas, USA, Gulf Publishing.

14

Phillips. P. y Phillips, J.J. (2007), The value of learning. How organizations capture value

and ROI and translate them into support, improvement, and funds, San Francisco,

CA, Pfeiffer.

Pineda, P. (1995), Auditoría de la formación, Barcelona, Gestión2000.

Piskurich, G.M. (2006), Rapid instructional design: learning ID fast and right, San

Francisco, CA, Pfeiffer.

Pla i Molins, M. (1997), Curriculum y educacion: Campo semántico de la didáctica,

Barcelona, España, Edicions Universitat.

Real Academia Española (2004). Diccionario de la lengua española,

http://buscon.rae.es/draeI, 7-07-2009

Russ-Eft, D. y Preskill, H. (2001), Evaluation in organization, MA, USA, Basic Books.

Smaldino S. E., Russell, J. D., Heinich, R. y Molenda, M. (2006), Instructional technology

and media for learning, New Jersey, USA, Pearson Prentice Hall.

Silcedo Aguilar, A. (2006), Capacitación y desarrollo del personal, D.F, México, Noriega.

Soler, E. (2006). Constructivismo, innovación y enseñanza efectiva, Caracas, Venezuela,

Equinoccio

Strother, J.B. (2002), An Assessment of the Effectiveness of e-learning in Corporate Training

Programs, http://www.irrodl.org/index.php/irrodl/article/view/83/160, 20-05-2008

Sutton,B. y Stephenson, J. (2005), A review of „Return of Investment‟ in training in the

corporate sector and possible implications for college – based programmes, en

Journal of Vocational Education and Training, No. 57.

Swanson, R.A. y Holton, E.F. (2001), Foundations of human resource development,

California, USA, Berrett-Koehler Publishers

Swanson, R. A. y Sleezer, C.M. (1987), Training effectiveness evaluation. Training

development and research center project number sixteen, (ERIC Document

Reproduction Service No. ED279795)

The Joint Committee on Standards for Educational Evaluation (2007). The program

evaluation standards, http://www.wmich.edu/evalctr/jc, 7-08-2008

The Sloan Consortium (2007). Sloan-C publications,

http://www.sloanc.org/publications/books/prm.asp, 8-08-2008

Thomson, M. M. y Irele, M. E. (2003), Evaluating Distance Education Programs, en

Handbook of Distance Education, Moore and Anderson (ed.), New Jersey, USA,

Lawrence Erlbaum.

15

Urdan, T. A. y Weggen, C. C. (2000), Corporate e-learning: Exploring a new frontier,

http://www.spectrainteractive.com/, 8-06-2009

Reseña biográfica

María P. Ruiz Gutiérrez es especialista en Diseño Instruccional y Evaluación de la

Capacitación. Tiene un Diplomado en Educación por la Universidad de Valladolid (España),

una Maestría en Logopedia por la Universidad de Barcelona (España) y un Doctorado en

Educación con énfasis en Tecnología Instruccional y Educación a Distancia por la Nova

Souhteastern University (USA). Ha diseñado programas formativos e impartido cursos desde

los niveles de preescolar hasta universitarios, ha diseñado y desarrollado formación de

adultos y participado en proyectos internacionales educativos presenciales y a distancia con la

Organización de Estados Americanos (OEA) y Banco Interamericano de Desarrollo (BID).

Ha sido la coordinadora y responsable del diseño, desarrollo y evaluación de los programas

formativos (presenciales y online) del Instituto Interamericano para el Desarrollo Económico

y Social (INDES) del Banco Interamericano de Desarrollo en su sede de Washington DC.

Actualmente se desempeña como asesora y consultora en proyectos internacionales de

tecnología educativa, diseño instruccional, e-learning y evaluación de la capacitación.

mruizguti@gmail.com