Entregable 5

Informe de resultados de las capacitaciones

Índice

● Introducción● Marco Muestral● Descriptivos Generales● Nivel de Conocimiento y Aprendizaje

○ Complejidad por Pregunta y Estudio de Anomalías○ Modelo Estadístico de Conocimiento

● Nivel de Satisfacción○ Satisfacción con el Curso○ Satisfacción con el Capacitador○ Satisfacción con la Organización

● Principales Resultados● Recomendaciones

IntroducciónSe presentan los resultados derivados del análisis estadístico sobre los cuestionarios aplicados durante el primer semestre del 2018.

Para determinar si los conocimientos financieros y empresariales mejoraron con respecto al inicio del curso para cada una de las combinaciones Estado-IMF se realizó un proceso de muestreo estratificado aleatorio simple.

El marco muestral cuenta con 14,655 personas, del diseño de la muestra y el proceso de transcripción se obtuvo una base de datos con 915 observaciones para el periodo de estudio.

Satisfacción: Se construyeron tres índices (Satisfacción del curso de capacitación, Satisfacción respecto al capacitador, Satisfacción respecto a la organización del curso) para comparar los resultados entre organizaciones.

Conocimiento: Se construyó una variable de conocimiento para el cuestionario inicial y el final.

Marco Muestral

● Todos los resultados presentados en este documento son obtenidos mediante la aplicación de los factores de expansión obtenidos mediante el diseño muestral estratificado.

● De las cajas entregadas por el programa se contabilizó un total de 17,347 encuestas en 20 estados de la república.

● Del total de las 1,088 encuestas de la muestra 1,035 encuestas contaron con la información y la limpieza suficiente para ser digitalizadas.

● Dentro de la información entregada para la captura y análisis se encontraron algunos cuestionarios correspondientes al ejercicio fiscal 2017, estos se descartaron.

● Del total de las encuestas digitalizadas, a la versión “2018” le corresponden 915 encuestas con información completa.

Las gráficas muestran la distribución de observaciones una vez que se aplicaron los factores de expansión. Nota: El factor de expansión se interpreta como la cantidad de personas en la población, que representa una persona en la muestra.

Distribución de Encuestas

Distribución de Encuestas por Entidad Federativa Distribución de Encuestas por IMF

DESCRIPTIVOSGENERALES

Cuando lo invitaron a los cursos: ¿Qué información le dieron?

¿Por qué decidió venir al curso de capacitación?

Descriptivos Generales

Descriptivos Generales

Descriptivos GeneralesRangos de Edad

Descriptivos Generales

Descriptivos Generales¿Tiene dificultad o batalla para lo siguiente?

Descriptivos Generales ¿Por qué decidió terminar el curso de capacitación?.

Descriptivos Generales

¿Cree que los beneficios de asistir a la capacitación son mayores que el costo de venir?

¿Está interesada(o) en recibir otro curso de capacitación?

Descriptivos Generales ¿Qué temas le gustaría que se impartieran en el curso?

NIVEL DE CONOCIMIENTO Y

APRENDIZAJE

Evaluación del ConocimientoPara evaluar el conocimiento y aprendizaje obtenido durante la capacitación se utilizó la sección 3 del cuestionario. En esta sección se mide el conocimiento y habilidades temáticas de educación financiera, empresarial y de crédito mediante un caso práctico conocido como “la tienda de Elvia” estas preguntas van de la pregunta numerada como E1 a la numerada como E11 del cuestionario y se ordenan temáticamente de la siguiente manera:

Evaluación del ConocimientoAntes de evaluar y definir qué IMFs y Entidades Federativas obtuvieron las mejores calificaciones o un efecto “aprendizaje” mayor al tomar la capacitación, es importante hacer un análisis de relaciones de complejidad y patrones entre las preguntas.

Ya que el cuestionario lo aplican las IMFs actuando como juez y parte, es importante entender que existen incentivos perversos a compartir las respuestas de los cuestionarios, por esta razón no es suficiente hacer un promedio simple y ver quién es la mejor evaluada. Es importante estudiar cuáles son los comportamientos de las diferentes evaluaciones e identificar aquellos que nos parezcan anómalos y que valga la pena investigar a profundidad para ir mejorando la calidad general de la capacitación que ofrece PRONAFIM a través de las distintas IMFs. Las anomalías que se presentan aquí, son solo eso: anomalías y deben de tomarse más como una herramienta para mejorar y aplicar otras evaluaciones.

En las primeras diapositivas de esta sección analizamos los patrones normales de las respuestas para identificar anomalías; en la segunda sección, a través de un modelo estadístico, obtendremos una calificación final por IMF y estado que podremos valorar con base en los resultados de la primera sección.

Complejidad por Pregunta

Para generar el índice de “conocimiento” primero se estudió la relación entre las preguntas de la sección “La tienda de Elvia” y el porcentaje de respuestas correctas para cada una de ellas.

En términos generales las preguntas de finanzas y crédito resultaron ser las más difíciles de contestar.

La pregunta de “Crédito (monto a pagar)” en donde tienen que calcular un monto multiplicado por una tasa mensual y la pregunta “Finanzas (costos y gastos)” donde tienen se evalúa la comprensión entre el concepto de costo y un gasto son las preguntas a las que menor porcentaje de beneficiarias contestó de forma correcta.

Gráfica construida con cuestionario Inicial

Complejidad por Pregunta (Entidad Federativa)

En general, en las entidades federativas se conservan las relaciones observadas a nivel nacional (diapositiva anterior).

Algunos estados como Oaxaca, Guerrero y Yucatán presentan comportamientos anómalos. Es decir, calificaciones altas donde otros tienen bajas.

Viendo los resultados a nivel de IMF, se observa que FINCRECEM, SOFIPA y MZ FINANCIAL presentan calificaciones anormalmente altas que no replican el comportamiento promedio para las demás IMFs. Esto puede considerarse un patrón anómalo que analizaremos en la siguiente diapositiva.

Complejidad por Pregunta (IMF)

Los patrones de anomalía se pueden estudiar por pregunta dado que cada una de ellas tiene distinta dificultad. La gráfica de la izquierda describe la distancia porcentual a la calificación promedio, esto nos ayuda a encontrar IMF en donde las beneficiarias obtuvieron calificaciones altas donde el promedio tiene calificaciones bajas. Una pregunta difícil se reconoce porque existe una mayor varianza, es decir no todas las personas contestarán de la misma forma. Si analizamos el comportamiento de una pregunta esperaríamos que se replique para todas las IMFs, la gráfica derecha identifica IMFs en donde sus beneficiarias contestaron con una menor varianza promedio para todas las preguntas, esto significa que la mayoría de las beneficiarias contestaron de la misma forma para preguntas que tenían en promedio más varianza. Con estas gráficas podemos concluir que las IMFs con patrones más anómalos son: FINCRECEM, SOFIPA y CAPP. Como se mencionó anteriormente, esto no quiere decir que estas IMFs hayan compartido las respuestas, sin embargo sí son las que presentan patrones más anómalos que vale la pena investigar más a detalle si se seguirá contratando para la implementación de las capacitaciones con miras a mejorar la calidad del servicio otorgado a las beneficiarias.

Desviación Estándar y Diferencia al Promedio Diferencia Porcentual a la Calificación Promedio por

PreguntaDiferencia Porcentual a la Desviación Estándar Promedio

por Pregunta

Aprendizaje por Sección

Analizando los promedios simples por sección, se vuelve a concluir que las partes más difíciles del examen son la sección de crédito y finanzas. Sin embargo, es en finanzas donde se observa un aprendizaje promedio mayor. También podemos concluir que para todas las secciones se presentó una mejora.

MODELO ESTADÍSTICO DE “CONOCIMIENTO”

Teoría de Respuesta al ReactivoLas gráficas anteriores tienen un problema, ponderan a cada pregunta de la misma forma. Es decir, una pregunta difícil vale lo mismo que una pregunta fácil. Dado que nuestro objetivo es identificar “conocimiento” tomar en cuenta esta diferencia es fundamental.

Para generar el índice de “conocimiento” se implementó un modelo de variable latente (no observada) conocido como “Teoría de respuesta al ítem”. La teoría de respuesta al ítem establece una relación entre el comportamiento de un sujeto frente a una pregunta y el rasgo responsable de dicha conducta (rasgo latente) mediante una función que describe la probabilidad de dar una respuesta determinada para cada nivel de rasgo.

La teoría de respuesta al ítem (IRT) se propuso por primera vez en el campo de la psicometría con el propósito de medir la “capacidad”. Es ampliamente utilizado en educación para calibrar y evaluar artículos en pruebas, cuestionarios y otros instrumentos y para evaluar habilidad, inteligencia u otros rasgos latentes.

Hoy, todas las pruebas educativas principales, como la Prueba de Aptitud Académica (SAT) y el Examen de Registro de Graduados (GRE), se desarrollan utilizando versiones de teoría de respuesta de ítems.

https://support.sas.com/resources/papers/proceedings14/SAS364-2014.pdfhttps://www.ets.org/Media/Research/pdf/RR-13-28.pdf

Construcción de Índices (Conocimiento)

Para generar el índice de “conocimiento” se implementó un modelo de variable latente conocido como Rash.

En este modelo suponemos que el conocimiento de un individuo es una variable aleatoria que se mide en una escala continua utilizando una batería de p preguntas.

Una persona tendrá más conocimiento entre más preguntas conteste de forma correcta.

En nuestro caso, el ajuste se hizo con todas las preguntas de la sección de Elvia.

La curva característica de cada pregunta muestra la probabilidad de que las beneficiarias respondan correctamente a distintos niveles de “conocimiento”.

Cambio en Conocimiento

Los conocimientos de los y las microempresarias mejoraron a partir de la capacitación. El promedio la calificación del examen inicial fue de 59.3 y la final fue de 71.1 mejorando en promedio 10%

con un p-valor = 1.199206e-36 inferior al umbral habitual de 0.05. Se rechaza la hipótesis de igualdad de medias.

Cambio en Conocimiento por Estado

Oaxaca, Yucatán y Chiapas tuvieron las mejores calificaciones iniciales.Oaxaca, Veracruz y Guerrero tuvieron las mejores calificaciones finales.

Cambio en Conocimiento por Estado

Si analizamos el cambio o “aprendizaje” para el caso de los Estados: Guanajuato (Equípate), Morelos (Súmate, Te Creemos y Equípate) y Veracruz (Siempre Creciendo, Súmate, Te creemos y Lunma) son los que mayores mejoras presentan entre el cuestionario inicial y el final.

Por su parte Hidalgo (Súmate y Equípate), Ciudad de México (Rentamigo, Equípate y Came) y San Luis Potosí (Siempre Creciendo) son los que presentaron menos mejoras o incluso resultados negativos.

Cambio en Conocimiento por IMF

Credicrece, Fincrecem y Sofipa tuvieron las mejores calificaciones iniciales y Fincrecem, Sofipa y Te Creemos tuvieron las mejores calificaciones finales. Del análisis de anomalías reconocemos a

Fincrecem y Sofipa por lo que concluimos que las IMFs con las mejores calificaciones para el primer semestre del 2018 y que a su vez no presentaron anomalías son Credicrece y Te creemos.

Si analizamos el cambio o “aprendizaje”.Para el caso de las IMF’s: Súmate y Te Creemos presentaron las mejoras más importantes. Siembra y Pro éxito por su parte presentaron un resultado negativo.

Cambio en Conocimiento por IMF

Exploración: Conocimiento por Edad

Calificación Inicial por Rango de Edad

De la exploración anterior no observamos una relación lineal importante entre el rango de edad y la calificación.

Calificación Final por Rango de Edad

con un p-valor = 2.143381e-15 inferior al umbral habitual de 0.05. Se rechaza la hipótesis de igualdad de medias. Es decir las mujeres obtienen una calificación mayor y estadísticamente significativa a los hombres.

Calificación Inicial por Sexo

La distribución de calificación para las mujeres muestra un sesgo sutil pero significativo a calificaciones más altas.

Exploración: Conocimiento por Sexo

Exploración: Conocimiento por Nivel de Escolaridad

Observando las gráficas se identifica una relación importante entre el nivel de escolaridad y el promedio de conocimiento. Ya que no se puede utilizar la correlación de pearson para evaluar la relación entre una variable numérica y una categórica se utilizó la correlación “policórica” obteniendo como resultado que no existe una relación significativa entre el grado de escolaridad y la calificación. Sin embargo, a la hora de hacer el mismo análisis con la variable de aprendizaje se observa que sí existe una relación positiva y significativa con el grado de estudio. Es decir, a mayor grado de estudio existe un mayor aprendizaje.

Calificación Inicial por Escolaridad Calificación Final por Escolaridad

Pruebas de CorrelaciónCalificación Inicial: Correlación Policórica, 2 pasos. = -0.08354 (No significativa)Aprendizaje: Correlación Policórica, 2 pasos. = 0.07389 (Significativa)

NIVEL DE SATISFACCIÓN

Construcción de Índices (Satisfacción)

A continuación nos concentramos en calcular la medida de satisfacción. Para esto se utilizarán las preguntas del cuestionario final que van de la C7 a la C12 y de la S1 a la S19.

Se separaron temáticamente de la siguiente forma:

● Satisfacción del curso de capacitación: C7 a C12● Satisfacción respecto al capacitador: S1 a S7● Satisfacción respecto a la organización del curso: S8 a S19

Para la construcción de las variables se continuó con el enfoque de variables latentes, solo que ahora se definió el grado de satisfacción como la variable no observada (latente).

Evaluación de SatisfacciónSatisfacción respecto al capacitadorSatisfacción respecto a la organización del curso

Satisfacción del curso de capacitación

77% 87%

47%

35%16%

23% 13%

Satisfacción con el Curso de Capacitación por IMF

Las IMFs mejor evaluadas son: AMEXTRA, Te Creemos y Credicrece. Por su parte, las que obtuvieron una menor percepción de satisfacción con el curso son: Lunma y Pro éxito.

Satisfacción con el Capacitador y la Organización

De la gráfica anterior identificamos que las IMF con menor percepción de satisfacción son Pro éxito, Lunma, Sofipa y Equípate tanto para el indicador de satisfacción con el capacitador como para el indicador de la organización del curso. Por su parte, Apoyo Promotora, Capp y Fincrecem son las mejor evaluadas para estos dos indicadores.

Escriba 2 cosas que no le gustaron del curso

A pesar de que la pregunta es: “¿Qué cosas no le gustaron del curso?” algunas beneficiarias contestaron con cosas positivas. En la gráfica de nube se observa las palabras más utilizadas al contestar esta pregunta. Se agrega también una lista de algunas respuestas ordenadas por su frecuencia.

Mapa Análisis Descriptivo (Estados)

Mapa: https://goo.gl/rW7ito

Satisfacción Organizador Índice Aprendizaje

Satisfacción Curso Satisfacción Capacitador

Correlación entre Variables

● El análisis de correlaciones nos arroja que las variables de satisfacción están correlacionadas positivamente entre ellas. Con una relación más fuerte entre la satisfacción del capacitador con la satisfacción con la organización.

● La dificultad está relacionada positivamente con la satisfacción con el capacitador.

● En el caso de la variable de calificación se observa una correlación negativa tanto para la calificación inicial como para la final.

Principales ResultadosSatisfacción

● El 82% se encuentra satisfecho con respecto al curso de capacitación.● El 87% de las microempresarias se encuentran satisfechas con respecto al capacitador.● El 77% se encuentra satisfecho con respecto a la organización del curso.

Conocimiento● Los conocimientos de los y las microempresarias mejoraron a partir de la capacitación. La calificación

promedio del examen inicial fue de 59.3 y la final fue de 71.1 mejorando en un 10 por ciento.IMF’s

● Te Creemos y Súmate son las IMF’s en donde las beneficiarias mejoran más su evaluación.● Fimcrecem y Sofipa son las IMF’s en donde mejor salen evaluadas las beneficiarias pero estas IMFs

presentaron muchas anomalías por lo que las IMFs Credicrece y Te Creemos son las mejor evaluadas.Estados

● Guanajuato y Morelos son los estados en donde las beneficiarias mejoran más su evaluación.● Oaxaca y Yucatán son los estados en donde mejor salen evaluadas las beneficiarias.

Relaciones● No se encontró una relación significativa entre conocimiento y la satisfacción.

Recomendaciones● Digitalización del Examen:

○ Se recomienda comenzar a digitalizar el levantamiento de la encuesta para aquellos estados en donde sea posible. Las encuestas se podrían hacer con celulares inteligentes no necesariamente con tabletas representando un costo menor para las IMFs y permitiendo seguimiento más puntual por el programa.

○ También se podría utilizar metodologías de “Bubble sheet multiple choice” para pasar las hojas por un escáner con OCR.

● Es necesario realizar estas evaluaciones definiendo una metodología consistente en el tiempo para generar bases de análisis de comparación ya que hoy no sabemos si una mejora de 10% es suficiente o insuficiente.

● Sería recomendable darle un seguimiento puntual a SOFIPA y FINCRECEM para evaluar las posibles anomalías detectadas.

● Revisar evaluaciones previas de SIEMBRA en caso de reincidencia en bajo aprovechamiento en calificaciones realizar un análisis de la metodología/materiales para hacer recomendaciones de mejora.

● Obtener temario y características de la capacitación por IMF para que el análisis incluya recomendaciones de metodologías y material de clase.

● Sería interesante hacer levantamientos posteriores al curso para ver el impacto de la capacitación en el negocio de las beneficiarias.

GRACIAS