RESUMEN

EVALUACIÓN DE PROCESOS E IMPACTO

ESTRATEGIA SORACÁ 1,2,3 POR MÍ

INFORME METODOLÓGICO

2017

EVALUACIÓN DE PROCESOS E IMPACTO

ESTRATEGIA SORACÁ 1,2,3 POR MÍ

La evaluación de la estrategia Soracá 1,2,3 por mí tiene como objetivos: evaluar el esquema operativo y funcional del piloto de “1,2,3 Por mis primeros mil días de vida: estrategia educativa para la maternidad y paternidad”; levantar la línea de base de los beneficiarios del programa con el fin de establecer los resultados e impactos en los componentes: emocional, corporal y alimentación y nutrición de la implementación del piloto de la estrategia en Soracá; dar insumos para formular recomendaciones al modelo de operación de la estrategia que mejoren su desempeño y permitan su escalonamiento, así como la consolidación de los componentes de formación, comunicación y evaluación de la estrategia.

La metodología propuesta consiste en el desarrollo de una evaluación mixta, que contempla la medición de los procesos, resultados e impactos del piloto.

1. EVALUACIÓN DE PROCESOS

Con la evaluación de procesos se busca identificar y analizar cómo se interrelacionan todas las actividades necesarias para consolidar cada uno de los componentes de la estrategia 1, 2, 3 por mis primeros mil días de vida.

Para este caso específico, es esencial examinar los procedimientos y tareas involucradas en la implementación del programa. En este sentido se debe considerar tanto los aspectos administrativos como organizativos del programa, lo que permite determinar si el programa funciona y posibilita realizar intervenciones que mejoren su calidad. (Departamento Nacional dePlaneación, 2012).

Para su desarrollo, en primer lugar, es necesario definir los procesos a evaluar, para esto se tomó como referencia la ruta de implementación de la estrategia.

La ruta de implementación de la estrategia educativa “1,2,3 por mí en Soracá” contempla ocho momentos, los cuales lidera la ESE de Soracá con el apoyo del equipo de trabajo de salud pública de la Fundación Santa Fe de Bogotá.

Ilustración 1. Ruta de implementación de la estrategia educativa “1,2,3 por mí en Soracá”

Fuente: Fundación Santa Fé de Bogotá, 2016

En el siguiente cuadro se presenta el listado de indicadores establecidos relacionados con cada uno de los momentos establecidos en la ruta de atención:

Indicadores generales

1. Situación actual de las mujeres gestantes y niños menores de 2 años (salud, nutrición, bienestar físico y emocional, vinculación de la red de apoyo, fortalecimiento de las actividades de los profesionales en salud.

2. Acciones que se adelantan para mejorar la situación de las mujeres gestantes en cada uno de los ejes

3. Puntos clave para mejorar y garantizar el estado de salud, nutrición, bienestar físico y emocional, red de apoyo, fortalecimiento profesionales de salud?

4. Reconocimiento de los objetivos planteados cuando se inició la implementación de la estrategia

5. Percepción de cómo la estrategia contribuye a mejorar el estado salud, nutrición, bienestar físico y emocional, vinculación de la red de apoyo, fortalecimiento de las habilidades de los profesionales en salud

6. Aspectos claves para garantizar la adecuada implementación de la estrategia

7. Aspectos claves para garantizar la sostenibilidad de la estrategia.

8. Aspectos claves para el escalonamiento de la estrategia

9. Habilidades de consejería en los profesionales de la ESE y de la facilitadora del proceso de formación

Momento 1. Alistamiento del proceso por parte de la ESE

Momento 2. Contacto con la madre y la pareja

Momento 3: Sesiones de formación

1. Divulgación en diferentes espacios (separar espacios intersectoriales/intrasectoriales)2. Espacios de toma de decisiones y otros espacios de socialización donde llega la estrategia3. Sesiones de información/formación con los profesionales de la ESE/Total planeadas4. Cómo se dan las sesiones de información y comunicación con los profesionales de la ESE5. Profesionales con formación (cada uno de los componentes) en la estrategia/Total de profesionales de la ESE6. Profesionales con información de la estrategia7. Conocimientos de la estrategia 8. Profesionales que tienen que implementar (realización de las sesiones) la estrategia de la ESE9. Cumplimiento del cronograma de actividades (esto habría q hacerlo por macroactividades)10. ¿Cuáles son los cuellos de botella para que se den los procesos y procedimientos establecidos en cada uno de los

momentos?11. Levantamiento de información del diagnóstico para identificación de beneficiarios y su vinculación al proceso12. Se cuenta con todos los insumos necesarios para garantizar la implementación13. Se realizó la campaña de sensibilización de la forma esperada14. Cuántos volantes/afiches/cuñas/video se distribuyeron y de que forma llegaron a los beneficiario15. Se identifica la estrategia en diferentes niveles (alcaldía, ese, población general, beneficiarios)

1. Gestantes que cuentan con formato de identificación 2. Madres gestantes que cuentan con formato de seguimiento3. Gestantes con remisión a diferentes servicios de la ESE 4. Número de llamadas telefónicas / total madres participantes 5. Cuñas radiales al aire/sobre las diseñadas, número de veces emitidas al día=frecuencia 6. Prescripción de suplementos7. Recepción de suplementos8. Consumo de suplementos9. Video de información de la estrategia/total madres gestantes participantes10. Frecuencia de emisión de videos en sala de espera 11. Asistencia a controles prenatales12. Red de apoyo

1. Material disponible para la realización de las sesiones2. Lista de chequeo de insumos necesarios en cada sesión3. Actividades realizadas en la zona rural 4. Asistencia a las sesiones5. Nivel de satisfacción de las madres gestantes participantes 6. Implementación de compromisos realizados por las madres y su red de apoyo durante las sesiones7. Asistencia a todas las sesiones que hacen parte de la estrategia8. Acompañantes de la red de apoyo durante las sesiones9. Percepción del acompañamiento de la red de apoyo durante las sesiones10. Número de sesiones de nivelación

Momento 4: Visita domiciliaria

Momento 5: Llamada telefónica al mes de nacido

Momento 6. Valoración del proceso

Para la recolección de la información de la evaluación de procesos se emplearán tres técnicas específicas: entrevistas, grupos focales y revisión documental.

Las entrevistas se realizarán a los actores involucrados en cada una de las etapas establecidas para la implementación del programa (expertos temáticos, profesionales y

técnicos ESE), por su parte los grupos focales se realizarán con los beneficiarios y la revisión documental tanto en la Fundación Santa Fe como en la ESE.

El análisis de la información recolectada a través de los instrumentos cualitativos (entrevistas semiestructuradas y grupos focales), se realizará a través de la herramienta del

ATLAS TI. Para el análisis de la información recolectada a partir de la revisión documental se analizará mediante el software STATA, básicamente para establecer los indicadores cuantitativos que se han planteado dentro de la evaluación de procesos.

La matriz de análisis y los mapas de relaciones entre categorías, será discutido con el equipo del proyecto frente a lo cual se realizarán los ajustes pertinentes acorde con el proceso de evaluación, de tal forma que se verifiquen los siguientes aspectos:

1. Gestantes que cuentan con formato de identificación 2. Madres gestantes que cuentan con formato de seguimiento3. Gestantes con remisión a diferentes servicios de la ESE 4. Número de llamadas telefónicas / total madres participantes 5. Cuñas radiales al aire/sobre las diseñadas, número de veces emitidas al día=frecuencia 6. Prescripción de suplementos7. Recepción de suplementos8. Consumo de suplementos9. Video de información de la estrategia/total madres gestantes participantes10. Frecuencia de emisión de videos en sala de espera 11. Asistencia a controles prenatales12. Red de apoyo

1. Número de madres gestantes con sesión 12/número de madres gestantes programadas 2. Número de aspectos a los que se realizó seguimiento durante la llamada/el número de aspectos identificados en la visita

Promedio de número de sesiones que reciben las madres gestantes participantes Socialización de resultados Percepción de los resultados de la estrategia por parte de la ESE, las familias de los beneficiarios, el COMPOS

municipal, referentes de la Secretaría de Salud

Ilustración 2. Aspectos claves análisis de gestión de procesos

Fuente: (Departamento Nacional de Planeación, 2012)

2. EVALUACIÓN DE IMPACTO

La evaluación de impacto permitirá medir los posibles efectos que la estrategia educativa En Soracá 1,2,3; haya podido tener sobre la población beneficiaria. Se determinará con exactitud si estos impactos son atribuibles a la intervención o son resultado de otra actividad.

Las evaluaciones de impacto son necesarias para informar a los responsables de políticas sobre una serie de decisiones, desde la interrupción de programas ineficientes hasta la expansión de las intervenciones que funcionan, el ajuste de los beneficios de un programa o la elección entre varios programas alternativos. Alcanzan su máxima efectividad cuando se aplican selectivamente para responder a importantes preguntas sobre políticas, y pueden ser especialmente efectivas cuando

1. Identificar a los beneficiarios y sus necesidades: con el objeto de tener procesos y productos que

satisfagan las necesidades y expectativas de los beneficiarios.

2. Definir los productos: conocer a los beneficiarios para determinar qué bienes o servicios se deben

ofrecer.

3. Trazar el mapa de procesos: a través del conocimiento de las

necesidades de los beneficiarios

4. Describir los procesos: los procesos tienen como eje central al beneficiario, sustentados

en el procedimiento know-how (es saber cómo transferir y/o manejar equipos, programas y dispositivos, fórmulas, diseños y métodos de

manera conjunta y ordenada para mejorar los procesos y actividades de producción de un

bien o un servicio).

5. Diagramar los procesos: facilita concebir y esquematizar el

programa como un sistema. Se propone el uso de diagramas de flujos de datos para analizar la estructura de los procesos, sus

interconexiones y la efectividad de cada uno de ellos.

6. Análisis de datos y mejora del proceso: aquí el evaluador puede recurrir a indicadores de calidad que le permitan determinar si los procesos se realizaron según los

criterios del programa y los beneficiarios.

se aplican a programas piloto innovadores que están poniendo a prueba un enfoque nuevo y no demostrado, pero prometedor. (Gertler Paul, 2017)

La evaluación de impacto tiene como objetivo poder determinar cuál es el efecto de la intervención a través de la identificación de lo que le habría pasado a los beneficiarios si el programa no hubiese existido.

Fuente: Martinez S, Midiendo el impacto: Métodos de evaluación de impacto, 2013

Para verificar esto, se debe establecer en la misma persona que habría pasado con o sin programa. Dado que esto no es factible, el planteamiento metodológico establece la identificación de un grupo control. Gracias a este grupo, es posible estimar los efectos de una intervención al comparar dos poblaciones similares, una de las cuáles recibe la intervención y la otra que tiene como “única” diferencia que no recibe la intervención.

Fuente: Martinez S, Midiendo el impacto: Métodos de evaluación de impacto, 2013

2.1 Grupo tratamiento y control

Para la selección de los grupos tratamiento y control de la evaluación de impacto del piloto se partió inicialmente de la recopilación de información que permitió identificar el censo de mujeres actualmente en gestación con menos de 25 semanas, y que serán las elegibles para la evaluación. Esto permitirá que todas las gestantes tengan la oportunidad de acceder a todas las sesiones propuestas por la estrategia, antes de finalizar su gestación.

Considerando las estadísticas de nacimiento oficiales desde las estadísticas vitales, se evidenció que para el año 2015 el número de nacimientos en el municipio fue de 96 gestantes, de acuerdo a esto, para el período de evaluación se debe contar con alrededor de 40 gestantes que cumplirán con el criterio de inclusión del número de semanas de gestación. Considerando el tamaño del universo, la evaluación será censal, es decir, que todas las gestantes con menos de 25 semanas de gestación entrarán al proceso de evaluación.

Para definir el grupo control, se partió del análisis e identificación de municipios pertenecientes a la misma provincia Boyacense a la que pertenece Soracá. A partir de esta caracterización y con el fin de contar con más elementos que soportarán la selección del control, se realizaron visitas directas que permitieran identificar otras características como el acceso a servicios de salud, específicamente aquellos dirigidos a gestantes. Después de analizar la información disponible y con el fin de garantizar un suficiente tamaño de muestra para el grupo control fueron definidos como municipios control los municipios de Oicatá y Sotaquirá. En este caso, también se identificó la necesidad de hacer el análisis con todas las gestantes (análisis censal).

2.2 Indicadores evaluación de impacto

Para la identificación de los impactos es necesario identificar indicadores que den cuenta de forma valida y fiable de los impactos de la estrategia, de tal forma que se pueda verificar que los cambios observados son producto de la intervención y no de otros factores; además de permitir medir la magnitud de esos cambios atribuibles a la estrategia.

Los principales indicadores de impacto que se evaluarán son:

Ilustración 6. Impactos esperados sobre el estado de salud y nutrición de la madre y el niño(a) participantes en la estrategia 1,2,3 por mí Soracá

Fuente: elaboración propia

Estado nutricional de la madre: El estado nutricional de la madre es un determinante importante del desenlace del embarazo en aspectos como el parto y el estado de salud y nutrición del bebé, adicionalmente, el manejo adecuado del peso durante la gestación y período de lactancia contribuirá a la recuperación efectiva del peso pregestacional.

Se han encontrado diversos estudios de tipo experimental que han encontrado un impacto significativo de la atención prenatal grupal sobre la ganancia de peso durante el embarazo y el post parto. Estos resultados también se reflejan en el manejo del estrés de la madre sobre la ganancia de peso y la recuperación del peso preconcepcional después del parto. (Urania Magriples, 2015)

Adicionalmente, de acuerdo a lo planteado por la guía de atención para el control de peso en Estados Unidos, a través de brindar información sobre alimentación y práctica de

actividad física durante el embarazo, una importante estrategia para disminuir la prevalencia de obiesidad, además de disminuir, el riesgo obstétrico, reducir la retención de peso después del parto, mejorar la salud a largo plazo y adicionalmente reducir la posibilidad de que el bebé presente exceso de peso.

Peso al nacer: El peso al nacer es uno de los principales resultados al finalizar el parto y es uno de los determinantes del desarrollo futuro del bebé. Existen muchas razones por las cuales los bebés son demasiados pequeños al nacer, o nacen de manera prematura, o ambas cosas. Dentro de estos aspectos existen algunos factores relacionados con la conducta de la madre gestante que pueden afectar el peso como son los bajos ingresos y la falta de educación, la edad de la madre (menor a 17 años o

ESTADO NUTRICIONAL MUJER

Adecuado estado nutricional de la madre

(IMC/EG)

ESTADO NUTRICIONAL NIÑOS

Peso al nacer (gramos)

MANEJO DEL DOLOR(Escala análoga del dolor)

CALIDAD DEL SUEÑO(Indice de calidad del

sueño)

mayor a 35 años, dietas deficientes, ganancia de peso inadecuada, fumar, consumir bebidas alcohólicas y usar drogas).

Al analizar todas las posibles causas de bajo peso al nacer, se evidencia que muchas de ellas son posible de evitarla. En este sentido, una educación prenatal adecuada, permite la identificación temprana y la toma de medidas óptimas que permitan reducir el riesgo de bajo peso al nacer y de paso evitar los riesgos que sufren los bebés prematuros y con bajo peso sobre su salud y desarrollo. (Marquez & Labrador)

Una de las estrategias para las cuales se ha evidenciado un impacto positivo en el peso del bebé, es el desarrollo de sesiones grupales que tienen dentro de sus principales ventajas:

• Servir de punto de comparación al sujeto para evaluar las habilidades y capacidades individuales• Ofrece distintos estilos y estrategias de actuación que pueden servir de modelo.• Proporciona una retroalimentación más rica y variada que la que puede dar un solo individuo a otro.• Incrementa las expectativas de cada persona ante el problema.• Disminuye la ansiedad del sujeto al enfrentar la tarea en colectivo.• Permite entrenar a un grupo de personas en el dominio de técnicas que posibilitan solucionar creativamente los problemas en poco tiempo. (Marquez & Labrador)

En diversos estudios se han evidenciado los impactos positivos en el peso al nacer gracias al desarrollo de sesiones grupales. Por ejemplo, en una revisión sistemática, la cual incluyó 17 estudios, encontró gestaciones más prolongadas y mayor peso al nacer, especialmente entre niños prematuros. (Kathleen Thielen, 2012). Adicionalmente, se ha encontrado que estos impactos son mayores en poblaciones específicas como las mujeres Latinas y las mujeres de raza negra. (Kathleen Thielen, 2012) (Picklesimer AH1, 2012) (Jeannette R. Ickovics, 2007)

Manejo del dolorEn cuanto al manejo del dolor, se ha evidenciado que estrategias relacionadas con la práctica específica de actividad física, después de 12 semanas de intervención, reflejan un menor nivel de intensidad del dolor en la espalda en comparación con madres que no han participado en sesiones de este tipo. (Mi-Jung Shima, 2007)

Dado que las principales molestias relacionadas con la presencia del dolor se dan durante el tercer trimestre de gestación, para la medición del impacto se realizará una medición de la diferencia entre el nivel de dolor entre el grupo tratamiento y control, durante el primer seguimiento.

Calidad del sueño

El último impacto que se espera encontrar en las gestantes que serán beneficiarias de la estrategia 1,23, por mí, es la mejoría de la calidad del sueño, para la cual se ha encontrado evidencia importante que el hecho de contar con información del manejo emocional y el desarrollo de ejercicios específicos contribuye a la mejoría en la calidad del sueño, que a su vez se relaciona con el control de problemáticas con la depresión postparto. (Liora Kempler, 2012).

Dado que el sueño se afecta principalmente durante el último trimestre de gestación, para la medición del impacto se realizará una medición de la diferencia en la calidad del sueño entre el grupo tratamiento y control, durante el primer y segundo seguimiento.

2.3. Recolección de la información

Para la medición del impacto se plantea la recolección de información en tres momentos:

3.5 Análisis de la información

Diferencias en diferencias

El método de evaluación propuesto es el de diferencias en diferencias, que es uno de los principales métodos de análisis propuestos para diseños cuasi experimentales,

Compara los cambios a lo largo del tiempo en la variable de interés entre una población inscrita en un programa (el grupo de tratamiento) y una población no inscrita (el grupo de comparación). (Paul J. Gertler, 2011). En la siguiente gráfica, se presenta la esencia de la medición del impacto a

Línea de base

Busca identificar el estado tanto del grupo tratamiento control previo a la implementación de la estrategia. Validar comparabilidad de los grupos.Instrumentos: características sociodemográficas, historia ginecoobstétrica, conocimientos actitudes, practicas, mediciones: peso y talla, escala dolor y medición calidad del sueño y grupos focales beneficiarios.

Primer seguimiento

Se espera identificar cambios en: actitudes, conocimientos y prácticas para los indicadores de interés. Es ideal recolectar antes del nacimiento del bebé, para evidenciar cambios específicos en la ganancia de peso, el manejo del dolor, la alimentación durante la gestaciónSe realizará 4 meses después de iniciar la intervención (alrededor de 32 semanas de gestación)Se aplicará una encuesta para indagar: características sociodemográficas, historia ginecoobstétrica, conocimientos actitudes, practicasMediciones: peso y talla, escala dolor y medición calidad del sueñoEntrevistas beneficiarios y red de apoyo

Segundo seguimiento

Evidenciar algunas prácticas como la lactancia maternal.Evidenciar los posibles efectos que sobre el bebé se esperan. Se realizará aproximadamente 1 mes después del nacimiento del bebéSe aplicará una encuesta para indagar: características sociodemográficas, historia ginecoobstétrica, conocimientos actitudes, practicas, características del partoMediciones: peso y talla, peso y talla del bebé, escala dolor y medición calidad del sueñoEntrevistas beneficiarios y red de apoyo

través de la aplicación del método de dobles diferencias.

Ilustración 3. Medición del contra factual

Fuente: (Departamento Nacional de Planeación, 2012)

Con este método se estima inicialmente el cambio en las variables de resultado experimentado por cada grupo, o más precisamente por sus muestras, entre la línea de base y la o las encuentras de seguimiento (primera diferencia), y luego comprando el cambio mostrado por el grupo de beneficiarios con el registrado en el grupo de no beneficiarios (segunda diferencia). (CEPAL, 2007)

Variables instrumentales

Cuando se tenga toda la información de tratamientos y controles, se analizará si se presentan eventos que puedan tener un efecto sobre la participación de las mujeres en las sesiones educativa, por ejemplo, la distancia del hogar al centro de atención donde se realizan las sesiones. De llegar a comprobarse esta situación, existe la alternativa de usar la variable como una variable instrumental, de tal forma que se aísle su efecto y se pueda medir el impacto de la intervención.

Análisis de intensidad

Adicionalmente, y aunque el objetivo es que las gestantes del grupo de intervención reciban todos los módulos de los que se compone la estrategia, una opción que se pudiera presentar durante la implementación del Programa, es que existan gestantes que hayan recibido distinto número de sesiones, lo que podría llevar a replantear la opción de comparar tratamientos y controles, pues no todas las gestantes de tratamiento recibieron el mismo tratamiento. En la teoría econometría existe la opción entonces de poder evaluar a esta población con una metodología de dosis-respuesta (análisis de intensidad). Lo que permitiría tener el efecto que daría el tener un nivel más de capacitación.