EVALUACION DE LA EVALUACION DE LA EFECTIVIDAD EN PROMOCION EFECTIVIDAD EN PROMOCION DE LA SALUD DE LA SALUD

Metodología de Evaluación Metodología de Evaluación RápidaRápida

Víctor C. Salazar C. MPHVíctor C. Salazar C. MPHDiciembre, 2005 Diciembre, 2005

ANTECEDENTESANTECEDENTES

Suzanne F. Jackson, Ph.D. Centre for Health Promotion, University of Toronto, 2005

•Escasas evaluaciones que demuestran la efectividad de Escasas evaluaciones que demuestran la efectividad de

las intervenciones en Promoción. Esto se acentúa en las intervenciones en Promoción. Esto se acentúa en

Latinoamérica.Latinoamérica.•Se toman muchas decisiones políticas, pero existen Se toman muchas decisiones políticas, pero existen

pocas investigaciones que aportan. No hay cultura de la pocas investigaciones que aportan. No hay cultura de la

evaluación y uso de la evidencia en la decisiones.evaluación y uso de la evidencia en la decisiones.•Para los investigadores – se necesitan más Para los investigadores – se necesitan más

investigaciones relacionadas con aspectos políticosinvestigaciones relacionadas con aspectos políticos•Para los tomadores de decisiones – necesitan Para los tomadores de decisiones – necesitan

información resumida, presentada en términos políticosinformación resumida, presentada en términos políticos

Resultados de evaluaciones, aún con excelentes diseños, no se tienen en cuenta

para la toma de decisiones y se convierten solo en interesantes ejercicios académicos

La evaluación en promoción de la salud ha estado distanciada del escenario político y más ligado a lo

académico

Escenario político y de toma de decisiones

Escenario Académico

EL ESCENARIO POLÍTICO DE LA EL ESCENARIO POLÍTICO DE LA EVALUACIÓN EN PSEVALUACIÓN EN PS

Logro y Mantenimiento de la Calidad de Vida de individuos, Grupos y comunidades, para que vivan saludables

Evaluación

Toma de decisiones

Políticas Públicas

Evidencias

LA EVALUACIÓN DEBE SER UN INSTRUMENTO CLAVE PARA LOGRAR ESTA ARTICULACIÓN

•Calidad y relevancia de la información•El contexto político en el cual se realiza la evaluación•Capacidad de los evaluadores para comunicar e influenciar a los tomadores de decisión

NO articuladosen la práctica

CONCEPTOS CLAVE

EFECTIVIDAEFECTIVIDADD

EVALUACION EVALUACION

EVIDENCIEVIDENCIASAS

Recoger y usar información (evidencias) para las decisiones que tomamos

Insumos

Procesos

Productos

Efectos

Impactos

Tiempo

Nivel de desarrollo

Monitoreo

Evaluación

Seguimiento y sistematización

Objetivos

EVALUACIÓN

Las reglas de evidencias están ligadas a disciplinas no a proyectos y estos no están basados en una disciplina sino que representan un campo de acción.

La complejidad de intervenciones multidisciplinarias hacen insostenible reglas universales de evidencias.

Ligia de Salazar CEDETES

EVIDENCIAS E INDICADORES EN PROMOCION DE LA SALUD

Hay diversidad de criterios para definir indicadores de éxito entre usuarios de los resultados

La teoría provee el fundamento y paradigmas de investigación y practica. Entre más substancial y coherente es la base teórica mayor credibilidad, con base en ella se establecen los parámetros que constituyen la evidencia.

Ligia de Salazar, CEDETES

• Morbilidad• Mortalidad• Riesgos• Derecho• Equidad• Condiciones

económicas• Empleo

Cambios en el estado de salud y

determinantes

Cambios en construcción de

capacidad

• Políticas Públicas• Cohesión social• Intersectorialidad• Participación social• Redes de apoyo• Estilo de vida

Gráfico tomado de Ligia de Salazar, CEDETES

La efectividad Constituye la relación entre los resultados y el objetivo

de iniciativas en promoción de la salud se evalúa desde dos ángulos o categorías independientes pero complementarias:

EFECTIVIDAD

Metodología de Evaluación Rápida UNA ALTERNATIVA VIABLE

Es una respuesta a limitaciones de tiempo

y recursos. Útil en la planificación de intervenciones

por orientarse a proveer información

oportuna y relevante a tomadores de

decisión. Constituye un paso en la búsqueda de

"señales" de efectividad de una

intervención, en un proceso de sucesivas

aproximaciones.

• Establecer relaciones causales entre la intervención y los resultados

• Controlar variables que sesgan los resultados

• Equilibrar intereses entre evaluadores y tomadores de decisión, la mayoría de veces, financiadores de la evaluación.

• Generalizar a otras poblaciones

ALCANCESALCANCES

• Se puede establecer asociación entre variables de interés, o sea intervención y resultados

• Entender las razones que hicieron posible esos resultados

• Generar nuevas hipótesis de investigación que serán probadas con otro tipo de estudio

ALCANCES Y LIMITACIONES DE LA EVALUACIÓN RÁPIDA EN PROMOCIÓN DE

LA SALUD

LIMITACIONESLIMITACIONES

PREGUNTAS PARA DEFINIR EL DISEÑO

¿cuál información se espera obtener con la evaluación?

¿para qué se evalúa?

¿qué decisiones se tomarán con esta información?

¿quién requiere la evaluación?

¿qué quieres saber?

ACTIVIDADESMETODOLOGÍA DE EVALUACIÓN RÁPIDA

1. Caracterización del proyecto para

la evaluación.

2. Estudio de viabilidad y factibilidad.

3. Definición del alcance de la evaluación.

4. Definición de fuentes y métodos.

5. Trabajo de campo.

6. Procesamiento y análisis.

7. Comunicación y toma de

decisiones.

1. Caracterización del 1. Caracterización del Proyecto de Proyecto de Promoción de la Promoción de la SaludSalud

Asegurar viabilidad y factibilidad de Asegurar viabilidad y factibilidad de la evaluaciónla evaluación

Definir el alcance de la evaluaciónDefinir el alcance de la evaluación

Conocer muy bien el proyecto o Conocer muy bien el proyecto o intervención de Promoción de la Salud intervención de Promoción de la Salud que pretende evaluar facilita:que pretende evaluar facilita:

PRODUCTOS

Proyecto para evaluación clasificado:Proyecto para evaluación clasificado: Revisar los marcos teóricos y operativos del proyecto a la luz Revisar los marcos teóricos y operativos del proyecto a la luz

de los componentes de promoción de la salud. de los componentes de promoción de la salud. Chequear la presencia de criterios que garantizan que un Chequear la presencia de criterios que garantizan que un

proyecto de promoción de la salud pueda ser evaluado en un proyecto de promoción de la salud pueda ser evaluado en un corto plazo aplicando esta metodologíacorto plazo aplicando esta metodología

Confrontar la teoría de la promoción de la salud y de su Confrontar la teoría de la promoción de la salud y de su evaluación con sus propios conocimientos y con la práctica evaluación con sus propios conocimientos y con la práctica en el contexto de sus lugares de vida y trabajo.en el contexto de sus lugares de vida y trabajo.

Proyecto de evaluación analizado:Proyecto de evaluación analizado: Suficiencia y coherencia entre los componentes Suficiencia y coherencia entre los componentes Identificación de aspectos del contexto que influenciaron sus Identificación de aspectos del contexto que influenciaron sus

resultadosresultados

Formulación de políticas públicas. Fortalecimiento de las acciones comunitarias y de la

participación de la gente en las decisiones y acciones relacionadas con su salud –empoderamiento-.

Creación de ambientes favorables tanto en sus dimensiones físicas como sociales y fortalecimiento del sistema de apoyo social de la comunidad.

Desarrollo de las aptitudes personales para tomar decisiones saludables y soportar presiones negativas para la salud.

Reordenamiento de los servicios de salud para hacer mayor hincapié en la promoción y las posibilidades que ofrecen las instituciones de atención sanitaria como lugares adecuados para la promoción de la salud.

CARTA DE OTTAWA - ÁREAS OPERACIONALES DE LA PROMOCIÓN CARTA DE OTTAWA - ÁREAS OPERACIONALES DE LA PROMOCIÓN DE LA SALUDDE LA SALUD

CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO

CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO

Enfoque Promoción de la SaludEnfoque Promoción de la Salud

Construcción de capacidad, Construcción de capacidad, empoderamiento.empoderamiento.

Creación de oportunidades y habilidades Creación de oportunidades y habilidades en la comunidad educativa para reconocer, en la comunidad educativa para reconocer, analizar e intervenir factores de riesgo. analizar e intervenir factores de riesgo.

Sistema Comunitario de Vigilancia de Factores de Riesgo del Comportamiento para Población Escolar – Adolescente SIVEA

CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO

Enfoque Promoción de la SaludEnfoque Promoción de la Salud

Equidad en el acceso a la información.Equidad en el acceso a la información.

Políticas públicas relacionadas con, estilos Políticas públicas relacionadas con, estilos de vida saludables, construcción de de vida saludables, construcción de ambientes Saludables, participación socialambientes Saludables, participación social

Reorientación de Servicios de salud. Reorientación de Servicios de salud.

CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO

Estado del proyectoEstado del proyecto

Finalizado como proyecto. Finalizado como proyecto. Incorporado a la cotidianidad como Incorporado a la cotidianidad como parte de la estrategia de parte de la estrategia de sostenibilidad. sostenibilidad.

CRITERIOS PARA SELECCIÓN DEL CRITERIOS PARA SELECCIÓN DEL PROYECTOPROYECTO

Disponibilidad de informaciónDisponibilidad de información

Facilidad de acceso a documentos, Facilidad de acceso a documentos, bases de datos y actores claves del bases de datos y actores claves del proceso.proceso.

Las Instituciones y/o grupos Las Instituciones y/o grupos involucrados en el desarrollo del involucrados en el desarrollo del

ProyectoProyecto

Comunidad Educativa Institución Comunidad Educativa Institución Educativa Simón Bolívar. Padres, Educativa Simón Bolívar. Padres, profesores y estudiantes.profesores y estudiantes.

Universidad.Universidad. AlcaldíaAlcaldía EducaciónEducación SaludSalud EESSS.EESSS.

La Población BeneficiariaLa Población Beneficiaria

Niños, niñas y adolescentes Niños, niñas y adolescentes escolarizados.escolarizados.

Maestros.Maestros.

Padres de familia.Padres de familia.

El ProblemaEl Problema

Limitada capacidad de los y las Limitada capacidad de los y las adolescentes, profesores, directivos y adolescentes, profesores, directivos y padres de familia de la Institución padres de familia de la Institución Educativa Simón Bolívar del Municipio Educativa Simón Bolívar del Municipio de La Cumbre para actuar frente a los de La Cumbre para actuar frente a los determinantes de la salud y factores de determinantes de la salud y factores de riesgo asociados con los principales riesgo asociados con los principales problemas de salud de esta población problemas de salud de esta población

La JustificaciónLa Justificación

Percepciones de estudiantes, padres y profesores Percepciones de estudiantes, padres y profesores frente a Factores de Riesgo, de adolescentes frente a Factores de Riesgo, de adolescentes escolarizados no cuantificadas en La Cumbre.escolarizados no cuantificadas en La Cumbre.

Cifras nacionales frente a riesgos en adolescentes Cifras nacionales frente a riesgos en adolescentes como:como:

– Inicio de actividad sexual en promedio de país a los 14.4 Inicio de actividad sexual en promedio de país a los 14.4 años. Encuesta Nacional de Jóvenes. Presidencia República. años. Encuesta Nacional de Jóvenes. Presidencia República. 2000.2000.

– 15% de adolescentes de 15 a 19 años ya han sido madres y 15% de adolescentes de 15 a 19 años ya han sido madres y 4% están embarazadas de su primer hijo. Profamilia 2000.4% están embarazadas de su primer hijo. Profamilia 2000.

El 70% de los menores de 14 años ha consumido algún tipo El 70% de los menores de 14 años ha consumido algún tipo de bebida alcohólica. RUMBOS 2001de bebida alcohólica. RUMBOS 2001

ObjetivoObjetivo

Incrementar la capacidad de análisis y Incrementar la capacidad de análisis y respuesta de la comunidad educativa, padres, respuesta de la comunidad educativa, padres, estudiantes y profesores, frente a los estudiantes y profesores, frente a los determinantes de la salud y a los factores de determinantes de la salud y a los factores de riesgo asociados con problemas de salud de riesgo asociados con problemas de salud de los jóvenes, a través de la implementación de los jóvenes, a través de la implementación de un Sistema de Vigilancia de Factores de un Sistema de Vigilancia de Factores de Riesgo del Comportamiento, SIVEA, en la Riesgo del Comportamiento, SIVEA, en la Institución Educativa Simón Bolívar de La Institución Educativa Simón Bolívar de La Cumbre, Valle.Cumbre, Valle.

Los Resultados/Productos Los Resultados/Productos EsperadosEsperados

Sistema de Vigilancia y monitoreo de los factores de Sistema de Vigilancia y monitoreo de los factores de riesgo del comportamiento y sus determinantes .riesgo del comportamiento y sus determinantes .

Proyectos escolares para intervenir los riesgos, Proyectos escolares para intervenir los riesgos, definidos participativamente y vinculados al PEI.definidos participativamente y vinculados al PEI.

Información del SIVEA insumo del diagnóstico e Información del SIVEA insumo del diagnóstico e incorporada al PEI y aula de clase.incorporada al PEI y aula de clase.

Comunidad Educativa capacitadaComunidad Educativa capacitada

Estrategia intersectorial de intervención de riesgos.Estrategia intersectorial de intervención de riesgos.

Las Principales ActividadesLas Principales Actividades

Talleres de sensibilización y capacitación.Talleres de sensibilización y capacitación. Aplicación anual de la encuesta de Aplicación anual de la encuesta de

Factores de Riesgo y otras técnicas de Factores de Riesgo y otras técnicas de recolección.recolección.

Procesamiento, análisis, interpretación y Procesamiento, análisis, interpretación y uso de información obtenida.uso de información obtenida.

Implementación metodología para difusión Implementación metodología para difusión de información. de información.

Diseño de estrategias de Sostenibilidad.Diseño de estrategias de Sostenibilidad.

Los RecursosLos Recursos Tipo de recursos:Tipo de recursos:

Recurso humano: padres, Recurso humano: padres, profesores y profesores y estudiantes.estudiantes.

Equipo de apoyo profesional: Equipo de apoyo profesional: Salud Pública, Epidemiología.Salud Pública, Epidemiología.

Infraestructura física: Aulas de Infraestructura física: Aulas de clase, sala de clase, sala de reuniones, sala de reuniones, sala de sistemas.sistemas.

Suministros: Módulos SIVEA, Suministros: Módulos SIVEA, fotocopias, fotocopias, papelería.papelería.

El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto

Municipio Agroecoturístico a 27 Municipio Agroecoturístico a 27 kilómetros de Calikilómetros de Cali

Siete corregimientos y 23 veredasSiete corregimientos y 23 veredas Reserva y Riqueza NaturalReserva y Riqueza Natural Gente TrabajadoraGente Trabajadora Talento Humano Comprometido y Talento Humano Comprometido y

ParticipativoParticipativo 50% de población escolarizada pertenece 50% de población escolarizada pertenece

a la Institución Educativa donde se realiza a la Institución Educativa donde se realiza la evaluación.la evaluación.

El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto

Opciones educativas de nivel técnico Opciones educativas de nivel técnico y profesional en Yumbo y Cali.y profesional en Yumbo y Cali.

Pocas alternativas laborales. Pocas alternativas laborales. Falta de recursos para continuidad Falta de recursos para continuidad

de estudios entre los jóvenes.de estudios entre los jóvenes. Poco control frente a los y las Poco control frente a los y las

adolescentes frente a consumo de adolescentes frente a consumo de licor y tabaco.licor y tabaco.

El Contexto de desarrollo del El Contexto de desarrollo del ProyectoProyecto

Población TotalPoblación Total: 10.934 : 10.934 Habitantes. DANE.Habitantes. DANE.

Población NBI:Población NBI: 3.111 3.111

Población Total según Población Total según comunidad:comunidad: 19.722 19.722

2. 2. EstudioEstudio de de viabilidad y viabilidad y factibilidadfactibilidad..

Identificando los Actores InvolucradosIdentificando los Actores Involucrados Recogiendo los Intereses y necesidades Recogiendo los Intereses y necesidades

de los tomadores de decisiónde los tomadores de decisión

Asegurar viabilidad y factibilidad de la Asegurar viabilidad y factibilidad de la evaluaciónevaluación::

Actores InvolucradosActores Involucrados

Institución oInstitución o

grupogrupoCargo o Cargo o funciónfunción

CategoríaCategoría

Directivo docente Directivo docente Institución Institución EducativaEducativa

RectorRector TomadorTomador

DecisiónDecisión

Comunidad Comunidad EducativaEducativa

Padres, profesores, Padres, profesores, estudiantesestudiantes

InvolucradosInvolucrados

EjecutoresEjecutores

Dinamizador Dinamizador Profesora EnlaceProfesora Enlace EjecutoraEjecutora

Actores InvolucradosActores Involucrados

Institución oInstitución o

grupogrupoCargo o funciónCargo o función CategoríaCategoría

Concejo GobiernoConcejo Gobierno municipalmunicipal

Alcaldesa y Alcaldesa y coordinadores de coordinadores de sectoressectores

TomadoresTomadores de de decisióndecisión

ESE HospitalESE Hospital GerenteGerente TomadoraTomadora de de decisióndecisión

ESE HospitalESE Hospital Coord. Promoción Coord. Promoción de la salud y de la salud y Prevención de la Prevención de la enfermedad.enfermedad.

EjecutorEjecutor

Actores InvolucradosActores Involucrados

Institución oInstitución o

grupogrupoCargo o Cargo o funciónfunción

CategoríaCategoría

CEDETES CEDETES UNIVALLEUNIVALLE

Directora Directora InvestigaciónInvestigación

Tomador Tomador DecisiónDecisión

CEDETES CEDETES UNIVALLEUNIVALLE

Coordinación Coordinación OperativaOperativa

Tomador de Tomador de decisión, decisión, ejecutorejecutor

CEDETES CEDETES UNIVALLEUNIVALLE

EstadísticoEstadístico

EconomistaEconomistaInvolucradosInvolucrados

Intereses y necesidades de los Intereses y necesidades de los tomadores de decisióntomadores de decisión

Conocer los resultados obtenidos del proyecto en Conocer los resultados obtenidos del proyecto en

términos de su contribución en la construcción de términos de su contribución en la construcción de capacidad de la Comunidad Educativa para capacidad de la Comunidad Educativa para analizar y decidir en que y como actuar frente a analizar y decidir en que y como actuar frente a los riesgos detectados por el SIVEA.los riesgos detectados por el SIVEA.

Determinar las Estrategias sostenibilidad del Determinar las Estrategias sostenibilidad del SIVEA.SIVEA.

Identificar los costos del SIVEA.Identificar los costos del SIVEA. Conocer los requerimientos para su extensión en Conocer los requerimientos para su extensión en

el 100% de población educativa del municipio.el 100% de población educativa del municipio.

3. 3. Definición del alcance Definición del alcance de la evaluaciónde la evaluación..

Pregunta de la Evaluación Pregunta de la Evaluación Objetivo de la EvaluaciónObjetivo de la Evaluación Variables Variables IndicadoresIndicadores

Pregunta de EvaluaciónPregunta de Evaluación

¿Cuál es la contribución del SIVEA a la ¿Cuál es la contribución del SIVEA a la construcción de capacidad de la construcción de capacidad de la comunidad educativa de la Institución comunidad educativa de la Institución Educativa Simón Bolívar de La Cumbre, Educativa Simón Bolívar de La Cumbre, Valle, frente a los determinantes de la Valle, frente a los determinantes de la salud y factores de riesgo del salud y factores de riesgo del comportamiento de los y las comportamiento de los y las adolescentes?adolescentes?

Objetivo de la EvaluaciónObjetivo de la Evaluación

Identificar la contribución de un Sistema de Vigilancia Identificar la contribución de un Sistema de Vigilancia

en Factores de Riesgo del Comportamiento para en Factores de Riesgo del Comportamiento para

Población Escolar Adolescente en la construcción de Población Escolar Adolescente en la construcción de

capacidad de respuesta de la Comunidad Educativa capacidad de respuesta de la Comunidad Educativa

para recolectar, procesar, analizar, utilizar, intervenir y para recolectar, procesar, analizar, utilizar, intervenir y

divulgar los riesgos detectados en Escolares divulgar los riesgos detectados en Escolares

Adolescentes de la Institución Educativa Simón Bolívar Adolescentes de la Institución Educativa Simón Bolívar

de La Cumbre Valle.de La Cumbre Valle.

VariablesVariables

Construcción de capacidad de respuesta.Construcción de capacidad de respuesta.

Oportunidad y habilidad de padres, Oportunidad y habilidad de padres, profesores y estudiantes para reconocer, profesores y estudiantes para reconocer, analizar e intervenir FRC.analizar e intervenir FRC.

Factores de riesgo del comportamiento Factores de riesgo del comportamiento para población escolar adolescente.para población escolar adolescente. Comportamientos de los y las adolescentes o Comportamientos de los y las adolescentes o prácticas no saludables que ponen en riesgo la prácticas no saludables que ponen en riesgo la salud.salud.

Variables e IndicadoresVariables e Indicadores

VariableVariable Variable Variable EspecíficaEspecífica

IndicadoresIndicadores

Construcción de Construcción de capacidad de capacidad de respuestarespuesta

Acciones Acciones generadas por generadas por padres, padres, profesores y profesores y estudiantes con estudiantes con la información la información del SIVEAdel SIVEA

Número y tipo de Número y tipo de proyectos en proyectos en ejecución para ejecución para intervenir intervenir determinantes en determinantes en salud y FRC salud y FRC producto de producto de SIVEA.SIVEA.

Variables e IndicadoresVariables e Indicadores

VariableVariable Variable Variable EspecíficaEspecífica

IndicadoresIndicadores

Factores de Factores de riesgo del riesgo del comportamiento comportamiento para población para población adolescente.adolescente.

Frecuencia de Frecuencia de factores de factores de riesgo.riesgo.

Frecuencia de Frecuencia de actividad física.actividad física.

Frecuencia de Frecuencia de consumo de consumo de vegetales y vegetales y frutas.frutas.

Diferencia de Diferencia de proporciones en proporciones en los FRC los FRC comparando la comparando la medición del medición del 2003 con la 2003 con la medición del medición del 2004.2004.