REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O...

47
REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACION INFANTIL TEMPRANA O DESARROLLO INFANTIL TEMPRANO (DIT), EN AMERICA LATINA 1.INTRODUCCION Durante las últimas décadas la temática referida a Educación Infantil temprana o Desarrollo Infantil Temprano ha ido cobrando paulatinamente mayor fuerza, en la medida en que los aportes en investigación educativa fueron poniendo mayor importancia en esta etapa del crecimiento del individuo. Hoy en día es claro que durante los primeros cuatro años del desarrollo humano el cerebro aprende más, y que la existencia de mayores estímulos en esta etapa significa mayores logros a nivel psicomotriz, afectivo, cognitivo y de interacción con el medio. (Bloom, 1964). Por otro lado, desde un punto de vista económico y político, durante las últimas décadas los gobiernos latinoamericanos han tomado mayor interés en determinar cuál es el impacto de sus inversiones en términos de recursos humanos, infraestructura y servicios en esta etapa, sobre todo considerando los elevados índices de mortalidad y morbilidad infantil, el analfabetismo y los bajos niveles de rendimiento académico y laboral del capital humano, debido a factores que pueden anticiparse previamente y corregirse estructuralmente. Para ello una herramienta clave es la evaluación educativa, un aspecto que ha ido cobrando cada vez mayor importancia en este contexto geográfico. Existen experiencias de mucho valor en países como Ecuador, Colombia o Chile, los cuales han podido obtener logros importantes a través de políticas adecuadamente implementadas en materia de Desarrollo Infantil Temprano. 2. DESARROLLO DE CONCEPTOS ¿Qué es evaluación? 1

Transcript of REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O...

Page 1: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACION INFANTIL TEMPRANA O DESARROLLO INFANTIL

TEMPRANO (DIT), EN AMERICA LATINA1. INTRODUCCION

Durante las últimas décadas la temática referida a Educación Infantil temprana o Desarrollo Infantil Temprano ha ido cobrando paulatinamente mayor fuerza, en la medida en que los aportes en investigación educativa fueron poniendo mayor importancia en esta etapa del crecimiento del individuo. Hoy en día es claro que durante los primeros cuatro años del desarrollo humano el cerebro aprende más, y que la existencia de mayores estímulos en esta etapa significa mayores logros a nivel psicomotriz, afectivo, cognitivo y de interacción con el medio. (Bloom, 1964).

Por otro lado, desde un punto de vista económico y político, durante las últimas décadas los gobiernos latinoamericanos han tomado mayor interés en determinar cuál es el impacto de sus inversiones en términos de recursos humanos, infraestructura y servicios en esta etapa, sobre todo considerando los elevados índices de mortalidad y morbilidad infantil, el analfabetismo y los bajos niveles de rendimiento académico y laboral del capital humano, debido a factores que pueden anticiparse previamente y corregirse estructuralmente.

Para ello una herramienta clave es la evaluación educativa, un aspecto que ha ido cobrando cada vez mayor importancia en este contexto geográfico. Existen experiencias de mucho valor en países como Ecuador, Colombia o Chile, los cuales han podido obtener logros importantes a través de políticas adecuadamente implementadas en materia de Desarrollo Infantil Temprano.

2. DESARROLLO DE CONCEPTOS

¿Qué es evaluación?El término evaluación incluye varias acepciones que se suelen identificar con fines muy diversos: valorar, enjuiciar, comparar, controlar, fiscalizar, etc. Babio Galán, et al., la define como el «proceso de análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar la acción educativa» (Babio Galán 1992). Sin embargo, Stufflebeam (OIT 2004: 26) (citado por Abdala), es un proceso que facilita la identificación, la recolección y la interpretación de informaciones útiles a los encargados de tomar decisiones y a los responsables de la ejecución y gestión de los programas.

¿Qué tipo de enfoque de evaluación se desarrolla en este trabajo?De manera general (Garcia, 1995) habla de distintas categorías de evaluación dentro de la Educación Inicial. Por una parte, se entiende la evaluación educativa desde un ámbito macro (dirigido a las grandes

1

Page 2: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

intervenciones educativas, una evaluación a gran escala, externa y sumativa, de los efectos de la educación inicial a corto, mediano y largo plazo incorporando variables de eficiencia y funcionalidad del sistema) o desde un ámbito micro, destinada a comprobar los efectos de la intervención educativa dentro del aula. Se entiende que esta parte desarrolla la primera opción, es decir, el trabajo analiza las formas en que se han establecido de manera fenomenológica los indicadores para evaluar las intervenciones macro en diversos países de Latinoamérica y particularmente en Bolivia.

¿Qué momentos encontraremos en la presente propuesta de evaluacion de programas?Adjuntamos el cuadro de Jose Tejada, muy esclarecedor con respecto a las fases y dimensiones de la evaluacion de programas:

Fuente: (TEJADA, 1998)Corresponde a la evaluación diagnostica, conocer la realidad en la que operará el programa, considerando todas las variables de inicio, para determinar las posibilidades en términos de recursos y medios necesarios del contexto, buscando siempre el éxito del mismo. Este proceso viabiliza un proceso de toma de decisiones correctas en función a la información recopilada.

¿Y cuál es la evaluación de impacto?

Una vez concluido el programa, no concluye el proceso de evaluación. Hay que asegurar un proceso diferido de escrutinio a mediano y largo plazo, detectando la consistencia o no de los cambios inducidos por el programa, conforme a las metas originales del plan. Este proceso se realiza a través de la evaluación de impacto, que brinda información a mediano y largo plazo sobre la eficacia, eficiencia, validez y la utilidad del mismo a posteriori.

3. PARAMETROS PARA LA EVALUACION DE PROGRAMAS Y PROYECTOS EDUCATIVOS

Existen diversas series de parámetros a la hora de establecer normas para la evaluación de proyectos educativos en general y de desarrollo infantil temprano en especial. La republica de Costa Rica ha establecido, en el

2

Page 3: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

documento de Informe del Sistema Educativo, (Fundación Centro deEstúdios en Políticas Públicas (CEPP), Fundacion Konrad Adenauer, 2005), para la evaluación de su sistema educativo, subsistema de Información y Evaluación de la Calidad Educativa, los siguientes parámetros de análisis:

- Los actores que han participado y participan en la construcción de los subsistemas de información y evaluación.

- La calidad, confiabilidad, accesibilidad y alcance de la información que proveen estos subsistemas para tomar decisiones de política educativa (de donde se toman los indicadores educativos para la planificación de políticas y o asignación de recursos)

- La relación entre acciones de evaluación y mejoramiento de la calidad:- El grado de coherencia entre la evaluación y el currículum (si se

pretende explícitamente)- El alcance de la interpretación y explicación de los resultados de las

evaluaciones.- Los resultados de la evaluación, su difusión y uso en relación con el

mejoramiento.- El desarrollo de otras líneas de evaluación (principalmente, que permitan

fortalecer el mejoramiento de las prácticas).- La autonomía de las autoridades educativas para el manejo de la

información y la evaluación.

Asimismo, plantea la siguiente matriz de análisis para el subcomponente de evaluación educativa:

3

Page 4: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

Matriz de Análisis del Sistema de Evaluación Educativa (Chile) (FundaciónCentro de Estúdios en Políticas Públicas (CEPP), Fundacion KonradAdenauer, 2005)

Por otra parte, el Ministerio de Planificación chileno ha establecido en diciembre de 2009 una metodología para la preparación y evaluación de proyectos en Educación, la cual establece que la manera en que actualmente los proyectos de educación son evaluados es a través del método costo-eficiencia, sobre todo en aquellos casos en que no es posible expresar los beneficios de determinado proyecto en términos monetarios

4

Page 5: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

como es el caso de los proyectos sociales, el objetivo de este análisis es determinar cual alternativa logra los objetivos planteados al mínimo costo.

4. SISTEMAS Y MODELOS DE EVALUACION Y SEGUIMIENTO VIGENTES EN LATINOAMERICA: ESTUDIOS DE CASO

En función a la información analizada, se confirma la opinión de los expertos regionales con relación a la falta de informes de seguimiento y evaluación de los macroproyectos o programas en desarrollo infantil temprano en la región. Abundan las sistematizaciones y las opiniones personales sobre logros y debilidades de los mismos, pero no existen datos sobre enfoques metodológicos, herramientas y planteamientos utilizados para desarrollar la parte de seguimiento y evaluación de las intervenciones en DIT. En este sentido, se recuperan aquí los documentos normativos sobre evaluaciones de programas y proyectos, los cuales son igualmente novedosos y recientes, y marcaran la norma para desarrollar este aspecto en el futuro.

4.1 Argentina

El año 2002 se presentan los avances del Programa Municipios Saludables(Alessandro, 2003), una estrategia desarrollada en los municipios argentinos que permite instalar la cultura de la “calidad de vida” dentro del campo de la promoción en salud. La misión del Programa Municipios Saludables es fortalecer la ejecución de las actividades de promoción de la salud en el ámbito local, con actividades como campañas de promoción de la lactancia materna, manejo de guardería infantiles y educación temprana, escuelas de futbol infantil, etc., entre otras. Dentro del apartado referido a Evaluación y Seguimiento de los procesos, plantea que existe una tendencia a emplear métodos cada vez más técnicos y complicados de evaluación, lo que amenaza con excluir a los ciudadanos comunes de la participación. Según este enfoque la promoción de la salud debe construir un enfoque de evaluación que pueda ser dominado con un poco de estudio y práctica por cualquier persona.

Los propósitos de esta evaluación de programa en promoción en salud, son:

- Medir el grado de cumplimientos de los objetivos propuestos al diseñar el programa (evaluación de resultados).

- Revisar qué aspectos de las acciones han resultado apropiados para facilitar el trabajo y cuáles podrían mejorarse (evaluación de procesos).

- Examinar el marco en el que se ha dado el programa, identificando los factores favorables y los obstáculos que se han presentado (evaluación cualitativa).

- Examinar las repercusiones directas e indirectas de las políticas, estrategias, programas y /o proyectos sobre la salud (evaluación de impacto sanitario).

Considera que la evaluación es un momento de aprendizaje compartido en el que los distintos participantes suman sus visiones, apreciaciones y

5

Page 6: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

conocimientos sobre la práctica efectuada en conjunto para sacar conclusiones y mejorar su trabajo futuro.

4.2Chile

En Chile, dentro del campo de la educación, se evidencia un sistema maduro de evaluación en general, por la existencia de diversos mecanismos institucionalizados de evaluación a todo nivel, con información que refleja sus avances periódicos disponibles en diversos formatos para el público en general.

A nivel micro, en educación parvularia cada vez existen nuevas experiencias y propuestas en materia de evaluación de aprendizajes, por ejemplo a través de la incorporación de la bitácora fotográfica, el portafolio individual de cada niño, que incluye un registro exclusivo y personal del mismo, o la filmación de aprendizajes, que resulta útil para involucrar a los padres en actividades de educación inicial, y para compartir información y observaciones con otros agentes involucrados en educación parvularia (MINEDUC/UNESCO, 2004). Este país ha asegurado formas institucionalizadas de fortalecimiento de la calidad de los programas de formación de docentes, en base a normas determinadas de excelencia (ver Anexo1).

Por otro lado, a nivel marco, en abril del 2010 la consultora Cartes y Le-Bert Ltd. realizo una evaluación en profundidad al Programa de Perfeccionamiento Docente para Profesionales de la Educación. Dentro del mismo, uno de los subprogramas analizados es el de Fortalecimiento Docente en Educación Parvularia, parte del Programa de Formación Continua para Profesionales de la Educación, el cual funciona desde el año 2003 hasta la fecha. Para este componente, la consultora realizo un estudio de evaluación del diseño del programa, una evaluación de la gestión del programa, y una evaluación de resultados a nivel de producto. Este programa atiende a un total de 6.031 beneficiarios, y tal como los otros, responde a los cambios curriculares implementados a partir de la reforma educativa aprobada en 1996.

4.2.1 Descripción del Programa

El programa de Fortalecimiento Docente en Educación Parvularia es uno de cuatro componentes del Programa de Formación Continua para profesionales en Educación, siendo los otros: Perfeccionamiento docente en Educación Emocional, Desarrollo profesional para Directores en Servicio, y Formación continua de docentes Liceo para Todos. Estos se encuentran agrupados meramente por una condición presupuestaria, sin ningún otro tipo de elemento de conexión.

A nivel general, el objetivo del Programa de Educación Preescolar del MINEDUC es “Promover el acceso de niños y niñas entre 4 y 5 años de edad a una educación parvularia de calidad en establecimientos municipales y particulares subvencionados del país que imparten Primer y Segundo Nivel

6

Page 7: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

de Transición”. Los componentes de este programa eran (hasta el año 2007):

- Ampliación de Cobertura, niños y niñas de primer nivel de transición- Adquisición y entrega de material educativo- Formación inicial y en servicio para la implementación curricular.- Fortalecimiento del rol educativo permanente de la familia.

El componente Fortalecimiento Docente en Educación Parvularia se realizaba, principalmente, mediante dos estrategias: i) a través de universidades y ii) a través de asesoría pedagógica del Ministerio de Educación (MINEDUC) a los Comités Comunales. Los Comités Comunales de la Educación Parvularia son organizaciones de encuentro voluntario y autónomo de carácter pedagógico, convocadas por Educadores de Párvulos con el propósito de favorecer la creación de un espacio de intercambio, construcción colectiva, de estudio y reflexión, a partir de las propias experiencias, incentivando la responsabilidad personal y grupal de educadoras frente a su propio quehacer educativo y favoreciendo el trabajo cooperativo entre ellos.

Durante los años 2001 y 2002 las capacitaciones se enfocaron en currículum, entre 2003 y 2004 en didáctica, y entre 2005 y 2007 en programas pedagógicos

El informe global incorpora elementos relacionados con la situación actual de la formación continua de los profesionales de la educación en Chile, dentro de los cuales destaca su sistema de evaluación. El mismo consiste en una evaluación obligatoria para los docentes de aula que se desempeñan en establecimientos municipales a lo largo del país, de carácter formativo y evalúa directamente las competencias pedagógicas del docente. Los instrumentos de evaluación son los siguientes:

• Portafolio: el cual recoge información directa de su práctica (evidencias escritas más filmación de una clase).

• Autoevaluación: recoge la visión que el propio evaluado tiene de su desempeño.

• Entrevista realizada por un evaluador par: recoge la opinión de un par respecto del docente evaluado.

• Informes de referencia de terceros: los cuales recogen la opinión de sus superiores jerárquicos (director y jefe de la unidad técnico-pedagógica del establecimiento).

Por otra parte, las variables analizadas dentro de la parte de Diseño del Programa, son: coherencia con la política pública, diagnostico e identificación del problema, y diseño mismo de los programas. Dentro de la parte de Gestión de los Programas de Perfeccionamiento Docente del CPEIP, se analizaron como variables la estructura organizacional, los criterios de selección de los beneficiarios, los criterios de asignación de recursos, la eficacia con dos subvariables: resultados a nivel de producto dentro del cual se analiza la cobertura del programa, el porcentaje anual de

7

Page 8: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

cumplimiento de metas anuales de producción, y resultados a nivel intermedio y final. Para este último, que daría a conocer el impacto de los programas, se utilizo como indicador de impacto los resultados obtenidos por los alumnos de los profesores capacitados en los tests del Sistema de Medición de Calidad de la Educación SIMCE. Los resultados intermedios fueron obtenidos utilizando como indicar el puntaje obtenido por los docentes tratados en la Evaluación Docente.

La metodología de evaluación de impacto empleada fue la de Matching o pareo, utilizando Propensity Scores con Dobles Diferencias, para el caso de los Resultados de Impacto a Nivel Final (SIMCE) y Matching usando Propensity Scores en Primeras Diferencias. Cabe anotar que el método de “matching” o pareo con “Propensity Scores” es un método cuya pregunta fundamental es ¿Qué hubiera pasado si el programa no se llevaba a cabo? y cuyo objetivo es encontrar un grupo control o de no beneficiarios, comparable con el grupo de beneficiarios, en base a características observables (Rivera Ramírez, 2010). La principal razón para utilizar este método según sus autores, es su robustez teórica y amplia aplicación en problemas similares.

Adicionalmente a esta metodología base del estudio, se utilizaron dos alternativas para dar mayor solidez a los resultados de impacto:

• Nnmatch. Un método de clasificación no paramétrico, que estima el valor de la función de densidad de probabilidad (encuentra el vecino más cercano sin estimar una ecuación de participación, sino que a través de una ponderación de todas las variables que se consideren relevantes).

• Panel de Datos. Con el objetivo de analizar el impacto de los programas desde un enfoque global, es decir, desde el punto de vista del efecto agregado de la participación de los docentes en los programas del CPEIP en la calidad de la educación, se construyó un panel de datos. Con este se apoyan los resultados obtenidos con el tradicional enfoque microeconómico de estimación de impacto de programas, desde una mirada más general que permita controlar por otras variables que pueden estar relacionadas con los resultados SIMCE de los cursos de los docentes beneficiarios y controles.

4.2.2 Resultados de la Evaluación

La primera observación que resalta el documento de evaluación con relación al mencionado programa, es la falta de un sistema de seguimiento y evaluación ex post que incluya evaluaciones de resultados intermedios y finales del programa, y la posibilidad de determinar factores de éxito y riesgo para el cumplimiento de objetivos, que pudieran ser utilizados para determinar la continuidad o las posibles reformulaciones al programa. Sumado a esto se encuentra la falta de bases de datos sistematizadas y unificadas sobre beneficiarios, postulantes, prestaciones (en cuanto a cantidad y calidad) y recursos financieros, que permitan realizar evaluaciones rigurosas. Finalmente se anota la falta de un diseño a partir de

8

Page 9: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

la metodología del marco lógico, de gran utilidad para los fines anteriormente anotados.

En principio el estudio anota que, a nivel de resultados intermedios,. la evidencia encontrada no es concluyente respecto de la significancia del impacto, sobre todo por la falta de datos, que no permitió construir un modelo tan contundente como en el caso de los resultados finales, cuyos datos se apoyan en la información disponible en el SIMCE, donde se pudo aplicar la metodología en dobles diferencias. Sin embargo, el informe concluye que en términos de magnitudes, el aporte es irrelevante desde el punto de vista de la política pública del sector (página 17 del Informe). Por otra parte, los resultados de impacto obtenidos a nivel final muestran que la participación de los docentes en los programas del CPEIP no tiene un impacto significativo en la calidad de los aprendizajes de los cursos de los docentes que participaron en el Programa. De acuerdo con los evaluadores, este resultado se mantiene para todos los programas y para todas las metodologías enunciadas.

En lo que respecta a la evaluación sobre el uso de recursos de los programas, se evaluó su eficiencia en términos de relación entre los niveles de producción de los programas, con los insumos o recursos (humanos, físicos y monetarios) empleados para alcanzar esos niveles de producto. Para ello, se evaluaron indicadores relativos a cumplimiento del gasto (porcentaje de ejecución presupuestaria); los gastos de producción de los programas (gasto promedio por beneficiario) y con su estructura de gastos (porcentaje de gastos administrativos en relación al gasto total del programa, complementando con el porcentaje que representa el presupuesto asignado a cada programa, respecto del presupuesto total del CPEIP. Los resultados muestran que existe una deficiente programación presupuestaria a nivel de cada programa o componente, observándose en varias casos, ejecuciones presupuestarias por bajo el 90% y en otros, por sobre el 100%. Estas variaciones responden a causas similares para todos los programas, entre las cuales se encuentran: la autorización de saldos de caja, durante el primer trimestre de un año, por pagos pendientes de años anteriores; disminuciones presupuestarias en el transcurso del año, etc.

4.3Ecuador

4.3.1 Descripción del Programa

El 19 de octubre de 1998 se firmó el Contrato de Préstamo No. 1056/0 C-EC entre la República del Ecuador y el Banco Interamericano de Desarrollo, (BID) para la ejecución del Programa de Atención Integral a Menores de Seis Años, denominado "Programa Nuestros Niños (PNN)", a través del Ministerio de Bienestar Social, financiado por el BID por un período de cuatro años, con el objeto de Mejorar el crecimiento saludable y desarrollo integral de los niños menores de seis años en situación de pobreza. Sus objetivos específicos son: mejorar la calidad de los servicios existentes de atención a la infancia, ampliar la cobertura, utilizando diferentes modalidades de

9

Page 10: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

atención y apoyo a las familias para mejorar el cuidado de los niños e incrementar la participación de la comunidad en la gestión de los servicios y fortalecer la capacidad institucional para mejorar la formulación de políticas, establecer un nuevo mecanismo de financiamiento de programas para la niñez y aumentar la participación de la sociedad civil.

El Programa debía operar a través de un mecanismo de subastas de recursos. La otorgación de fondos estaba fundamentalmente relacionada con la calidad de las propuestas presentadas y con la capacidad de los oferentes para prestar los servicios ofertados. Para este fin se creó un Fondo Especial que financie alimentación, bonificaciones a las madres que atienden a los niños y niñas, materiales y juegos didácticos, capacitación, gastos de funcionamiento y asistencia técnica comprendidos en los servicios ofrecidos por las entidades interesadas en acceder a los recursos. Se realizó un concurso nacional con el fin de desarrollar nuevos modelos de provisión de servicios costo-eficientes y participativos, y/o que atiendan poblaciones con características especiales. Adicionalmente se creó un componente de Sensibilización y Difusión con el objetivo de promover una visión integral sobre el desarrollo de la niñez, dirigida a la sociedad en general, concientizar a los padres sobre la forma más adecuada de atención estimulación y aprestamiento para sus hijos y fomentar la participación comunitaria. Incluyó el financiamiento del diseño de una política de comunicación para el proyecto, una campaña de promoción y difusión a nivel nacional, y la realización de acciones educativas directas dirigidas a las familias de menores de 6 años en zonas de pobreza y una evaluación del efecto de esas acciones. No se diseñaron ni establecieron políticas de comunicación originalmente, es decir que la comunicación no fue concebida como una herramienta que atraviesa todo el programa de manera transversal sino que estuvo contemplada como una parte de las actividades del Componente de Ampliación de Cobertura. Tampoco se diseño una línea base nacional, hecho que posiblemente influyo en los resultados finales.

Específicamente hablando del componente de supervisión, seguimiento y asistencia técnica, se anota que este componente no se incluyo en la versión original del programa, sino que fue incluido con posterioridad por la unidad ejecutora del mismo. La supervisión y evaluación de la gestión de las entidades ejecutoras, partió de una propuesta básica del PNN: fortalecer la participación de las familias y la comunidad, a través de un nuevo modelo de gestión. Para conocer los resultados el sistema considera tres niveles articulados: el nivel de comités de gestión y organizaciones ejecutoras, el nivel local o provincial para que las instancias competentes estuvieran bien informadas, y el nivel nacional para conocer los logros en cuanto a productos, impactos, etc., El informe estudiado toma en cuenta solamente el tercer nivel de supervisión de los contratos. En este ámbito, la supervisión se dividió en tres aéreas especificas: técnica-gestión-administrativa, financiera contable, y pedagógica. Los supervisores tiene contratos de consultoría individual aprobados por el BID, con objetivos, metodología, deberes y atribuciones señaladas específicamente. Este sistema de seguimiento incorporo la supervisión pedagógica, correspondiendo al equipo de

10

Page 11: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

supervisores registrar los avances en la ejecución de los proyectos. Se generaron los siguientes instrumentos de supervisión y seguimiento de contratos:

- Aplicados en campo o en la oficina de la organización ejecutora: Ficha de supervisión técnica, para la parte técnica, acta de supervisión financiera, y en el campo pedagógico, fichas de seguimiento por modalidad (son 4 en total)

- Diseñados con la información de la organización para realizar reportes: para la parte técnica, la planilla de servicios prestados, planilla de gastos, planilla de cofinanciamiento, informes especiales de visita, en la parte financiera y contable el informe de supervisión financiera, y en la parte pedagógica, el informe de supervisión de campo.

En cuanto a la evaluación, contaron con una de tipo directo, aplicada por el equipo de supervisión, y otra de tipo indirecto, elaborada por el equipo de supervisión, pero aplicada por la organización ejecutora (Programa NuestrosNiños, 2005).

La evaluación directa conto con las siguientes herramientas: en la parte técnica el informe de liquidación, la evaluación de la gestión de las organizaciones ejecutoras, en la parte financiera contable, el informe de liquidación, y la evaluación de la gestión de de las organizaciones ejecutoras, ambas desde el punto de vista contable. Igualmente en el campo pedagógico se aplicaron las mismas herramientas desde ese enfoque. Las evaluaciones de tipo indirecto son aquellas en que los supervisores de campo capacitan a las organizaciones para que apliquen la mencionada evaluación elaborada por el equipo de seguimiento y supervisión, y son las siguientes: evaluación de desarrollo infantil, e informe final elaborado por la organización ejecutora.

Uno de los elementos componentes de este subsistema fue el de las visitas técnico pedagógicas a las Unidades de atención, cuyo objeto fue verificar, vigilar y ejercer in situ un control de calidad de atención a los beneficiarios. Las funciones de estas visitas eran las siguientes:

- Verificar la ejecución de los proyectos en los puntos de atención determinados en la muestra según la oferta técnica económica de las Organizaciones Ejecutoras.

- Sugerir durante la supervisión de campo a los puntos de atención la adopción de medidas correctivas o soluciones que se estimen necesarias para el mejoramiento de la ejecución de la modalidad.

- Vigilar que la calidad de la atención brindada a los niños y niñas por las organizaciones ejecutoras sea de calidad.

- Retroalimentar y fortalecer la ejecución de los proyectos en los puntos de atención.

- Verificar el nivel de empoderamiento de la modalidad ante los padres de familia y los comités de gestión.

11

Page 12: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

- Presentar mensualmente los informes de Supervisión de campo a la Unidad de Control, de acuerdo a los formatos establecidos por el componente 2.

- Recomendar al Supervisor Técnico los cambios de personal de campo de los proyectos de las organizaciones ejecutoras que juzgue necesario.

- Aplicar fichas de supervisión y seguimiento según la modalidad, cuyos formatos serán proporcionados por el responsable del componente 2.

- Reportes inmediatos de novedades encontradas durante las visitas al sitio o conocidas por cualquier otro medio. Intervenir emergentemente en casos de violación a los derechos de los niños.

- Remitir o presentar las denuncias recibidas en las dependencias respectivas.

- El Supervisor de Campo debidamente designado, debía actuar a nombre y en representación de la entidad en la ejecución del proyecto y cuenta con las atribuciones indicadas, siendo por lo tanto responsable por cualquier omisión, descuido o negligencia en el cumplimiento de sus funciones.Para la evaluación de resultados se analizo la relación entre la frecuencia promedio real de las visitas y la proyectada por año.

Otro elemento fue el seguimiento a las organizaciones ejecutoras. Para desarrollar este aspecto, el Programa Nuestros Niños PNN diseño dos tipos de visitas: unas de tipo financiero y otras en el área administrativa y de gestión. El supervisor Financiero debe realizar un mínimo dos visitas anuales a las Organizaciones Ejecutoras. En ellas revisa y analiza los documentos que sustentan la transferencia de fondos a las organizaciones (Informes Técnicos de liquidación final, planilla de Gastos presentada por la organización Ejecutora, Cuadro de valores elaborado por la parte financiera, memoria financiera mantenida en el archivo de contabilidad y verificación de datos contenidos en la oferta económica en concordancia con el Contrato de Prestación de Servicios de la UCP con la Organización Ejecutora), verifica los fondos entregados a las Organizaciones Ejecutoras durante el primero y segundo año de ejecución y los montos devengados del segundo año de acuerdo a los montos ofertados y sustentados a través del Contrato de Servicios, elabora cuadros de análisis comparativo del segundo año para el establecimiento de compensaciones a favor de la Organización Ejecutora o del Programa Nuestros Niños, y verifica el cumplimiento de las Organizaciones Ejecutoras de sus compromisos en el área financiera.

4.3.2 Resultados de la Evaluación

En contraste con los otros países involucrados en desarrollo infantil temprano, Ecuador hoy disfruta de una tasa de matrícula bruta mucho más alta (1999: 64%; 2008: 101%) (UNESCO, 2010). El Informe Final de la Evaluación Externa del Componente II, Ampliación de la Cobertura de Atención a Menores de 6 Años, (Asociacion Velnec-RHV, 2004) presenta un dato revelador con relación al impacto del mencionado programa, cuando especifica la tasa de cobertura previa al programa como de 10% de la

12

Page 13: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

población pobre menor a 6 años, el mismo que da cuenta de la importancia del mencionado componente.

Por otra parte, de acuerdo con el mencionado informe, el diseño del modelo de subasta fue pertinente para el país debido a la transparencia del sistema y la claridad de las reglas establecidas, lo que genero confianza entre los participantes. Por otro lado, las organizaciones se exigieron bastante por lo que se hizo más eficiente la asignación de recursos, y finalmente hubo una regularidad en la entrega de los recursos a los ejecutores de los proyectos. Según la encuesta aplicada a los gerentes de las unidades ejecutoras, uno de los factores más importantes fue el del proceso de auto evaluación que incluye el mecanismo (24%).

El informe concluye que tanto los términos de referencia de los supervisores, como las herramientas utilizadas fueron adecuados. Las fichas individuales de visitas y los formatos de actas de supervisión son fáciles de comprender y manejar, y apunta en forma clara y directa a consignar información básica de las instituciones visitadas, determinar el cumplimiento de tareas, resultados, metas e indicadores establecidos (página 122). El informe anota además que un resultado positivo adicional fue la generación de varios productos metodológicos y de gestión para futuras iniciativas similares: metodología y base para la calificación de organizaciones ejecutoras, parámetros y ficha metodología para la Evaluación del Desarrollo Infantil EDI, y listado de instrumentos utilizados para las actividades de Supervisión, Seguimiento y Asistencia técnica.

Para la evaluación de resultados, se tomo en cuenta la relación entre la frecuencia promedio real de cada tipo de visita, y la proyectada por el programa. El mejoramiento de la contabilidad y la más adecuada recopilación de soportes contables, (más de tres de cada cuatro), fue el efecto más destacable para los representantes consultados de las organizaciones ejecutoras. La orientación técnica para el manejo de herramientas financieras y para la elaboración y presentación de informes de gestión (con mayor fuerza en la región Costa), figuran como efectos de importancia intermedia mientras que la motivación al personal.

Con relación a la política de comunicación del Programa Nuestros Niños, la evaluación señala que la estrategia no alcanzó el efecto deseado sobre el posicionamiento del principal: la niñez prioridad nacional. Esta se enfocó en las campañas masivas de televisión y radio, y en menor medida en procesos de comunicación interpersonal o local desaprovechando la extensa red de organizaciones y centros de atención diaria para realizar una estrategia de comunicación más cercana a la gente, más cara a cara y que implicara más consejería y acompañamiento comunitario.

13

Page 14: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

4.4COLOMBIA

4.4.1 Descripción del Programa

A Finales de la década de los setenta, el gobierno colombiano sacó a la luz una nueva propuesta nutricional enfocada en las familias pobres colombianas, denominado Hogares Comunitarios de Bienestar Familiar. El programa comenzó entre 1984 y 1986, ejecutado por el Instituto Colombiano de Bienestar Familiar (ICFB). (Attanasio, Di Maro, & Marcos, 2010) después de ser aprobado por el Consejo Nacional de Política Económica y Social como estrategia de desarrollo humano integral dirigid a atender niños menores de 7 años pertenecientes al sector más pobre del país. Su objetivo es apoyar el proceso de socialización y mejorar la nutrición y las condiciones de vida de estos niños mediante acciones realizadas por las madres comunitarias. Las madres comunitarias son madres de familia de barrios y localidades pobres, con niños de entre 0 a 6 años de edad, que han formado las asociaciones de padres, y que han sido elegidas por ellos mismos para esta función. Ellas deben cumplir con ciertos requisitos, tales como tener una casa grande certificada por el organismo competente. La madre comunitaria recibe en su casa a los niños del resto de los padres de la Asociación. Cada familia recibe una pequeña cuota mensual para pagar a la madre comunitaria, que recibe hasta 15 niños. El gobierno a su vez dota a cada asociación de fondos para comprar comida, enviada semanalmente a la casa de la madre comunitaria, y una bebida nutricional llamada bienestarina. Los niños son alimentados tres veces al día con comida que les aporta el 70% de la cantidad de calorías diarias requeridas. A pesar de ser el programa mas grande en el país de atención a niños de la primera infancia, hasta hace poco apenas había sido analizado (Attanasio, Di Maro,& Marcos, 2010).

La evaluación de impacto del programa Hogares Comunitarios de Bienestar Familiar, realizada por la Unión Temporal Universidad de Los Andes-Profamilia realizada en 2007 recolecto información de 28.000 niños y evaluó los efectos de la intervención realizada sobre variables relacionadas con nutrición, salud, desarrollo cognitivo y psicosocial de los participantes(Bernal, "Profesionalización del recurso humano y calidad en programas deprimera infancia en Colombia", 2010).

El informe descriptivo da cuenta de información variada en la cual destaca las importantes diferencias existentes entre el grupo de tratamiento y el grupo de control con consecuencias relevantes en el análisis de los efectos del programa sobre el aspecto del bienestar de los niños participantes en el programa.

Estado Nutricional: se midieron los siguientes índices para los niños entre los 0 y 6 años de edad: talla para la edad y sexo que permite identificar la desnutrición crónica, y el peso para la edad y el sexo que identifica la desnutrición global, y peso para la talla por sexo que permite identificar la desnutrición aguda. Para obtener los parámetros deseados se realizaron

14

Page 15: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

promedios y desviación estándar de cada indicador de nutrición. Luego se incluyo la diferencia incondicional o la diferencia de medias entre el grupo tratamiento y el grupo control, la diferencia condicional o diferencia entre beneficiarios y no beneficiarios una vez se controla por características observables del niño y su hogar, y finalmente, el estimador de emparejamiento.

En el aspecto de la salud, la evaluación analiza tres indicadores: la incidencia de la Enfermedad Diarreica Aguda (EDA), la incidencia de la Infección Respiratoria Aguda (IRA), y el cumplimiento de los esquemas completos de vacunación. Los efectos por el método de emparejamiento (similares a las diferencias incondicional y condicional) son de alrededor de tres puntos porcentuales en el caso de EDA, un punto porcentual en el caso de IRA y cerca de dos puntos porcentuales en el caso de vacunación.

Para evaluar el efecto del programa sobre el desarrollo psicosocial de los niños beneficiarios se emplearon: el Instrumento de Desarrollo Temprano, EDI, que es una valoración realizada por la mamá, acerca de las fortalezas y las debilidades en diferentes áreas del desarrollo social y emocional de los niños en edad pre-escolar, y la escala Penn de Interacción en el juego, PIPPS, que es un instrumento que evalúa las interacciones de los niños diferenciando conductas sociales adecuadas, de los comportamientos asociados a problemas de conducta o ajuste socioemocional. El informe expresa que la comparación entre grupo de tratamiento y grupo de control se presenta sólo para el instrumento EDI, mientras que el PIPPS se utiliza solamente en el análisis de intensidad debido a que no sólo el observador de los comportamientos es diferente sino que el ambiente y los tipos de interacciones a los que está expuesto cada observador también difieren sustancialmente y pueden inducir sesgos importantes en las respuestas.

El EDI socio-emocional es un índice de 1 a 3: un menor valor indica que la madre reportó menos problemas de comportamiento del niño y una mayor frecuencia de conductas sociales adecuadas.

Con el objetivo de evaluar el efecto del programa sobre el desarrollo cognitivo de los niños participantes, se utilizaron los siguientes instrumentos de medición: (1) Instrumento de Desarrollo Temprano, EDI, que consiste en un reporte materno de las fortalezas y las dificultades en diferentes áreas del desarrollo cognitivo en niños de edad pre-escolar; (2) Batería III Woodcock - Muñoz (Muñoz-Sandoval, A.F., Woodcock, R.W., McGrew, K.S., & Mather, N., 2005, citado en Bernal et al, 2009) que es una batería estandarizada para la valoración individual de habilidad intelectual y aprovechamiento directamente aplicada a los niños; y (3) Prueba Visual de Imágenes Peabody (TVIP, Dunn, Padilla, Lugo & Dunn, 1986 citado en Bernal et al., 2009) que es un instrumento estandarizado de habilidad verbal general directamente aplicada a los niños (Bernal, et al., 2009).

Finalmente, se estudió el impacto del programa sobre el desempeño cognitivo posterior a la aplicación del programa. El desarrollo cognitivo se

15

Page 16: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

mide a través de la prueba SABER realizada por en el 5to grado de primaria. Este análisis tiene la ventaja de tener un rezago promedio de 8 años entre el momento en que un menor participa en el programa HCB y la observación de la prueba cognitiva. Los resultados indican que a medida que aumenta la exposición al programa se observan mejorías en los indicadores de desarrollo cognitivo y estas ganancias se ven reflejadas en el mediano plazo, sobre todo en el área de lenguaje.

4.4.2 Resultados de la Evaluación

Los resultados de la investigación indican que existe un efecto positivo sobre el estado nutricional de los niños, en tanto disminución de la probabilidad de desnutrición crónica, en 2 a 3% para niños de 2 y 4 años de edad. Asimismo existe el mismo efecto sobre el desarrollo cognitivo de los niños con exposiciones de por lo menos quince meses al programa, y efectos positivos a mediano plazo en las pruebas estandarizadas SABER en quinto grado de primaria. Se anotan además mejoras significativas en el desarrollo psicosocial en niños con más de quince meses de exposición al programa. Se observan efectos negativos sobre el estado de salud en términos de prevalencias de EDAs e IRAs al comparar con los no participantes. Este efecto se reduce a medida que aumenta la duración de la exposición al programa (Bernal, et al., 2009).

A nivel de desarrollo socioemocional, los resultados indican que al comparar los niños tratados que han estado expuestos al programa por mayor tiempo con los niños tratados que llevan apenas un mes en el programa, el PIPPS-comportamiento agresivo es más alto (es decir, se observa mayor prevalencia de comportamientos agresivos entre los primeros que entre los segundos.

4.5PERU

4.5.1 Descripción del Programa

El Decreto Supremo Nº 007-2007-ED, crea en el año 2007 el Programa Nacional de Formación y Capacitación Permanente, responsable de desarrollar las acciones conducentes a mejorar la formación en servicio de los profesores de las instituciones educativas públicas a nivel nacional. El mismo tiene un único componente: formación de docentes en servicio. La formación docente en servicio consiste en un conjunto de cursos que son ofertados, a través de la tercerización de servicios a universidades públicas e institutos superiores pedagógicos (ISPs), a un conjunto de docentes seleccionados, con el propósito de tener un mayor número de docentes competentes, a fin de alcanzar mejoras en los logros de aprendizaje de y los escolares. El Ministerio de la Educación ha evaluado recientemente los logros de aprendizaje de los niños y niñas de 5 años, aunque todavía no publica los resultados. Este componente está dividido en seis sub-componentes: identificación de las necesidades de capacitación, diseño, estructuración de oferta, capacitación, monitoreo y asesoría, supervisión y

16

Page 17: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

evaluación del MED, y compensación y estímulos. Las actividades de cada sub-componente son presentadas a continuación:

Identificación de las necesidades de capacitación: la identificación de necesidades de capacitación consta de tres actividades. En primer lugar, la elaboración de la línea de base, en base a la Evaluación Censal de Docentes realizada por el Ministerio de Educación en el 2007, a cargo de la Unidad de Medición de la Calidad. Con esta evaluación se clasificó a los docentes en grupos según los resultados obtenidos.

El subcomponente de diseño a su vez se definió en tres actividades: elaboración del programa, elaboración de los términos de referencia para el personal, y elaboración del Plan de Supervisión y Evaluación.

El subcomponente de estructuración de oferta, fue dividido en las siguientes actividades: identificación e invitación a potenciales Instituciones deFormación Docente (IFD), elaboración de propuestas (IFD), específicos por universidad), revisión, asesoría y aprobación de propuestas de IFD, y seminarios de Información a IFD.

El subcomponente de capacitación, monitoreo y asesoría tuvo las siguientes actividades: evaluación de entrada a docentes por parte de las IFD, capacitación docente en comunicación integral, capacitación docente en lógico matemática, capacitación docente en especialidad académica (modalidad presencial y a distancia)y currículo escolar, asesoría y monitoreo al docente capacitado, asesoría y monitoreo al equipo institucional, y evaluación del docente.

Finalmente, el subcomponente de compensación y estímulos, tuvo dos actividades: apoyo económico por asistencia completa y desplazamientos, y asignación económica excepcional por regiones.

4.5.2 Monitoreo y Acompañamiento Docente

Sobre las acciones de asesoría y acompañamiento al docente, PRONAFCAP considera en su diseño que los especialistas capacitadores monitoreen sesiones demostrativas elaboradas por los docentes capacitados para identificar debilidades y fortalezas en la práctica docente, lo que a su vez, motiva en los docentes procesos reflexivos para el desarrollo de capacidades personales, sociales y pedagógicas. Sobre las acciones de asesoría y acompañamiento a la institución educativa, PRONAFCAP considera en su diseño visitas que permitan informar sobre los objetivos reales de la capacitación, así como el desarrollo de actividades que contribuyan a mejorar el clima institucional de la escuela, valiéndose de talleres de autoestima, clima institucional, valoración personal y profesional. Según el Informe Final del Programa, inicialmente los propios docentes tuvieron una actitud negativa acerca de estas actividades, pues se realizan fuera del horario regular de clase. Sin embargo, paulatinamente han reconocido la importancia de dichas actividades para su propio desarrollo

17

Page 18: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

profesional y personal. Como parte de estas acciones de asesoría y acompañamiento a la institución educativa, también se organizaron orientaciones de acciones tutoriales, con la finalidad de transmitir a los docentes tutores la concepción de la tutoría como un servicio de acompañamiento socio afectivo, cognitivo y pedagógico a los estudiantes. Como indicáramos, los TDR especifican que las instituciones que ejecutan la capacitación deben cumplir con un conjunto de contenidos mínimos, para docentes pertenecientes a los Grupos B (0-1) y A (2-3),

El sub-componente supervisión y evaluación del MED estuvo compuesto por tres actividades. La primera es la revisión de los informes de las universidades a cargo de la capacitación. Asimismo, la supervisión de la ejecución de la capacitación, a lo largo del proceso, siguiendo el Plan de Supervisión y Evaluación. Los supervisores hacen seguimiento y observan la ejecución de los cursos y el monitoreo. Finalmente, el Ministerio realizó una evaluación de salida a los docentes capacitados, a cargo de la Unidad de Medición de la Calidad (UMC), en los meses de noviembre y diciembre, conforme las capacitaciones iban terminando.

El PRONAFCAP cuenta con dos niveles de monitoreo y evaluación de la ejecución de las capacitaciones:

1. Evaluación de docentes. Un primer nivel de monitoreo y evaluación está orientado a recoger información acerca de los docentes capacitados. Para ello se cuenta con un registro de docentes identificados según la región, institución educativa y nivel en la que laboran, y el DNI. Este registro forma la base de datos de docentes de PRONAFCAP, en la que se incluyen los resultados de la prueba de entrada y de salida de la UMC, y las evaluaciones de la IFD. No hay seguimiento post-capacitación a los docentes participantes.

2. Supervisión y evaluación de los planes de capacitación. Este nivel de monitoreo y evaluación está orientado a verificar el cumplimiento de los planes de capacitación por parte de las IFD, atendiendo los criterios de calidad estipulados en los TDR y plasmados en los planes elaborados por cada IFD. La supervisión y evaluación que realiza el PRONAFCAP responde a su Plan de Supervisión y Evaluación.

Las actividades de monitoreo relacionadas a la supervisión y evaluación de los planes de capacitación de las IFD son realizadas por personal del PRONAFCAP dedicado a estas funciones en cumplimiento del plan de supervisión y evaluación. Este personal se organiza en equipos de trabajo que están conformados por un coordinador de supervisión y evaluación y por varios supervisores que realizan visitas a las IFD. En 2007 la supervisión y evaluación se organizó en 8 equipos (8 coordinadores) con 71 supervisores en total.

Las actividades que realizan los equipos de supervisión y evaluación consisten en:

18

Page 19: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

- Visitas a las IFD y entrevistas con el coordinador- Revisión de informes de la IFD- Revisión de materiales utilizados por la IFD en los respectivos ítems- Entrevistas a los capacitadores responsables de los ítems- Observación en aula del desarrollo de las capacitaciones- Entrevistas a los docentes capacitados- Visitas a las IIEE y entrevistas con el equipo docente de las

instituciones: directores, psicólogos y docentes capacitados

El PRONAFCAP cuenta con un conjunto de criterios e indicadores de supervisión. Dichos criterios se organizan en siete áreas de supervisión: plan de capacitación, equipo de catedráticos, sílabo de los cursos, metodología presencial y a distancia, calidad del monitoreo en el aula y en la Institución Educativa, infraestructura y equipamiento, y materiales educativos. La información de base para producir los indicadores que permitan verificar la adecuación y satisfacción de estos criterios por parte de las IFD en la ejecución de sus planes de trabajo se recogen durante el trabajo de campo de supervisión que se enfoca en los aspectos relacionados a la calidad y desarrollo oportuno del plan de capacitación en cada ítem. Para esto el PRONAFCAP ha diseñado nueve instrumentos de recojo de información que sirven para cuantificar los aspectos que componen los criterios de supervisión. Estos instrumentos son fichas de observación, fichas de análisis (sobre los sílabos y materiales de capacitación), fichas de conducción de sesiones, y encuestas.

Los equipos de supervisión y evaluación elaboran informes preliminares e informes finales de evaluación. En principio estos informes deben ser utilizados para corroborar lo declarado por las IFD en sus informes finales que son presentados para obtener la conformidad del Programa y recibir el pago final por los servicios de capacitación.

Al mismo tiempo, en el proceso de supervisión y evaluación los equipos alimentan un sistema de información, que no estaba plenamente desarrollado en 2007. Sin embargo, a partir de 2008 se utilizará para registrar y sistematizar de manera más eficiente la información recogida en los instrumentos de supervisión y evaluación.

A nivel de la evaluación de competencias docentes, si bien el Programa cuenta con una línea de base y una evaluación de salida luego de la capacitación para evaluar el nivel de logro de los docentes y la evolución del mismo antes y después de la participación en las capacitaciones, el PRONAFCAP no contempla en su diseño el seguimiento post-capacitación a los docentes participantes.

La supervisión y evaluación del Programa está dirigida a verificar la calidad del servicio que brindan las IFD. Si bien esto es importante, el Panel considera que la evaluación de PRONAFCAP debería contemplar también el impacto que tiene la capacitación en el desarrollo de competencias docentes, así como de dominio curricular (evaluación a nivel de propósito);

19

Page 20: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

así como también el impacto que la intervención tiene a nivel del rendimiento de los estudiantes de los docentes capacitados (evaluación a nivel de fin).

En cuanto a la supervisión y evaluación de los planes de capacitación, el Plan de Supervisión y Evaluación tiene por objetivo general ―obtener permanentemente información cuantitativa y cualitativa, relevante, actualizada y oportuna del funcionamiento del Plan de Capacitación que implementan, ejecutan y evalúan las universidades, con el propósito de decidir acciones que permitan asegurar el logro de los objetivos del Programa Nacional de Formación y Capacitación Permanente.

4.6BOLIVIA

En Bolivia, históricamente se tuvieron los siguientes programas de atención al menor de 5 años: - En 1979 se los “Centros de Educación Inicial” (CEI); - En 1982 las “Guarderías Infantiles Populares”; - En 1984, los “Centros Infantiles Populares”; que son las mismas

Guarderías, con un nombre distinto. - En 1987 los mismos pasaron a denominarse “Centros Infantiles

Integrales” (CII); - En 1989 se iniciaron Los “Hogares Infantiles” (HI), - En 1993 los hogares Infantiles pasaron a formar parte del Proyecto de

Atención Integral Infantil (PIDIs); - En 1993 los CII, pasaron a llamarse “Centros Integrales de desarrollo

Infantil” (CIDIs); - En 1997 estos centros PIDIs y CIDIs pasaron a ser el PAN- (Lykke & Arenas, 2010).

4.6.1 Descripción de Programa: PIDILos PIDIS, que fueron administrados por el Proyecto de Reforma del Sector Salud, tuvieron el propósito de crear un sistema integrado de atención de niños menores a 6 años, reducir las tasas de desnutrición, la morbimortalidad infantil y mejorar la situación de las mujeres y sus familias. Se caracterizó como una modalidad alternativa de atención a niños de zonas pobres periurbanas, y grupos infantiles de alto riesgo. Los PIDIS idealmente funcionaron en viviendas unifamiliares refaccionadas, a cargo de voluntarias que trabajaban como educadoras comunales. Ellos fueron implementados durante un tiempo total de 8 meses.

Según Ortiz et al (ORTIZ, BALCÁZAR, ROBISON, & ROJAS, 2004), la Unidad de Coordinación del Proyecto desarrollo como parte del proyecto mismo tres componentes para ejecución, seguimiento y evaluación del mismo: la ejecución o consejería, la supervisión a la ejecución, y la evaluación del impacto del proyecto. Para la ejecución o consejería se desarrollaron acciones de consejería entre madres de niños y niñas menores a cinco años de edad. La Supervisión de la ejecución y acompañamiento del proyecto se realizo a través de ONGs externas, en todas sus fases y dimensiones. Para la evaluación de impacto del proyecto, igualmente se

20

Page 21: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

contrato una empresa externa, la cual realizaría este trabajo mediante una cuantificación de la eficiencia y eficacia del mismo.

La evaluación de impacto del PIDI fue realizada mediante investigación cuali-cuantitativa. La parte cualitativa incluyo grupos focales y entrevistas en profundidad en cada una de las 5 ciudades de intervención del proyecto. La parte cuantitativa se desarrollo a través de entrevistas semiestructuradas con padres, medición de peso/talla y estimulación temprana del niño. Se realizaron 8.750 entrevistas con el binomio madre niño, virtualmente la mitad al grupo testigo y la otra al grupo control. Para determinar el impacto del programa sobre el desarrollo del niño se analizaron 6 factores: peso, talla, estimulación temprana, micronutrientes, vacunación, y anemia. El análisis fue realizado comparando los resultados del programa con la línea de base del programa, y con el grupo testigo.

4.6.2 Resultados del Programa: PIDISe llego a determinar que el impacto del Proyecto varía en función a la edad del niño. En el análisis de tendencias, se observa que existen dos niveles de impacto sobre el peso del niño, siendo el mayor nivel de impacto del PIDI sobre el peso del niño en los niños de 0 a 21 meses. A nivel ciudades, el mayor impacto sobre el peso del niño se presenta en la ciudad de La Paz. A su vez, el mayor nivel de impacto sobre la estimulación temprana del niño es en niños/as con edades de 0 a 18 meses.

4.6.3 Descripción Del Programa: Programa De Atención A Niños Y Niñas Menores De Seis Años (PAN)

El Decreto Supremo 24557 de siete de abril de 1997, crea el Programa de Atención a Niños y Niñas Menores de Seis Años PAN, con el objetivo de “garantizar la promoción de servicios de educación inicial, salud, nutrición y protección en todo el territorio nacional a los niños y niñas de cero a seis años”. Los componentes del desarrollo integral infantil del PAN son los siguientes: Salud, Nutrición, Educación Inicial y Protección. El área de salud se refiere a la prevención y atención de enfermedades prevalentes de la infancia, inmunización, desparasitación, y salud oral, a través del Seguro Universal Materno Infantil (SUMI) y el desarrollo de hábitos saludables. El área de nutrición: Comprende una dieta adecuada en cantidad y calidad, desarrollo de hábitos alimentarios sostenibles, vigilancia nutricional individual y de grupo, complementación con micronutrientes y fortificación de los alimentos con micronutrientes esenciales. El área de Educación Inicial: Comprende el desarrollo infantil (motricidad fina, motricidad gruesa, lenguaje y audición), currícula de aprendizajes (formación, personal, social, lenguaje y comunicación, matemáticas) y relación con el medio sociocultural y social. Finalmente, el área de Protección involucra el ejercicio de los derechos de identidad, detección de niños y niñas con necesidades educativas especiales, identificación del maltrato infantil y remisión a instancias pertinentes. En la actualidad, el Reglamento a la Ley de Organización del Poder Ejecutivo, establece que el Ministerio de Justicia cuenta dentro su estructura jerárquica con el Viceministerio de Género y Asuntos

21

Page 22: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

Generacionales, reemplazando al VIJUNTE, posteriormente (en el año 2006) también fue reemplazado por el Viceministerio de Igualdad de Oportunidades – VIGOP. Cabe anotar finalmente que el Ministerio de Justicia es un ministerio con un carácter eminentemente normativo, que no cuenta con la capacidad operativa para administrar y/o evaluar un programa de nivel nacional tal como este.

En el área interna, la evaluación de los aprendizajes se realiza a través de la Escala abreviada de Desarrollo Infantil (EAD). Esta escala abreviada de evaluación es un instrumento adaptado y validado a partir de la escala colombiana de Nelson Ortiz, en la que se han seleccionado los indicadores más relevantes de desarrollo para cada área relativa a la educación y el desarrollo integral.

El PAN preveía evaluar el 100% de los/las niños/as asistentes al centro. De acuerdo con el Programa Consultores 2006, Esta meta se logró en un 79%. Como principales problemas, el PAN se enfrentó entre otros con la carencia de un sistema de evaluación y seguimiento que defina claramente los criterios de selección de muestras y los indicadores que debían observarse cada año (Programa Consultores 2006). La estructura de este instrumento de evaluación era la misma que la organización curricular del PAN, dividiéndose en cuatro áreas de aprendizaje, a saber:

- formación personal y social; - lenguaje y comunicación; - relaciones lógico matemáticas; y - relación con el Medio Natural y Social.

Cada una sirvió como un componente de área, que a la vez estaba definida por indicadores.

En el campo de salud, el instrumento de evaluación fue el Carnet de Salud Infantil (CSI) Este instrumento de gráfico e interpretación de la curva de crecimiento es un control periódico de crecimiento peso/talla, que actualmente guarda los lineamientos de evaluación del Programa Desnutrición Cero. Previamente, el sistema de evaluación era talla/edad. El CSI era de tenencia y registro obligatorio para todos los/las niños/as que atendían a los centros PAN. Además de este documento, los/las niños/as debían presentar un esquema de vacunación completo de acuerdo a su edad, estar afiliados al SUMI –contando con su Carnet de Asegurado- y recibir desparasitación oral, además de los micronutrientes establecidos en el esquema de salud (hierro, vitamina A). Hasta el 2001, el 33% de los centros visitados demostraron un manejo deficiente del CSI por parte de las educadoras.

Hasta el año pasado en la ciudad de La Paz había 54 centros infantiles, diez son municipales (CIMS). Ocho centros son exclusivamente PAN, ahora denominado PAN PLUS, y son auto-gestionados, siendo las juntas vecinales las que prestan el lugar. La otra cantidad de centros están divididos entre la

22

Page 23: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

iglesia, fundaciones y ONG. La fundación más grande es la “Fundación La Paz”. Si bien parte de la información obtenida por monitoreo de indicadores debe ser sistematizada y enviada a los SEDEGES y estos al VIGOP, esto se realiza sólo como una formalidad puesto que estos datos no son monitoreados ni a nivel departamental ni nacional. De acuerdo al VIGOP, se está trabajando en coordinación con el nuevo Proyecto Educativo Avelino Siñani para la implementación de la educación inicial (Viceministerio de Igualdad de Oportunidades 1998).

A nivel de seguimiento y evaluación, la Escala abreviada de Desarrollo Infantil (EAD) sigue siendo el instrumento principal de evaluación en el área de educación. No se cuenta con datos acerca de la cobertura actual de este instrumento. El Carnet de Salud Infantil (CSI) se mantiene como el instrumento principal del área de evaluación del sector salud. A nivel de centros los que cuentan con apoyo institucional hacen seguimiento y monitoreo. A nivel de prefecturas y gobierno central no se mantiene un adecuado monitoreo. Finalmente, la Curva de crecimiento ascendente CSI continúa siendo efectivo para la evaluación nutricional de los/las niños/as, ya que a los/las niños/as que presentan deficiencias se les sigue otorgando un suplemento alimentario.

4.6.4 Resultados del Programa: PAN

El principio el informe anota que las carpetas de los/las niños/as, donde se anotan todos los datos mencionados, se encontraban incompletas (Programa Consultores 2006). La cobertura del CSI, al 2004, era de un 75%. En cuanto al esquema de vacunas, al año 2001 el porcentaje de niños/as de seis meses a dos años de edad con el esquema completo era de un 51%. El porcentaje de los/las niños/as de dos a menores de seis años era de un 66%. Por otro lado, de acuerdo a la evaluación final entre un grupo de control PAN y otro de niños/as no PAN, efectuado en primero y tercera de primaria se estableció que no hay ninguna diferencia en cuanto a aprovechamiento curricular (Programa Consultores 2006) por parte de los/las niños/as que asistieron al centro. Mas alla de la baja cobertura del 6%, el programa se caracteriza por una implementación por municipios, bajo la supervisión de las gobernaciones departamentales. Esto llevo a desarrollar varios PAN en función a cada realidad departamental y local, con diferentes niveles de desarrollo, sin parámetros estandarizados de funcionamiento, por lo cual no se puede decir verdaderamente que fue un programa nacional.

Un indicador efectivo de desarrollo integral fue la Curva de crecimiento ascendente en el CSI, que demuestra que el desarrollo y crecimiento de los/las niños/as es estable y progresivo, ya que se dan casos de remisiones –disminución súbita de peso- si la alimentación del/de la niño/a se interrumpe o el/la niño/a se ve sometido a stress dentro o fuera del centro. Hasta el 2001, el 48% de los/las niños/as presentaba una curva ascendente; el 24.1% presentaba un crecimiento estacionario, y un 5% de los/las niños/as presentaba una pérdida de peso. El PAN priorizo la alimentación de

23

Page 24: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

estos últimos (Programa Consultores 2006). A nivel de prefecturas y gobierno central no se hace un adecuado monitoreo.

La información relacionada con indicadores de nutrición es muy agregada, como se expondrá a continuación, con excepción del departamento de Cochabamba, la información recopilada desde el VIGOP y reportada por los/las coordinadores/as PAN en los SEDEGES es limitada. Existe información limitada sobre la desnutrición crónica (talla para la edad), desnutrición aguda en grado moderado, y niños que recibieron vacunas, vitamina A y mebendazol. “Es evidente la falta de un sistema de seguimiento y monitoreo del PAN actual. La información disponible es muy limitada, no existiendo uniformidad en la manera en la que los SEDEGES recopilan los indicadores básicos sobre niveles de desnutrición, resultando también preocupante la ausencia de información básica sobre el grado de aprendizaje en los/las niños/as.”

No se solicita ni evalúa ninguna información relacionada con evaluaciones de educación inicial, por lo que básicamente este tipo de información es inexistente. Solamente Cochabamba cuenta con información municipal para las cuatro áreas: (i) desarrollo de motricidad gruesa, (ii) desarrollo de motricidad fina, (iii) desarrollo de lenguaje y (iv) desarrollo personal-social. No se ha podido verificar si durante la vigencia del PAN existía una unidad o un equipo de seguimiento y monitoreo.

En cuanto a los niveles de eficiencia económica del programa, el gasto promedio nacional por niño/a del PAN el año 2000 fue de US$227,1 al año, es decir en promedio US$18,9 al mes Se puede concluir esta sección indicando que ha existido (conscientemente o no) una mayor asignación del gasto por niño/a PAN en las regiones que han mostrado mayores casos de niños/as con problemas de nutrición. Entre los años 2000 y 2004 el gasto municipal ha aumentado en poco más del doble, lo que ha sido acompañado de una mejora general en los casos de niños/as PAN con niveles adecuados de nutrición. Por otra parte, Archondo expresa que el único momento en que el PAN proveyó servicios de calidad fue cuando los costos por niño del programa se elevaron a aprox.US$430/año y no lograron sostenibilidad financiera e institucional cuando no se contaba con financiamiento externo.

Durante el año 2000 se realizó además el Análisis y Evaluación de Impacto de Medio Término del PAN. 2000 (Consultoría Asesoría y Servicios Latina). El trabajo ha sido efectuado en el marco de la intervención del Banco Mundial, y se analizó el impacto del Programa en las madres de los/las niños/as que participan en él y en las educadoras (mujeres participantes). Se determinó además el efecto y los resultados del Programa en la organización y participación comunitaria. Como metodología se utilizó técnicas cuantitativas y cualitativas, enfocando en métodos estadísticos y econométricos, cuya fuente principal de información fueron las encuestas de evaluación de impacto realizadas por el Instituto Nacional de Estadística (INE) en 1996 y 1998. Se efectuó un cotejo de la información existente relativa a las características de los beneficiarios y no beneficiarios del

24

Page 25: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

programa, sobre la base de diseños cuasi–experimentales de comparación pareada diferenciando grupos de control y grupos de intervención. La construcción de los datos del panel se basó en las encuestas mencionadas de 1996 y 1998. En la parte cualitativa se usaron técnicas como grupos focales, test de autoestima (aplicados a madres y educadoras) y entrevistas en profundidad (dirigidas a agentes internos y externos del Programa), que fueron aplicadas en todas las capitales de departamento en las cuales se habían efectuado las respectivas “Encuestas de Evaluación de Impacto” ejecutadas por el INE.

En el año 2006 se realizó la Evaluación Final del Programa Nacional de Atención al Menor de Seis Años – BID 2006. Esta evaluación enfocó en la utilización de entrevistas a grupos focales a diversos actores involucrados en el Programa: niños/as PAN, niños/niñas NO PAN, educadoras, padres, facilitadoras. Se trabajó también con una guía de observación para centros infantiles, guía de entrevistas para Gobiernos Municipales, SEDEGES-Prefecturas y Directores Departamentales del Programa. Se evaluaron indicadores en cuanto a los denominados subcomponentes en: educación inicial, salud, nutrición, protección y fortalecimiento institucional. Entre las conclusiones destacables a nivel de evaluación que el trabajo menciona están las siguientes:

- La complejidad del instrumento (Escala Abreviada de Desarrollo) dificulta que sean las educadoras que evalúen a los niños y que se alcance una meta de 100% de niños/as evaluados.

- Se deben estandarizar los criterios de seguimiento y evaluación para las variables del área de atención de salud, ya que se han identificado diversos criterios. El monitoreo en salud de los niños de seis meses a dos años no tuvo seguimiento sostenido en el PAN.

Ni en el VIGOP ni en los SEDEGES (exceptuando Cochabamba) se cuenta con una unidad específica de monitoreo que elabore estadísticas permanentes, para evaluar y monitorear por ejemplo la cobertura, los gastos y los niveles de nutrición en los centros. No existe un control de calidad sobre la información anotada por las educadoras, y tampoco existe una evaluación de monitoreo en campo que permita efectuar mediciones antropométricas con cierta regularidad, o evaluaciones relacionada con el desarrollo en educación inicial de los niños/as. Asimismo, pese a que hasta ahora se recopila información para el VIGOP, no existen parámetros estandarizados para la recopilación de información.

Desde una perspectiva más institucional, Andersen, Arenas y Pando realizan una evaluación cuanti cualitativa a solicitud del BID, (Lykke & Arenas, 2010). El análisis cuantitativo fue realizado utilizando técnicas basadas en la recopilación documental, encontrando la información disponible para dos escenarios: indicadores para describir la situación al principio de la intervención del PAN, e indicadores actuales del PAN. A través de los mismos se analiza la cobertura del Programa, la cobertura en salud y

25

Page 26: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

educación, y los niveles de gasto publico efectuados en este programa, buscando la relación entre el gasto en las regiones y los logros del Programa. La información preliminar fue obtenida de la encuesta MECOVI del INE 2008, utilizando una comparación simple en la cual se compara el grupo de hogares con niños/as menores a 7 años beneficiados con el PAN, contra el grupo de los no beneficiados con este programa.

Para la investigación cualitativa se trabajo con entrevistas institucionales, dirigidas a personas a cargo del Programa dentro del gobierno y otras instituciones vinculadas de alguna manera con el PAN. Se realizo paralelamente un taller con los actores más representativos. Finalmente, se visitaron además algunos centros integrales, para corroborar la información obtenida. De acuerdo con el informe de Andersen et al, una evaluación de impacto para Bolivia debería incluir:

- Índices de satisfacción con el programa de parte de los niños atendidos, el programa mismo, y finalmente la sociedad boliviana, el cual ahora mismo no es posible conseguir.

- Una muestra de niños/as estadísticamente adecuada, con un grupo de pareo igualmente adecuado, que evalúe rigurosamente el estado nutricional, antropometría desagregada por edades y municipios, desarrollo psicosocial de los niños/as.

- Información suficiente para identificar mejores modalidades de PAN, y posibles diferencias entre modalidades rurales y urbanas, lo cual requeriría mucha información proveniente del establecimiento, el niño y su familia.

Durante el año 2000 Consultoría Asesoría y Servicios Latina realiza el Informe Final Análisis y Evaluación de Impacto de Medio Término del PAN. Esta evaluación analizo el impacto del programa en las madres de los niños participantes en el Programa y en las educadoras. Se determino además el efecto y resultados del Programa en la organización y participación comunitaria. Su metodología fue cuanti cualitativa, enfocando en métodos estadísticos y econométricos, tomando igualmente como fuente de información las encuestas realizadas por el Instituto Nacional de Estadística INE. Se elaboraron diseños cuasi experimentales de comparación pareada, diferenciando grupos control y grupos de intervención. Para la parte cualitativa se usaron grupos focales, test de autoestima y entrevistas en profundidad.

Esta evaluación definió tres áreas de investigación: Análisis del modelo de intervención, efectuando una comparación entre el ciclo de proyecto programado y el ejecutado, percepción de usuarios y entorno del programa, y resultados y metas alcanzadas por el programa. Dado que fue realizada en modalidad de proceso, la evaluación se realizo mediante equipos de trabajo conjunto entre consultores externos y funcionarios del Programa, utilizando en primer lugar la información generada por el mismo programa y complementándola con entrevistas en profundidad y talleres de recolección de información.

26

Page 27: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

4.6.5 La Ley Avelino Siñani-Elizardo Pérez, y el Desarrollo Infantil Integral

La nueva ley Avelino Siñani – Elizardo Pérez, promulgada el 15 de diciembre de 2010, incluye a la educación inicial como parte de la educación formal, aunque coresponsabiliza a los padres, a la comunidad y al Estado por ella. La ley establece que la educación inicial es obligatoria a partir de los 0 años de edad, de forma necesariamente escolarizada de 4 a 5 años, y no escolarizada para los menores de 4 años de edad, siendo esta última de responsabilidad compartida entre familia, comunidad y el Estado (Art. 12). No incide más allá de estas disposiciones generales en el campo de Desarrollo Infantil Temprano. Sin embargo, de manera cualitativa, expresa que en el nuevo modelo la educación inicial será entendida desde la perspectiva intracultural, intercultural y plurilingüe, que incorpore conocimientos y valores socio comunitarios. Una vez reglamentada e implementada la ley, sobre todo con respecto a la ampliación necesaria de la cobertura escolarizada al 100% de niños y niñas a partir de 4 años de edad, la composición de los beneficiarios en centros infantiles (PAN y no PAN) y cualquier otra modalidad de atención directa en la familia o comunidad, necesariamente cambiará y se limitará a los menores de 4 años.

5 EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE DIT EN LATINOAMERICA

En el presente trabajo se presentan seis casos de estudio a nivel latinoamericano: Argentina, Chile, Ecuador, Colombia, Perú y Bolivia, con programas específicos que a través de la investigación han sido definidos como de relevancia para el tema que compete a la presente investigación. Cuatro de ellos están relacionados con descripción de intervenciones educativas en el área de Desarrollo Infantil Temprano: Argentina, Colombia, Ecuador y Bolivia. Dos están específicamente involucradas en el tema de desarrollo de programas de fortalecimiento docente al nivel de parvularia: Peru y Chile. El primero con un desarrollo en profundidad en el área de seguimiento y acompañamiento docente, y el segundo con un desarrollo extensivo relativo a la evaluación de impacto realizada a un programa con similares características.

El enfoque argentino, centrado en una evaluación sencilla, con la participación de la comunidad, va en consonancia con los postulados del Gobierno Plurinacional de Bolivia, que expresa la importancia de la participación de las comunidades en todas las fases de los proyectos y programas educativos, según la Ley Avelino Siñani-Elizardo Perez, planteada en diciembre de 2010.

El caso colombiano es de interés en primer lugar por el impactante crecimiento en cobertura después de la ejecución del programa de Hogares Comunitarios de Bienestar Familiar, y por su detallada explicación de los

27

Page 28: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

instrumentos elaborados para evaluar el estado de los niños antes y después de la intervención.

Por otra parte, el informe ecuatoriano es absolutamente detallado y extensivo en cuanto a los instrumentos y enfoque sobre el seguimiento y el monitoreo de su programa Nuestros Niños.

Mas allá de la información específica de interés, la investigación presenta algunos puntos en común que nos permiten tener un panorama general del tema en el ámbito latinoamericano. En primer lugar, destaca el hecho de que a pesar de que Latinoamérica ha logrado avances en el campo de la cobertura de servicios a nivel de educativos, de salud, nutrición y otros destinados a niños de 0 a 6 años, persisten serios desafíos en la atención a la primera infancia.

Si bien existe buena cantidad de esfuerzos a nivel nacional por desarrollar programas en DIT, muy pocos han sido evaluados rigurosamente. Araujo y López anotan que si bien la mayor parte de los programas más grandes y/o relevantes desarrollados en América Latina no son programas recientes, sino que datan alrededor de los 10 años, tampoco se puede afirmar que sean servicios sociales “maduros” en el sentido de que no han alcanzado a cubrir al total de su población objetivo, no han logrado sistemas de gestión modernos, y tampoco destacan en la rendición de cuentas o en la presentación de evidencia rigurosa de su impacto y su costo-efectividad, lo que sugiere que se trata de un sector que requiere reformas urgentes para mejorar su nivel de respuesta a las necesidades de la población. Myers llega al extremo de expresar que “hasta la simple tarea de informar sobre la cobertura del área preescolar no parece estar bajo control” (Myers, 1995).Es en este sentido que, por ejemplo, el Banco Interamericano de Desarrollo, después de haber elaborado diversos análisis de priorización de necesidades, costo beneficio y otros, ha decidido concentrar sus esfuerzos en dos áreas: medición de indicadores en DIT y evaluación de impacto de diferentes servicios y programas. . (Araujo, Noviembre 2010).

La evaluación de los programas en desarrollo infantil temprano en Latinoamérica es un campo aún escasamente desarrollado. Los objetivos de los programas normalmente se encuentran definidos de forma muy genérica y no existen indicadores que evalúen la calidad de la educación en términos del impacto en el desarrollo y bienestar de los niños y de sus familias. Menos existe uniformidad en cuanto a indicadores de seguimiento y evaluación en educación temprana. En general, los indicadores de evaluación de programas están referidos a aspectos muy generales, como indicadores de niveles de pobreza, porcentaje de niños vacunados, tasas de morbimortalidad, tasas de escolaridad, etc., o totalmente operativos, como niveles de cumplimiento del plan ejecutado, el pago puntual a las educadoras, o los cursos de capacitación asistidos por ellas. Como tendencia, en todos los países se apunta hacia una evaluación integral y sistematizada con un mayor énfasis en la información de tipo cualitativo, a través de observaciones y con la participación de las familias.

28

Page 29: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

Sin embargo, existen dos necesidades de supervisión y evaluación que son más importantes que el recuento y la información de las cifras involucradas en los diferentes tipos de programas preescolares. La primera se refiere a sistemas de manejo de información que permitan rastrear los insumos, localizar los cuellos de botella, y ayudar a los participantes de los diferentes niveles del sistema evaluar los resultados inmediatos y planear y definir las características de las siguientes etapas. (Myers, 1995)En algunos países de la región, se han desarrollado sistemas de este tipo que ya están en uso. Pero el hecho de que la educación temprana no sea obligatoria dentro del sistema educacional en muchos lugares, que sólo se le asigna una proporción mínima del presupuesto y que tan sólo hace unos años comenzó a desarrollarse en forma importante, significa que se ha prestado poca atención a la supervisión del sector preescolar. La segunda necesidad se refiere a lograr que haya acuerdo entre los expertos en desarrollo del niño y en educación preescolar acerca de los indicadores e instrumentos de medición que se pueden utilizar para definir la condición de los niños, la calidad que deben tener los ambientes de aprendizaje y los efectos de los programas preescolares sobre los niños. Estos indicadores debieran ser de distinto tipo. En primer lugar, es necesario acordar cuáles indicadores servirán de detectores para identificar a los niños que requieren de atención especial. Dichos indicadores deben ser manejados con suma cautela para evitar colocar una etiqueta prematura a los niños. Los indicadores de detección se consideran, por lo general, como elementos inherentes a la condición del niño pero, dado que el aprendizaje y el desarrollo del niño se producen en interacción con el medio, es aconsejable incluir indicadores sobre el ambiente que rodea directamente al niño como parte del proceso de detección. Un segundo tipo de indicador e instrumento de medición estaría dirigido a rastrear el progreso de cada niño mientras participa en un programa. Las mediciones se pueden basar en la observación de los profesores o de los padres en el transcurso del tiempo o se pueden concentrar en las formas en que el niño se relaciona consigo mismo, con los demás y con el medio. Se requiere una serie adicional de indicadores para describir el bienestar general del niño en relación a la población en su totalidad (y respecto de subgrupos al interior de la población). Dichos indicadores, que idealmente deben abarcar la salud y la nutrición y cuestiones psicosociales, mostrarían el progreso realizado por los niños de un país en particular. Es notable que ningún país en América Latina esté actualmente en condiciones de describir en forma periódica y sistemática la condición de sus niños cuando ingresan a la escuela primaria, a pesar de que éste es uno de los momentos y uno de los cambios más importantes de la vida.

Es necesario que los gobiernos adopten una posición más activa en cuanto a la supervisión y evaluación de los programas de Educación Temprana orientados a la infancia. Parte de esta necesidad es llegar a acuerdos sobre las definiciones que se utilizan para realizar los informes y desglosar la información que contienen.

29

Page 30: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

A nivel Micro, casi en todos los casos nacionales se registra desde la década del noventa, una clara tendencia hacia la jerarquización de las carreras de docentes del nivel inicial, dado que en casi todos los países de la región, estas carreras corresponden al nivel superior universitario o no universitario.

Ahora bien, aún cuando se haya dispuesto en la mayor parte de los países de la región, la creación de carreras de nivel superior, todavía “conviven” en el ejercicio docente, maestros con las nuevas titulaciones y maestros normalistas de nivel inicial o de niveles primarios e idóneos. Esta situación es sin dudas, resultado de una transición que es necesario pensar en el mediano y largo plazo. Lo que interesa destacar no obstante, es la direccionalidad de los cambios introducidos en la formación de docentes del nivel.

BIBLIOGRAFIAAlessandro, L. (2003). Muncipios saludables: una Opción de Politica Publica. Buenos Aires: Organizacion Panamericana de la Salud.

Araujo, M. C. (Noviembre 2010). Invertir en los primeros Años de Vda. Una prioridad para el BID y los Paises de America Latina y el Caribe. Washington: Banco Interamericano de Desarrollo.

Asociacion Velnec-RHV. (2004). Informe Final de la Evaluacion Externa del Componente II, Ampliacion de la Cobertura de Atencion a Menores de 6 Años. Quito.

Attanasio, O., Di Maro, V., & Marcos, V.-H. (2010). El impacto de un programa de cuidado infantil sobre resultados en nutrición. Evidencia en Colombia. Bogota: sp.

AVALOS, B. (2003). LA FORMACIÓ N DOCENTE INICIAL EN CHILE. Santiago.

Bernal, R., Fernandez, C., Flórez, C. E., Gaviria, A., Ocampo, P. R., Samper, B., et al. (2009). Evaluación de impacto del Programa Hogares Comunitarios de Bienestar del ICBF. Bogota: Ediciones Uniandes.

Bloom, B. (1964). Stability and chanc¡e in human characteristics. Nueva York: Wiley.

Catalán, J. (2000). FORMACIÓN INICIAL DE EDUCADORAS DE PÁRVULOS: UN ESTUDIO. Revista Iberoamericana de Educación , 1681-5653.

Diker, G. (n.d.). Organización y perspectivas de la Educación Inicial en Iberoamérica: “Principales Tendencias[ .

DOCENTE, D. N. (2005). Programación 2006, Nivel Inicial. Buenos Aires: Ministerio de Educacion, Ciencia y Tecnologia.

Educación, M. d. (2004). APRENDIENDO DE LAS EXPERIENCIAS. Reforma Curricular de la Educación Parvularia. Santiago de Chile: Ed. Trineo.

30

Page 31: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

Eming Young, M., & Fujimoto-Gómez, G. (2003). Desarrollo Infantil Temprano: lecciones de los programas no formales. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, Vol. 1, Nro. 1 .

Fundación Centro de Estúdios en Políticas Públicas (CEPP), Fundacion Konrad Adenauer. (2005). Informe del Sistema Educativo de Costa Rica. San Jose: Fundacin Konrad Adenauer.

Garcia Huidobro, J. E. (2006). Formación inicial de educadoras(es) de Parvulos en CHile. En Foco , 1-4.

Garcia, M. (1995). La Evaluacion de la Educacion INfantil . Revista Complutense de Educacion , Vol. 6, No. 1.

Lykke, A., & Arenas, J. y. (2010). Evaluación Cuanti-Cualitativa del Programa de Atencion a Niños y Niñas Menores de 6 Años en Bolivia. s.c.: Banco Interamericano de Desarrollo.

MINEDUC/UNESCO. (2004). APRENDIENDO DE LAS EXPERIENCIAS - Reforma Curricular de la Educación Parvularia. Santiago: Editorial Trineo S.A.

Myers, R. G. (1995). ”La educación preescolar en América Latina El estado de la práctica”. s.c-: PREAL.

ORTIZ, S., BALCÁZAR, M., ROBISON, N., & ROJAS, R. (2004). EVALUACIÓN DE IMPACTO DEL PROYECTO DE CONSERJERÍA EN LAS ÁREAS DE NUTRICIÓN Y ESTIMULACIÓN TEMPRANA. La Paz.

Programa Nuestros Niños. (2005). Memoria Socio Historia del Programa del Proceso de Ejecucion del Programa Nuestros Niños. Quito: Programa Nuestros Niños-MBS-BID.

Rivera Ramírez, F. (2010). Metodología para la Evaluación de Impacto Propensity Score Matching. Retrieved Diciembre 14, 2011, from Programa de Estudios del Cambio Economico y la Sustentabilidad del Agro Mexicano: http://precesam.colmex.mx/images/secundaria/seminarios/Taller_ENHRUM/4impacto-PSM.pdf.

TEJADA, J. L. (1998). La evaluación de programas: consideraciones generales. Programa de doctorado: “La calidad y la reforma educativa”. Barcelona: Universidad Autónoma de Barcelona.

UNESCO/OREALC. (2004). SINTESIS REGIONAL DE INDICADORES DE LA PRIMERA INFANCIA. Santiago: Editorial Trineo S.A.

31

Page 32: REVISION DE MODELOS DE EVALUACION Y SEGUIMIENTO DE PROGRAMAS DE EDUCACIONINFANTIL TEMPRANA O DESARROLLO INFANTILTEMPRANO (DIT), EN AMERICA LATINA

ANEXO 1: NORMAS DE EXCELENCIA PARA LOS DOCENTES EN EDUCACION PARVULARIA

Fuente: Avalos 2003 (AVALOS, 2003)

32