Evaluación del programa: Evaluación del programa: Evaluación del programa: Evaluación del programa: ¿qué se ha hecho y qué nos ¿qué se ha hecho y qué nos

proponemos? proponemos?

Jordi Jordi LongásLongás (PSITIC (PSITIC –– URL)URL)

¿POR QUÉ Y PARA QUÉ EVALUAMOS?

PORQUE QUEREMOS

• Saber si el Programa CPI responde a las necesidades reales de las familiasen los territorios donde actúa.

• Conocer cómo se desarrolla el Programa CPI y analizar su evolución.

• Valorar hasta qué punto se logran los objetivos propuestos.

2

• Descubrir y comprender cual es el impacto real del Programa CPI.

PARA LOGRAR

• Rendir cuentas a todos los implicados en el Programa CPI de la efectividadde la acción desarrollada.

• Mejorar de forma continua el programa a partir de proceso continuo dereflexión y aprendizaje.

¿QUÉ EVALUAMOS?

PROGRAMACPI

Modelo de

CONTEXTO

�Refuerzo educativo�Ocio y tiempo libre

3

INFANCIA Y ADOLESCENCIA,

FAMILIAS

Modelo de acción social

OBSERVATORIO

�Ocio y tiempo libre�Atenciónpsicoterapéutica�Apoyo educativo familiar

Redes y Entidades

EVALUACIONES REALIZADAS

• Mapeos de las necesidades y recursos de los territorios.

• Autoevaluación de las redes (curso 2010-2011).2011-2012

• Diseño del plan general de evaluación.2012-2013

• Análisis de la incidencia del programa (período 2007-2012).

• Evaluación de los subprogramas de refuerzo educativo,atención psicoterapéutica y competencias parentales.2013-2014

4

atención psicoterapéutica y competencias parentales.

• Evaluación de la percepción del impacto del programa CPIdesde la perspectiva de los grupos de interés.

2013-2014

• Necesidades de los distritos y municipios de mayorvulnerabilidad a partir de indicadores socioeconómicos.

• Análisis de la evolución de la incidencia del programa.

• Evaluación de los subprogramas de refuerzo educativo yatención psicoterapéutica.

• Evaluación de impacto del programa CPI en la infancia y susfamilias a partir del estudio de casos.

2014-2016

50%

60%

70%

80%

90%

100%

Prevalente

(1) EVOLUCIÓN DE LA INCIDENCIA

Familias prevalentes en el programa (%)

0%

10%

20%

30%

40%

50%Nuevo

“La opinión de sus educadores y monitores es que a poco que se les pierda el contactodiario, se rompan los lazos afectivos que los mantienen identitariamente en la cultura dela escuela y sus valores, la influencia de otros modelos de conducta del barrio serádecisiva.” (C07)

5

30%

40%

50%

60%

70%

80%

90%

100%

Participantes según bienes y servicios (%)

30%

40%

50%

60%

70%

80%

90%

100%

Participantes según número de ayudas (%)

6

“…Una muy buena red social, una muy buena estrategia de intervención. Yo creo queestamos pasando por medio de este tipo de intervenciones de una cultura […]puramente asistencial a una cultura de servicios…”.

0%

10%

20%

30%

Bienes Servicios Bienes y Servicios

0%

10%

20%

30%

1 Tipo de Ayuda 2 Tipos de Ayuda 3 Tipos de Ayuda

4 Tipos de Ayuda 5 Tipos de Ayuda

Ayudas 0-3 años Ayudas 4-6 años. Ayudas 7-12 años.

EVOLUCIÓN DE LA INCIDENCIA (4)

7

Ayudas 13-16 años. Ayudas >17 años.

Descripción:

Investigación cualitativa con el objetivo de conocer la percepción del impacto del programaCaixaProinfancia en los diferentes territorios en los que se está implementando.

Instrumentos y fuentes de información:

� Grupos focales con familias (138 madres y padres) participantes en el programa.

� Grupos focales con profesionales (99 técnicos) que implementan el programa.

(2) PERCEPCIÓN DEL IMPACTO

� Entrevistas semi-estructuradas a agentes del territorio (29 técnicos de la administración, líderes comunitarios, expertos del sector).

Análisis de resultados

Los resultados obtenidos a partir de la triangulación de las informaciones recogidas y que muestran las regularidades en la percepción de los agentes de las diferentes ciudades. Las citas literales no son anecdóticas sino que buscan ilustrar el sentido de las opiniones representativas analizadas.

• Desarrollo escolar: mejora del rendimiento académico, adquisición de hábitos de estudio y mayor motivación.

“Yo lo que veo es que lo que les marcan también es, unas rutinas en su vida de horarios, de

organización, […] una coordinación del día a día. Yo creo que yo lo que más les ayuda a los niños es

que sean responsables, autónomos, y capaces de superar sus… sus inquietudes, vamos. Les hace

madurar.” (Familia, Bilbao)

"La suma de buenos resultados, que este año se ha llevado al extremo, el resultado ha sido

escandaloso, una diferencia de alumnos que no tenían éxito escolar ninguno y autoestima baja a

Impacto en los niños/as

escandaloso, una diferencia de alumnos que no tenían éxito escolar ninguno y autoestima baja a

acabar el curso […] promociona en este curso”. (Agente clave, Tenerife)

• Desarrollo personal y social: mejora del comportamiento y de las relaciones sociales, desarrollo de la autoestima.

“Han mejorado muchísimo, ha subido bastante las notas y no es tan tímida con grupos de niños, se

relaciona mejor. No es tan tímida. Para la de 14 años ha mejorado muchísimo, que está empezando

la adolescencia, el respeto de los demás se ve y esto le ayuda mucho en su relación. Está mejorando

muchísimo.” (Familia, Zaragoza)

• Desahogo económico por las ayudas en bienes y servicios

“Muy bien la verdad, siempre tienes de todo para los niños. Con los cheques ahora ya no tengo que

ir pidiendo a nadie”. (Familia, Mallorca)

“Que yo prefiero casi más la logopedia, por ejemplo, o los campamentos, […], que el cheque. Que el

cheque es pan para hoy y hambre para mañana…” (Familia, Bilbao)

• Incremento del apoyo social

“Pero también nos beneficia las charlas porque […] yo es el día que salgo, porque yo llevo toda la

semana con mi niño, y yo estoy deseandito que llegue el viernes, pues para reunirme, para ver a mis

amistades […] y aparte lo […] que nos van a enseñar” (Familia, Sevilla)

Impacto en las familias

amistades […] y aparte lo […] que nos van a enseñar” (Familia, Sevilla)

• Mejora de las habilidades parentales

“En mi caso que tengo tres, la vida cambia. Yo con la niña no hablaba, le gritaba… te ayudan no

solo a poner normas sino a saber hacer y pensar esto es lo más fácil y te da resultados…” (Familia, Tenerife)

• Incremento del bienestar personal

“Son miradas con otros ojos, son atendidas, viven que hay preocupación hacia ellas. […] Lo que a mí

me pasa no es único, no soy tan rara. Y eso, a nivel de autoestima ayuda un montón”. (Profesional, Bilbao)

• Cambios en los modelos y procedimientos de la acción social

“Muchas veces el Programa ha permitido mirar detrás de la persona a la que estás atendiendo

¿no? y poner también el acento en los críos, cómo están ellos, cómo se encuentran, quizás yo

creo que ha dado un toque ahí ¿sabes? y eso a nuestra entidad y yo creo que eso pues lo

valoramos positivamente. Quizás antes era más fácil quedarte en las necesidades que los

adultos planteaban.” (Profesional, Málaga)

Impacto en las entidades

12

“Ayuda un poco a sistematizar algún trabajo que ya veníamos haciendo desde hace tiempo” (Profesional, Bilbao)

“El planteamiento que hace CPI es que va un poco más allá que a niveles de calidad de

intervención hay una exigencia y un planteamiento bastante global.” (Profesional, Bilbao)

45,647,7

20

30

40

50

60

Distribución de participantes según actividad (%)

41,0

42,9

4,0

4,4

0,2

0 10 20 30 40 50

Aula Abierta (exclusivamente)

Grupo Estudio (exclusivamente)

Refuerzo Individ. …

Aula Abierta y Grupo Estudio

Aula Abierta y Ref. Individ.

Grupo Estudio y Ref. Individ.

Combinación actividades por participante (%)

(3) REFUERZO EDUCATIVO

13

5,73,2

1,5

0

10

20 0,4

7,1

Grupo Estudio y Ref. Individ.

No participan o Sin datos

96,9

3,1

Continúa

Abandona

Permanencia en el curso escolar (%)

35,1

37,3

16,9

4,9

5,8

26,8

35,1

24,2

0 5 10 15 20 25 30 35 40 45

Muy satisfactorio

Satisfactorio

Poco satisfactorio

Insatisfactorio

NS/NC

Muy satisfactorio

Satisfactorio

Poco satisfactorio

Logr

o d

e o

bje

tivo

sN

ivel

au

ton

om

ía y

h

ábit

os

de

estu

dio

Porcentaje de participantes según logro y niveles alcanzados

72,4%

61,9%

(3) REFUERZO EDUCATIVO

14

7,8

6,2

23,5

38,9

24,8

6,9

6,0

39,6

33,8

16,4

4,2

6,0

Insatisfactorio

NS/NC

Muy satisfactorio

Satisfactorio

Poco satisfactorio

Insatisfactorio

NS/NC

Muy satisfactorio

Satisfactorio

Poco satisfactorio

Insatisfactorio

NS/NC

Niv

el a

uto

no

mía

y

háb

ito

s d

e es

tud

ioN

ivel

de

com

pet

enci

as

bás

icas

Niv

el d

e in

tegr

ació

n

fam

iliar

en

din

ámic

a es

cola

r

62,4%

73,4%

Porcentaje de participantes según resultado académico y ciclo educativo

71,1

53,0 51,4

27,1

33,5

47,5

25,8 24,2

37,6

30,5

24,130

40

50

60

70

80

90

(3) REFUERZO EDUCATIVO

15

9,513,3

16,1

25,8 24,2

17,5

7,3

13,3 13,09,4

11,7 10,912,1

20,5 19,524,1

0

10

20

30

Ciclo Inicial EP Ciclo Medio EP Ciclo Superior EP 1r Ciclo ESO 2º Ciclo ESO Global

Aprueba todo Disminuye insuficientes pero no aprueba todo Mantiene nº insuficientes Aumenta nº insuficientes

65% mejora de resultados académicos

�80,6% en Ciclo Inicial de EP� 66,3% en Ciclo Medio de EP� 67,5% en Ciclo Superior de EP� 52,9% en 1r Ciclo de ESO� 57,7% en 2º Ciclo de ESO

Resultados de los participantes al final de etapas educativas (%).

21,2

37,6 38,3

28,626,8

21,4

17,0

15,0

20,0

25,0

30,0

35,0

40,0

45,0

(3) REFUERZO EDUCATIVO

16

Valoraciones positivas ( muy bien, bien y aceptable)

� 97,1% al final de Educación Primaria (6º curso) con ningún abandono

� 76,8% al final de ESO (4º curso) con el 6,3% de abandono

2,9

0,0

6,3

0,0

5,0

10,0

Muy bien Bien Aceptable Repetición Abandono

Final E. Primaria Final ESO

25,9

19,9

14,9

14,3

4,5

2,4

3,5

2,1

1,2

1,2

2,7

1,1

0 5 10 15 20 25 30

E/As.Psico.P. (exclus.)

A.Psico.P. (exclus.)

A.Psico.Fam. (exclus.)

TallerTerap.Gr. (exclus.)

E/A.Psico.P. + A.Psico.P.

E/As.Psico.P.+ A.Psico.Fam.

E/As.Psico.P.+ TallerTerap.Gr.

A.Psico.P. + A.Psico.Fam.

A.Psico.P. + TallerTerap.Gr.

A.Psico.Fam. + TallerTerap.Gr.

E/As.Psico.P. + A.Psico.P. + A.Psico.Fam.

E/As.Psico.P. + A.Psico.P. + TallerTerap.Gr.

Combinación actividades por participante (%)

“(…) el modelo es muy cerrado.Quince sesiones más quincesesiones y no puedes repetir yesto supone una dificultad. (…)Si no hay un psicólogo enplantilla el modelo esprácticamente imposible”

(4) ATENCIÓN PSICOTERAPÉUTICA

17

1,1

0,7

0,2

1,2

4,2

E/As.Psico.P. + A.Psico.P. + TallerTerap.Gr.

E/As.Psico.P. + A.Psico.Fam. + TallerTerap.Gr.

A.Psico.P. + A.Psico.Fam.+ TallerTerap.Gr.

Todas las modalidades

Sin datos

Eval/Asesoramiento Psicológico Pers.

At. Psicoterap. Personalizada

At. Psicoterap. Familiar

Taller Terap. grupal

2012-13 45,9 34,4 25,4 19,5

2013-14 42,1 32,9 25,4 23,4

45,9

34,4

25,419,5

42,1

32,9

25,4 23,4

05

101520253035404550

Distribución de participantes según actividad

prácticamente imposible”(Profesional, Valencia)

“El programa es más flexible delo que parece y a veces lasflexibilidades que permite sondesconocidas por algunosprofesionales.”(Profesional, Madrid)

80,1

5,3

14,6

Planificada No planificada

Sin datos

Permanencia/ finalización atención (%)

48,8

46,1

59,6

32,7

61,0

31,3

27,2

0 10 20 30 40 50 60 70

Relación

Conducta

Ámbito emocional

Interacción social

Estructura familiar

Aprendizaje

Adaptación

Motivos de la atención psicoter. (%)

(4) ATENCIÓN PSICOTERAPÉUTICA

18

33,1

40,8

13,3

4,0

8,9

0

5

10

15

20

25

30

35

40

45

Muy satisfactorio

Satisfactorio Poco satisfactorio

Insatisfactorio Sin datos

Logro de los objetivos previstos (%)

“La niña tiene apoyo psicológicoporque tiene un problema deatención, que en diversos momentosde su trayectoria vital, ha constituidoun problema, que parece ya casisuperado” C9

20,8Otros

73,9%

RDQD16

Diapositiva 18

RDQD16 Potser aquest gràfic es podria treure i centrar només aquesta diapositiva al èxit del subrprograma en tant que hi ha un elevat percentatge de finalitzacions de teràpies planificades i de valoracions positives del "logro" d'objectius.Roser De Querol Duran; 14/09/2015

� Resultados altamente positivos dentro de la dificultad que comporta verificar el asentamiento de los logros en las acciones psicoterapéuticas.

� Riesgo de “psicologización” y necesidad de integrar el subprograma a planes de acción social integrales.

� Interés de la terapia familiar y grupal más que la individual.

� Interés de equipos multidisciplinares especializados.

(4) ATENCIÓN PSICOTERAPÉUTICA

� Interés de equipos multidisciplinares especializados.

19

� Servicio de intensidad suficiente: apuesta por la efectividad del subprograma y la necesidad de evitar dependencias, aceptando las limitaciones de toda intervención.

• Evolución incidencia

• Impacto programa en experiencias “piloto” (18)2017

• Evolución incidencia

• Impacto programa mediante “traza” (en la medida que se

PROPUESTA EVALUACIÓN FUTURA

20

• Impacto programa mediante “traza” (en la medida que se acumulen nuevos indicadores).

• Niveles vulnerabilidad y bienestar

• Rendimiento escolar

• Logro objetivos

• Correlaciones resultados/ acciones desarrolladas

• Resultados por subprogramas

• Análisis resultados por territorios y redes

• Funcionamiento de las redes territoriales

• Diseño del modelo (para su actualización)

2018…

• Variables sociodemográficas

• Factores de riesgo

• Factores protectores (por ámbitos)

SOCIO-DEMOGRÁFICOS

Y VULNERABILIDAD

• Programas en los que se participa

• Objetivos de logroPLANES DE TRABAJO

SISTEMA DE INDICADORES

21

• Indicadores de logroRESULTADOS DE

LOS PROGRAMAS

• De todos los participantesRENDIMIENTO

ESCOLAR