LA EVALUACIÓN DE LAS POLITICAS LA EVALUACIÓN DE LAS POLITICAS PÚBLICAS DE GASTO: RETO O PÚBLICAS DE GASTO: RETO O

QUIMERA. QUIMERA. SU APLICACIÓN EN ESPAÑASU APLICACIÓN EN ESPAÑA

Encuentro Encuentro dede

Coordinación Presupuestaria y Fiscal Coordinación Presupuestaria y Fiscal Intergubernamental de países Intergubernamental de países

IberoamericanosIberoamericanos

José Manuel AdánJosé Manuel Adán18 Agosto 201118 Agosto 2011

Buenos AiresBuenos Aires

II - - EVALUACIONEVALUACION

VERSUSVERSUS

AUDITORIAAUDITORIA

EP

GJ.M

. Adán

EVALUACIONEVALUACION

VERSUSVERSUS

AUDITORIA AUDITORIA• EvaluaciónEvaluación: dirigida : dirigida

fundamentalmente a fundamentalmente a OBJETIVOS, RESULTADOS Y AYUDAOBJETIVOS, RESULTADOS Y AYUDAPARA MEJORARLOSPARA MEJORARLOS

EP

GJ.M

. Ádán

DIFERENCIAS:DIFERENCIAS:• Por sus orígenes• Por el tipo de relaciones con los

evaluadores• Por las cuestiones que tratan• Por la solidez de las instituciones• Por el destino de las auditorias y las

evaluaciones• Por el tecnicismo reglado de los auditores• Por la relación con los evaluados y

auditados• Por el campo de actuación• Por las técnicas a utilizar• Por la contrastación de los resultados• Por el grado de objetividad

EP

GJ.M

. Ádán

Por las cuestiones que tratanPor las cuestiones que tratan::

Auditoria ------- responde a la Auditoria ------- responde a la pregunta QUÉ se ha hecho.pregunta QUÉ se ha hecho.

Evaluación ---- intenta responder Evaluación ---- intenta responder a la a la pregunta pregunta POR QUÉ se ha hecho.POR QUÉ se ha hecho.

EP

GJ.M

. Ádán

Por el campo de actuaciónPor el campo de actuación

Auditores = viaje a lo desconocido Auditores = viaje a lo desconocido o parcialmente desconocido.o parcialmente desconocido.

Evaluadores= evalúan solo lo que Evaluadores= evalúan solo lo que les han pedido que evalúen.les han pedido que evalúen.

EP

GJ.M

. Ádán

Por el grado de Por el grado de objetividadobjetividad• La auditoria “tradicional” ha La auditoria “tradicional” ha

sido más objetiva. La medida de sido más objetiva. La medida de EFICACIA, EFICIENCIA … mas EFICACIA, EFICIENCIA … mas subjetivasubjetiva

• La evaluación, en general es más La evaluación, en general es más subjetivasubjetiva

EP

GJ.M

. Ádán

EP

GJ.M

. Ádán

� � ¿ ¿ POR QUÉ SE SUSTITUYE LA POR QUÉ SE SUSTITUYE LA EVALUACIÓN POR LA EVALUACIÓN POR LA

AUDITORÍA EN EL ÁMBITO AUDITORÍA EN EL ÁMBITO PRESUPUESTARIO?PRESUPUESTARIO?

La introducción de la gestión por La introducción de la gestión por RESULTADORESULTADO¿Es SUFICIENTE?¿Es SUFICIENTE?

EP

GJ.M

. Ádán

El sistema de gestión por El sistema de gestión por resultado se debilita:resultado se debilita:

•Debido a los múltiples Debido a los múltiples conjuntos de objetivos de conjuntos de objetivos de desempeño.desempeño.

•A objetivos de desempeño A objetivos de desempeño no consistentes con la no consistentes con la prioridad del objeto. prioridad del objeto.

El sistema de gestión por El sistema de gestión por resultado resultado

Se debilita aún más Se debilita aún más

si las CC.AA. comparten si las CC.AA. comparten objetivos pero no existe objetivos pero no existe coordinacióncoordinación

EP

GJ.M

. Ádán

IIII

¿¿Qué es una política Qué es una política pública?pública?

� � Conjunto de acciones para alcanzar un Conjunto de acciones para alcanzar un objetivo de interés público realizado o objetivo de interés público realizado o dirigido por una Administración pública.dirigido por una Administración pública.

•¿Qué políticas Públicas?¿Qué políticas Públicas?

≡ ≡ ¿Qué programas públicos?¿Qué programas públicos?

≡ ≡ ¿Políticas de gasto?¿Políticas de gasto?

EP

GJ.M

. Ádán

EP

GJ.M

. Ádán

•El proceso de políticas El proceso de políticas publicas es un concepto publicas es un concepto amplio en contraste con el amplio en contraste con el ciclo presupuestario. ciclo presupuestario.

•La “política” suele durar mas La “política” suele durar mas de un presupuesto.de un presupuesto.

PROCESO DE POLÍTICAS PROCESO DE POLÍTICAS PÚBLICASPÚBLICAS

EP

GJ.M

. Ádán

•Las políticas se estructuran en Las políticas se estructuran en programasprogramas

• Los programas deben ser acordes Los programas deben ser acordes con las políticas.con las políticas.

• Si los programas no son acordes con Si los programas no son acordes con las políticas, será imposible su las políticas, será imposible su evaluación y si se realiza no tendrá evaluación y si se realiza no tendrá valor alguno.valor alguno.

Proceso de Políticas Proceso de Políticas PúblicasPúblicas• DiseñoDiseño

• DecisiónDecisión

• Formulación de programasFormulación de programas

• Implementación de ProgramasImplementación de Programas

• Evaluación de ProgramasEvaluación de Programas

EP

GJ.M

. Ádán

•Evaluación circunscrita a Evaluación circunscrita a programas específicosprogramas específicos..

EP

GJ.M

. Ádán

•La Evaluación de La Evaluación de políticas ubicadas en la políticas ubicadas en la cima de los sistemas de cima de los sistemas de gestión por resultados gestión por resultados no son suficientemente no son suficientemente creíbles.creíbles.

EP

GJ.M

. Ádán

•La evaluación de programas en La evaluación de programas en algunos casos tiene poca o algunos casos tiene poca o ninguna influencia con el ninguna influencia con el propósito de las políticas. propósito de las políticas.

•Solo es útil en determinados Solo es útil en determinados programas coincidentes con la programas coincidentes con la esencia de las políticas.esencia de las políticas.

EP

GJ.M

. Ádán

•Las políticas publicas son Las políticas publicas son eminentemente “políticas” y no deben eminentemente “políticas” y no deben ser auditadas.ser auditadas.

•Difícilmente evaluadas.Difícilmente evaluadas.

•El nivel mas técnico de un programa es El nivel mas técnico de un programa es más proclive a la auditoria.más proclive a la auditoria.

Ningún sistema aborda la Ningún sistema aborda la totalidadtotalidadde la política en sí.de la política en sí.

• En la primera fase de la creación En la primera fase de la creación de una política pública, el diseño de una política pública, el diseño de la misma, la evaluación ex-ante, de la misma, la evaluación ex-ante, es interesante, ya que la política es interesante, ya que la política puede estar influenciada por puede estar influenciada por intereses privados, ajenos a la intereses privados, ajenos a la verdadera esencia de la política.verdadera esencia de la política.

Se trataría de diseñar la Se trataría de diseñar la política más afín a los política más afín a los intereses públicosintereses públicos

El ciclo de políticas públicas El ciclo de políticas públicas existe, a pesar de ser existe, a pesar de ser desordenado o de discutirse su desordenado o de discutirse su racionalidad.racionalidad.• Se aspira a su eficiencia, pero por ahora Se aspira a su eficiencia, pero por ahora solo es un reto.solo es un reto.

• Las políticas y los programas deben estar Las políticas y los programas deben estar cohesionados.cohesionados.

• El diseño de las políticas debe ser acorde El diseño de las políticas debe ser acorde con su distribución en programas.con su distribución en programas.

• El Gobierno debe tener verdadero interés en El Gobierno debe tener verdadero interés en su implementación.su implementación.

II homogénea en sus programas.homogénea en sus programas.I I técnicamente implementables.técnicamente implementables.I I consensuador con los sectores importantes.consensuador con los sectores importantes.I I deben disponer de una memoria económica deben disponer de una memoria económica

por el conocimiento del coste de su por el conocimiento del coste de su aplicación.aplicación.

EP

GJ.M

. Ádán

• Los resultados de las evaluaciones ex-Los resultados de las evaluaciones ex-post no suelen tomarse en consideración post no suelen tomarse en consideración en el diseño de las políticas. en el diseño de las políticas. SuelenSuelen utilizarse utilizarse para mejorar su aplicación.para mejorar su aplicación.

• Tampoco suelen usarse para mejorar las Tampoco suelen usarse para mejorar las decisiones presupuestarias.decisiones presupuestarias.

• MOTIVOMOTIVO de la escasa influenciade la escasa influencia::La esfera política rechaza la La esfera política rechaza la intromisión del área técnica intromisión del área técnica

EP

GJ.M

. Ádán

III.III. OBJETIVOS DEL OBJETIVOS DEL CONTROLCONTROL

• Art. 142.1.c:Art. 142.1.c: EvaluarEvaluar que la actividad que la actividad y los procedimientos objeto de y los procedimientos objeto de control se realiza de acuerdo con los control se realiza de acuerdo con los principios de buena gestión principios de buena gestión financiera.financiera.

• (Evaluar como “técnica”)(Evaluar como “técnica”) ≡ ≡ función interventora → control función interventora → control

financiero permanente → Auditoria financiero permanente → Auditoria públicapúblicaE

PG

J.M. Á

dán

•Auditoria operativaAuditoria operativa

Cubre todos los ámbitos que Cubre todos los ámbitos que pueden ser evaluados.pueden ser evaluados.

Con esta herramienta abarcamos Con esta herramienta abarcamos campos de campos de la evaluación..

EP

GJ.M

. Ádán

Auditoria de programasAuditoria de programas presupuestarios y planes presupuestarios y planes de actuación:de actuación:

• Tipo de auditoria que tiene por Tipo de auditoria que tiene por objeto comprobar el grado deobjeto comprobar el grado de eficaciaeficacia alcanzado en la consecución de losalcanzado en la consecución de los objetivosobjetivos previstos en los programas previstos en los programas y planes de actuación, así como de lay planes de actuación, así como de la legalidadlegalidad de las actuaciones de las actuaciones efectuadas en la ejecución de los efectuadas en la ejecución de los programas y planes de referencia.programas y planes de referencia.

EP

GJ.M

. Ádán

• Art. 142.1.d: VerificarArt. 142.1.d: Verificar el cumplimiento el cumplimiento de losde los objetivosobjetivos asignados a los centros asignados a los centros gestores del gastogestores del gasto

• → → Función Función

interventorainterventora= IGAE → Evalúa? → → Control financiero= IGAE → Evalúa? → → Control financiero

→ → AuditoriaAuditoria

EP

GJ.M

. Ádán

•Control financiero permanente:Control financiero permanente:• Verificación continuada de ENTIDADES. Verificación continuada de ENTIDADES.

“Aspecto económico financiero” (art. “Aspecto económico financiero” (art. 157) → ajuste a principios de buena 157) → ajuste a principios de buena gestión financiera.gestión financiera.

•La Evaluación debe evaluar La Evaluación debe evaluar políticas, no Instituciones.políticas, no Instituciones.

• Auditoria operativa: examen sistemático Auditoria operativa: examen sistemático y objetivo de las operaciones y y objetivo de las operaciones y procedimientos de una organización, procedimientos de una organización, programa, actividad o función pública programa, actividad o función pública con el objeto de proporcionar una con el objeto de proporcionar una valoración independiente de su valoración independiente de su racionalidad económicaracionalidad económica..E

PG

J.M. Á

dán

• Clasificación funcional de NN.UU.Clasificación funcional de NN.UU.

01.01. Servicios GeneralesServicios Generales02. Defensa02. Defensa03. Orden Público y Seguridad03. Orden Público y Seguridad04. Asuntos económicos04. Asuntos económicos05. Protección medioambiental05. Protección medioambiental06. Vivienda y Servicios Comunitarios06. Vivienda y Servicios Comunitarios07. Sanidad07. Sanidad08. Ocio, cultura y religión08. Ocio, cultura y religión09. Educación09. Educación10. Protección Social10. Protección Social

EP

GJ.M

. Ádán

• R.D. 1127/2008, de 4 de JulioR.D. 1127/2008, de 4 de Julio “ “El análisis yEl análisis y evaluación de las evaluación de las

políticas de gastopolíticas de gasto, , que comprenderá que comprenderá de forma especial la consideración de de forma especial la consideración de sus aspectossus aspectos sectoriales, territoriales sectoriales, territoriales y de su financiación,y de su financiación, así como el de la así como el de la propuesta de colaboración con otras propuesta de colaboración con otras AA.PP. en materia de financiación de AA.PP. en materia de financiación de inversiones u otra política de gasto inversiones u otra política de gasto ≡ ≡ Dirección General de PresupuestosDirección General de PresupuestosE

PG

J.M. Á

dán

• Las políticas de gasto de la Orden EHA/Las políticas de gasto de la Orden EHA/1333/2011, de 19 de Mayo:1333/2011, de 19 de Mayo:

Justicia Justicia (7 programas)(7 programas)DefensaDefensa (7 programas) (7 programas)Seguridad ciudadana e Instituciones Penitenciarias Seguridad ciudadana e Instituciones Penitenciarias

(11 programas)(11 programas)Política Exterior Política Exterior (5 programas)(5 programas)Pensiones Pensiones (7 programas)(7 programas)Otras prestaciones económicas Otras prestaciones económicas (3 programas)(3 programas)Servicios sociales y Promoción Social Servicios sociales y Promoción Social (15 programas)(15 programas)Fomento del empleo Fomento del empleo (2 programas)(2 programas)Desempleo Desempleo (1 programas)(1 programas)Acceso a la vivienda y fomento de la edificación Acceso a la vivienda y fomento de la edificación

(4 programas)(4 programas)Gestión y administración de la Seguridad Social Gestión y administración de la Seguridad Social

(2 programas)(2 programas)Sanidad Sanidad (14 programas)(14 programas)

EP

GJ.M

. Ádán

Educación Educación (16 programas)(16 programas)Cultura Cultura (15 programas)(15 programas)Agricultura, Pesca y Alimentación Agricultura, Pesca y Alimentación (11 (11 programas)programas)Industria y Energía Industria y Energía (10 programas)(10 programas)Comercio, Turismo y Pymes Comercio, Turismo y Pymes (6 programas)(6 programas)Subvenciones al transporte Subvenciones al transporte (4 programas)(4 programas)Infraestructura Infraestructura (17 programas)(17 programas)Investigación, desarrollo e innovación Investigación, desarrollo e innovación (17(17 programas)programas)Otras actuaciones de carácter económico Otras actuaciones de carácter económico (12(12 programas)programas)Alta Dirección Alta Dirección (10 programas)(10 programas)Servicios de carácter general Servicios de carácter general (21 programas)(21 programas)Administración Financiera y Tributaria Administración Financiera y Tributaria (7(7 programas)programas)Transferencias a otras Administraciones Transferencias a otras Administraciones Públicas Públicas (8 programas)(8 programas)Deuda Pública Deuda Pública (2 programas)(2 programas)

EP

GJ.M

. Ádán

IV.IV.LEY DE AGENCIAS LEY DE AGENCIAS (18 de (18 de Julio de 2006)Julio de 2006)

• Surge al no ser suficiente la Surge al no ser suficiente la respuesta dada de intentar respuesta dada de intentar solucionar problemas de gestión solucionar problemas de gestión con herramientas exclusivamente con herramientas exclusivamente presupuestariaspresupuestarias..

EP

GJ.M

. Ádán

COMPROMISO CON LA COMPROMISO CON LA MODERNIZACION Y EFICACIA DE LA MODERNIZACION Y EFICACIA DE LA ADMINISTRACIONADMINISTRACION• El Consejo de Ministros de 1 de diciembre El Consejo de Ministros de 1 de diciembre

de 2006 aprueba el Real Decreto por el que de 2006 aprueba el Real Decreto por el que se crea la Agencia Estatal de Evaluación de se crea la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los las Políticas Públicas y la Calidad de los Servicios.Servicios.

• Compromiso fundamental del Ejecutivo Compromiso fundamental del Ejecutivo para la modernización de la Administración.para la modernización de la Administración.

• Primera Agencia Estatal que se constituye Primera Agencia Estatal que se constituye para promover la cultura y la práctica de la para promover la cultura y la práctica de la evaluaciónevaluación

¿QUÉ VA A EVALUAR LA ¿QUÉ VA A EVALUAR LA AGENCIA?AGENCIA?

CUESTIONES REFERENTES A LAS POLÍTICAS CUESTIONES REFERENTES A LAS POLÍTICAS PÚBLICASPÚBLICAS

Impacto normativoImpacto normativoDiseñoDiseñoImplementaciónImplementaciónResultadosResultadosImpactos finalesImpactos finalesAspectos económicosAspectos económicos

A través de diferentes

Tipologías de Evaluación

DEFINICIONDEFINICION• Entendemos por Evaluación el proceso Entendemos por Evaluación el proceso

integral de observación, medida, análisis integral de observación, medida, análisis e interpretación encaminado al e interpretación encaminado al conocimiento de una intervención conocimiento de una intervención pública, sea esta una norma, programa, pública, sea esta una norma, programa, plan o política, para alcanzar un juicio plan o política, para alcanzar un juicio valorativo, basado en evidencias, valorativo, basado en evidencias, respecto a su diseño, puesta en práctica, respecto a su diseño, puesta en práctica, resultados e impacto.resultados e impacto.

LA EVALUACION LA EVALUACION EN EL CICLO DE INTERVENCION PUBLICAEN EL CICLO DE INTERVENCION PUBLICALa evaluación puede referirse tanto a los procesos de diseño, como La evaluación puede referirse tanto a los procesos de diseño, como de implementación, desarrollo y finalización de una intervención de implementación, desarrollo y finalización de una intervención pública.pública.

PLANIFICACION IMPLEMENTACION RESULTADOS IMPACTO

PROBLEMASNECESIDADES

INTERVENCION PÚBLICAEv.

IMPACTONORMATIVO

OBJETIVOS INSTRUMENTOSIMPLEMENTACION

RESULTADOSINTERMEDIOS

RESULTADOS FINALES

IMPACTOS

DESTINATARIOS SOCIEDAD

Ev.DIAGNÓSTICO

DISEÑO

Ev.IMPLEMENTACIÓN

Ev.RESULTADOS

Ev.IMPACTO

Ex ante Intermedia Ex post

COMPROMISOS COMPROMISOS ADQUIRIDOSADQUIRIDOS

• Evaluación de los programas y políticas Evaluación de los programas y políticas públicas que anualmente le encargue el públicas que anualmente le encargue el Consejo de MinistrosConsejo de Ministros..

• Evaluación anual del grado de aplicación Evaluación anual del grado de aplicación y de éxito de las principales medidas del y de éxito de las principales medidas del Programa Nacional de ReformasPrograma Nacional de Reformas..

• Informe Anual al Informe Anual al Congreso de los Congreso de los DiputadosDiputados acerca de la actividad acerca de la actividad desplegada por las Agencias Estatales y desplegada por las Agencias Estatales y sus compromisos para mejorar la calidad sus compromisos para mejorar la calidad de los servicios prestados a los de los servicios prestados a los ciudadanos.ciudadanos.

ESTRUCTURA DE GESTIONESTRUCTURA DE GESTION

Vertiente ejecutivaVertiente ejecutiva

DepartamentoDepartamento dede

EvaluaciónEvaluación

División deDivisión deEvaluación Evaluación De Políticas De Políticas de de RegulaciónRegulaciónFomento eFomento eInnovaciónInnovación

División deDivisión deEvaluaciónEvaluaciónDe PolíticasDe PolíticasDe EstadoDe Estado

División de División de EvaluaciónEvaluaciónDe ImpactoDe Impacto

Social ySocial yNueva AgendaNueva Agenda

PRESIDENCIAPRESIDENCIA División TécnicaDivisión Técnica

División de Estudios y MetodologíaDivisión de Estudios y Metodología

Departamento deDepartamento deGerenciaGerencia

División deDivisión deRecursosRecursosHumanosHumanos

DivisiónDivisiónEconómicoEconómicoFinancieraFinanciera

Departamento deDepartamento deCalidad de los ServiciosCalidad de los Servicios

División deDivisión deAgencias Agencias EstatalesEstatales

División deDivisión deProgramasProgramasDe CalidadDe Calidad

COLABORACIÓNCOLABORACIÓN• La Agencia está abierta a la La Agencia está abierta a la

participación y la colaboración con los participación y la colaboración con los distintos órganos de la Administración distintos órganos de la Administración General del Estado, Las Comunidades General del Estado, Las Comunidades Autónomas y las Entidades Locales.Autónomas y las Entidades Locales.

• Las Comunidades Autónomas que Las Comunidades Autónomas que firmen un Convenio de Colaboración firmen un Convenio de Colaboración con la Agencia podrán contar con con la Agencia podrán contar con representantes en el Consejo Rector representantes en el Consejo Rector de la misma.de la misma.

AEVALAEVALPlanPlan de trabajo 2010de trabajo 2010• Programa y Políticas PúblicasPrograma y Políticas Públicas

1.1. Plan Español de Energías Renovables 2005-Plan Español de Energías Renovables 2005-2010.2010.

2.2. Líneas ICO-PYME.Líneas ICO-PYME.3.3. Estrategia de salud de cuidados paliativos.Estrategia de salud de cuidados paliativos.4.4. Programa de ayudas a Reindustrialización.Programa de ayudas a Reindustrialización.5.5. Gestión y funcionamiento de las Gestión y funcionamiento de las

Demarcaciones de Costas para la protección Demarcaciones de Costas para la protección del dominio Público Marítimo. del dominio Público Marítimo.

6.6. Programas de Vacaciones para personas Programas de Vacaciones para personas mayores y termalismos sociales.mayores y termalismos sociales.

AEVALAEVALPlan de Trabajo 2011Plan de Trabajo 2011

• Programas y políticas publicasProgramas y políticas publicas1.1. Evaluación de las líneas ICO-PYME Evaluación de las líneas ICO-PYME

(segunda fase).(segunda fase).2.2. Evaluación sobre las trabas Evaluación sobre las trabas

administrativas para la creación de administrativas para la creación de empresas.empresas.

3.3. Evaluación externa de la calidad del Evaluación externa de la calidad del servicio prestado por la ventanilla servicio prestado por la ventanilla única para el comercio exterior de única para el comercio exterior de Canarias.Canarias.

AEVALAEVALPlan de Trabajo 2011Plan de Trabajo 2011

Programa y políticas publicas objeto de Programa y políticas publicas objeto de Convenio con las CC.AA.Convenio con las CC.AA.

• Evaluación del Plan de Acción Integral Evaluación del Plan de Acción Integral de la playa de Palma.de la playa de Palma.

• Evaluación de los programas de Evaluación de los programas de Selección y Formación de la Escuela Selección y Formación de la Escuela de Administración Regional de de Administración Regional de Castilla-La Mancha.Castilla-La Mancha.

CONCLUSIONES PARCIALESCONCLUSIONES PARCIALES1.1. Dentro del ámbito del MEH, solo se pueden Dentro del ámbito del MEH, solo se pueden

realizar evaluaciones de políticas de gasto.realizar evaluaciones de políticas de gasto.2.2. Quien tiene la competencia directa es la DGP que Quien tiene la competencia directa es la DGP que

carece de los medios adecuados.carece de los medios adecuados.3.3. La evaluación como competencia de la IGAE se La evaluación como competencia de la IGAE se

ciñe más a la “actividad y procedimiento” y se ciñe más a la “actividad y procedimiento” y se ahorma dentro de las modalidades del control ahorma dentro de las modalidades del control interno. No obstante es el órgano que dispone de interno. No obstante es el órgano que dispone de un mayor aparato logístico para la realización de un mayor aparato logístico para la realización de la Evaluación.la Evaluación.

4.4. Es necesaria una acomodación normativa que Es necesaria una acomodación normativa que permita a la IGAE tener las competencias permita a la IGAE tener las competencias adecuadas para la Evaluación de las políticas de adecuadas para la Evaluación de las políticas de gasto. De otro modo se puede interpretar el art. gasto. De otro modo se puede interpretar el art. 72 de la LGP en el sentido lato y conceder a la 72 de la LGP en el sentido lato y conceder a la IGAE esta competencia de evaluar, pero en mi IGAE esta competencia de evaluar, pero en mi opinión es necesaria una base más clara y sólida.opinión es necesaria una base más clara y sólida.

5.5. La Agencia de Evaluación tiene unas competencias La Agencia de Evaluación tiene unas competencias amplias y no habrá solape con la evaluación amplias y no habrá solape con la evaluación ejecutada por el MEH siempre que se centre en ejecutada por el MEH siempre que se centre en políticas públicas distintas a las de gasto.políticas públicas distintas a las de gasto.

EP

GJ.M

. Ádán

V. V. LA ESCASA EXPERIENCIA LA ESCASA EXPERIENCIA EN OTROS PAISES.EN OTROS PAISES.• Australia (Australian National Audit Australia (Australian National Audit

Office, ANAO) Office, ANAO) • Finlandia (Vaitionouden Finlandia (Vaitionouden

Tarkastusvirasto, Oficina del Auditor del Tarkastusvirasto, Oficina del Auditor del Estado)Estado)

• Irlanda (Officce of the Comptroller and Irlanda (Officce of the Comptroller and Auditor General)Auditor General)

• Noruega (Rikssevisjonen, Auditoria del Noruega (Rikssevisjonen, Auditoria del Estado)Estado)

• Países Bajos (Tribunal de Auditores)Países Bajos (Tribunal de Auditores)

EP

GJ.M

. Ádán

• Evaluación ≡ Evaluación ≡ No se puede hacer gestión pública de No se puede hacer gestión pública de calidad, si quienes ejercen el control calidad, si quienes ejercen el control político NO TIENEN VERDADEROS político NO TIENEN VERDADEROS MECANISMOS de evaluación.MECANISMOS de evaluación.Los indicadores de gestión se cumplen Los indicadores de gestión se cumplen de acuerdo con la planificación.de acuerdo con la planificación.

• Seguimiento de PROYECTOS ≡ Seguimiento de PROYECTOS ≡ – Indicadores de cumplimientoIndicadores de cumplimiento– Elaboración del presupuesto ≡ Elaboración del presupuesto ≡

Columna vertebral de las políticas Columna vertebral de las políticas públicas.públicas.

La Evaluación en la Union La Evaluación en la Union EuropeaEuropeaCuestionario Inicial (2003)Cuestionario Inicial (2003)1ª. ¿En qué parte del sector público se lleva a cabo la 1ª. ¿En qué parte del sector público se lleva a cabo la

evaluación?evaluación?2ª. ¿Qué coordinación de las actividades de 2ª. ¿Qué coordinación de las actividades de

evaluación tiene lugar a lo largo de la evaluación tiene lugar a lo largo de la administración y quien es el responsable?.administración y quien es el responsable?.

3ª. ¿Cuál es el foco de la evaluación en su país?3ª. ¿Cuál es el foco de la evaluación en su país?4ª. ¿Cuántos tipos de evaluación se llevan a cabo?4ª. ¿Cuántos tipos de evaluación se llevan a cabo?5ª. ¿Por qué se llevan a cabo las evaluaciones?5ª. ¿Por qué se llevan a cabo las evaluaciones?6ª. ¿Los afectados en la evaluación están 6ª. ¿Los afectados en la evaluación están

involucrados o son consultados y en qué etapa?.involucrados o son consultados y en qué etapa?.7ª. ¿Cómo se utilizan los resultados de la evaluación?.7ª. ¿Cómo se utilizan los resultados de la evaluación?.8ª. ¿Qué seguimiento se hace de las evaluaciones?.8ª. ¿Qué seguimiento se hace de las evaluaciones?.9ª. ¿Qué medidas se llevan a cabo para estructurar la 9ª. ¿Qué medidas se llevan a cabo para estructurar la

capacidad de evaluar?.capacidad de evaluar?.10ª. ¿Hasta qué punto las evaluaciones son planeadas 10ª. ¿Hasta qué punto las evaluaciones son planeadas

anticipadamente?anticipadamente?EP

GJ.M

. Ádán

La Evaluación en la UELa Evaluación en la UE1ª. 1ª.

- En los Ministerios → modelo - En los Ministerios → modelo descentralizadodescentralizado - Si se añaden las autoridades - Si se añaden las autoridades regionales – noregionales – no UE = Cada D.G. es UE = Cada D.G. es

responsable de evaluar su responsable de evaluar su actividad.actividad.

2ª. - M.H. principalmente.2ª. - M.H. principalmente.-UE= cada D.G. La D.G. de -UE= cada D.G. La D.G. de Presupuesto Presupuesto coordinacoordina

- Diversidad → economía- Diversidad → economía → → eficiencia ≡ U.Eeficiencia ≡ U.E.. → → eficaciaeficacia

• 1ª. ¿En qué parte del 1ª. ¿En qué parte del sector público se lleva a sector público se lleva a cabo la evaluación?cabo la evaluación?

• 2ª. Qué coordinación de 2ª. Qué coordinación de las actividades de las actividades de evaluación tiene lugar y evaluación tiene lugar y quien es el responsable?.quien es el responsable?.

EP

GJ.M

. Ádán

La Evaluación en la UELa Evaluación en la UE• 3ª. Economía, 3ª. Economía,

Eficacia, Eficacia, Sostenibilidad.Sostenibilidad.

• UE=Eficacia, UE=Eficacia, Eficiencia, Eficiencia, Consistencia. Consistencia.

• 3ª.¿Cuál es el foco 3ª.¿Cuál es el foco de la evaluación en de la evaluación en su país?su país?

La Evaluación en la UELa Evaluación en la UE

4ª. - No fué posible 4ª. - No fué posible una respuesta una respuesta común válida.común válida.- U.E. contestó - U.E. contestó numéricamentenuméricamente

• 4ª. ¿Cuántos tipos 4ª. ¿Cuántos tipos de evaluación se de evaluación se llevan a cabo?.llevan a cabo?.

EP

GJ.M

. Ádán

La Evaluación en la UELa Evaluación en la UE• 5ª.-Requerimiento 5ª.-Requerimiento

presupuestario.presupuestario.• Solo Estonia contestó “… Solo Estonia contestó “…

Como HERRAMIENTA del Como HERRAMIENTA del gestor.gestor.

• UE=R.Financiero (Art. 27,28 UE=R.Financiero (Art. 27,28 y 33).y 33).

• En la Programación y En la Programación y Planificación estratégica los Planificación estratégica los resultados del ciclo de resultados del ciclo de evaluación, impacto evaluación, impacto esencial para análisis esencial para análisis objetivos políticos y objetivos políticos y asignación de recursos.asignación de recursos.

• 5ª.¿Por qué se llevan a 5ª.¿Por qué se llevan a cabo las cabo las evaluaciones?evaluaciones?

La Evaluación en la UELa Evaluación en la UE6ªFundamentalme6ªFundamentalme

nteal final en la nteal final en la comprobación de comprobación de resultados.resultados.

UE=En cualquier UE=En cualquier etapa.etapa.

• 6ª.¿Los afectados 6ª.¿Los afectados en la evaluación en la evaluación están involucrados están involucrados o son consultados o son consultados y en qué etapa? y en qué etapa?

EP

GJ.M

. Ádán

La Evaluación en la UELa Evaluación en la UE7ª.-Dentro del MH.7ª.-Dentro del MH.• -UE=Establecimiento -UE=Establecimiento

de prioridades de prioridades políticas.políticas.

• 8ª.-Para ser públicas 8ª.-Para ser públicas y disponibles.y disponibles.

• -UE=Públicas-UE=Públicas

• 7ª. ¿Cómo se 7ª. ¿Cómo se utilizan los utilizan los resultados de la resultados de la evaluación?.evaluación?.

• 8ª.¿Qué 8ª.¿Qué seguimiento se hace seguimiento se hace de las evaluaciones?de las evaluaciones?

La Evaluación en la UELa Evaluación en la UE9ª. - Respuestas diversas 9ª. - Respuestas diversas

(recursos financieros, (recursos financieros, humanos)humanos)U.E. =Responsabilidades U.E. =Responsabilidades definidas, procedimiento definidas, procedimiento de mejora.de mejora.

10ª. 10ª. - En el M.H. la mayoría- En el M.H. la mayoríaU.E. ≡ Programa U.E. ≡ Programa Multianual de Evaluación Multianual de Evaluación establecido a finales de establecido a finales de 20032003 Programa Anual de Programa Anual de EvaluacionesEvaluaciones

• 9ª.¿Qué medidas se 9ª.¿Qué medidas se llevan a cabo para llevan a cabo para estructurar la estructurar la capacidad de evaluar?capacidad de evaluar?

• 10ª. Hasta que punto 10ª. Hasta que punto las evaluaciones son las evaluaciones son planeadas planeadas anticipadamenteanticipadamente??

EP

GJ.M

. Ádán

La Evaluación en la UE La Evaluación en la UE Conclusiones Parciales Conclusiones Parciales (test)(test)

1ª. El modelo más común en los Estados Miembros 1ª. El modelo más común en los Estados Miembros concerniente a las actividades de evaluación es una concerniente a las actividades de evaluación es una combinación de las llevadas a cabo en el Ministerio de combinación de las llevadas a cabo en el Ministerio de Hacienda y en otros Ministerios.Hacienda y en otros Ministerios.

2ª. La coordinación de las actividades de evaluación tiene 2ª. La coordinación de las actividades de evaluación tiene lugar en las mayoría de los Estados Miembros con un lugar en las mayoría de los Estados Miembros con un énfasis singular del Ministerio de Hacienda.énfasis singular del Ministerio de Hacienda.

3ª. La respuesta al foco de la evaluación no permite alcanzar 3ª. La respuesta al foco de la evaluación no permite alcanzar ninguna conclusión.ninguna conclusión.

4ª. El resultado del cuestionario no permite un cuadro 4ª. El resultado del cuestionario no permite un cuadro completo de los diferentes tipos de evaluación llevados a completo de los diferentes tipos de evaluación llevados a cabo por los Estados Miembros.cabo por los Estados Miembros.

5ª. 17 Estados Miembros respondieron que llevan a cabo 5ª. 17 Estados Miembros respondieron que llevan a cabo evaluaciones por requerimientos ligados a las actividades evaluaciones por requerimientos ligados a las actividades financiadas por la UE y era solamente la única razón por la financiadas por la UE y era solamente la única razón por la que la llevaban a cabo 4 Estados Miembros.que la llevaban a cabo 4 Estados Miembros.

EP

GJ.M

. Ádán

Evaluación de Políticas en la Evaluación de Políticas en la UEUE

• Evaluación “Judgement of interventions Evaluación “Judgement of interventions according to their results, impacts and according to their results, impacts and needs they aim to satisfy”needs they aim to satisfy”

• ““Juicio de las intervenciones en relación Juicio de las intervenciones en relación con sus resultados, sus impactos y las con sus resultados, sus impactos y las necesidades que dichas intervenciones necesidades que dichas intervenciones quieren satisfacer”quieren satisfacer”

• ≡ ≡ proceso que culmina con un juicio proceso que culmina con un juicio sobre una acciónsobre una acción

• Foco: necesidad, resultados, impactosFoco: necesidad, resultados, impactosEP

GJ.M

. Ádán

Principales razones para EVALUARPrincipales razones para EVALUAR•Contribuir al diseño de las Contribuir al diseño de las

intervenciones, suministrando ideas intervenciones, suministrando ideas para establecer prioridades políticas.para establecer prioridades políticas.

•Ayudar en la asignación eficiente de Ayudar en la asignación eficiente de los recursos.los recursos.

•Mejorar la calidad de las Mejorar la calidad de las intervenciones.intervenciones.

• Informar sobre los logros de las Informar sobre los logros de las intervenciones.intervenciones.

Evaluación de Políticas en la Evaluación de Políticas en la UEUE

EP

GJ.M

. Ádán

Evaluación de Políticas en la Evaluación de Políticas en la UE Diferencias entre UE Diferencias entre

EVALUACIÓN Y AUDITORIAEVALUACIÓN Y AUDITORIAAUDITORIAAUDITORIA• Engloba el examen y Engloba el examen y

consejo sobre la consejo sobre la adecuación y efectividad adecuación y efectividad de los sistemas de control de los sistemas de control interno de las Direcciones interno de las Direcciones Generales.Generales.

• La auditoria por La auditoria por resultados tiende a resultados tiende a centrarse en la ejecución centrarse en la ejecución de una actividad y sus de una actividad y sus efectos inmediatos.efectos inmediatos.

Auditoria ≡ Examina como se Auditoria ≡ Examina como se conceden las becasconceden las becas

EVALUACIONEVALUACION

• Valoración de resultados con Valoración de resultados con respecto a los efectos de una respecto a los efectos de una intervenciónintervención

• Trata de explicar como resultados e Trata de explicar como resultados e impactos están condicionados por los impactos están condicionados por los mecanismos de aplicación.mecanismos de aplicación.

Evaluación ≡ Examina el impacto y Evaluación ≡ Examina el impacto y resultados de la concesión de becasresultados de la concesión de becas

EP

GJ.M

. Ádán

Evaluación de Políticas en la Evaluación de Políticas en la UEUE Aspectos de los Efectos de Aspectos de los Efectos de las Políticaslas Políticas

• ¿Como se aplican los instrumentos ¿Como se aplican los instrumentos políticos en los E. Miembros?.políticos en los E. Miembros?.

• ¿A quien afecta?¿A quien afecta?• ¿Como la intervención se piensa que ¿Como la intervención se piensa que

debe comportarse y como se debe comportarse y como se comporta en realidad?comporta en realidad?

• Efectos de la intervención (por qué Efectos de la intervención (por qué produce ciertos efectos y no otros)produce ciertos efectos y no otros)

EP

GJ.M

. Ádán

Evaluación de Políticas en la Evaluación de Políticas en la UEUE• 1 área política1 área política• 4 Actividades ≡ a, con 2 programa de 4 Actividades ≡ a, con 2 programa de

gastogasto ≡ ≡ d, con 2 medidas sin gastod, con 2 medidas sin gasto

≡ ≡ b, c,, mezclab, c,, mezclaEj.: U.E. ≡ medida regulatoria (actividad b-1)Ej.: U.E. ≡ medida regulatoria (actividad b-1) objetivo de la directiva ≡ mejorar la objetivo de la directiva ≡ mejorar la

calidad del aire (impacto) a través de la calidad del aire (impacto) a través de la reducción de las actividades de polución reducción de las actividades de polución (resultados). (resultados). Output de intervención Ej.: multas por Output de intervención Ej.: multas por incumplimiento, impuestos, cargas, limites incumplimiento, impuestos, cargas, limites cuantitativos a la polución …cuantitativos a la polución …

POLITICA APOLITICA AActividad aActividad a Output 1Output 1 Resultado 1Resultado 1InversionesInversiones(Subvenciones)(Subvenciones) Impacto Impacto

11ConcienciaciónConcienciación Output 2Output 2 Resultado 2Resultado 2(contratista externo)(contratista externo)Actividad bActividad b Output 3Output 31. Medidas Regulatorias1. Medidas Regulatorias Output 4Output 4(Directiva del Consejo)(Directiva del Consejo) Impacto Impacto

222. Proyecto Piloto2. Proyecto Piloto Output5Output5 Resultado 3Resultado 3 Impacto totalImpacto total(Contratista Externo)(Contratista Externo)Actividad cActividad cRegulación transitoriaRegulación transitoria Output 6Output 6(Acuerdos sectoriales)(Acuerdos sectoriales) Resultado 4Resultado 4 Impacto Impacto

33ApoyoApoyo Output 7Output 7(Subvenciones)(Subvenciones)Estudio de viabilidadEstudio de viabilidad(Contratista externo)(Contratista externo) LeyendaLeyendaActividad dActividad d Resultado 5Resultado 5 GastoGastoConvenioConvenio Output 8Output 8 No gastoNo gastoCooperación Cooperación internacionalinternacional

Factores exógenos institucionales, geográficos, medio-ambiente, socio-económicos que tienen lugar a nivel de resultados y de impacto.

Contexto Institucional

VI.VI. - - LA EVALUACIÓN DE LAS LA EVALUACIÓN DE LAS POLÍTICAS DE GASTO Y LA POLÍTICAS DE GASTO Y LA AUDITORIAAUDITORIA• Política de Gasto: I+d+i (Investigación, desarrollo Política de Gasto: I+d+i (Investigación, desarrollo

e innovación)e innovación)- Programas de gasto: 17- Programas de gasto: 17- Órganos gestores: 38- Órganos gestores: 38- Intervenciones Delegadas: 10- Intervenciones Delegadas: 10- Divisiones ONA:- Divisiones ONA: 1 1

• Programas:Programas:- 462M Investigación y estudios sociológicos y - 462M Investigación y estudios sociológicos y constitucionalesconstitucionales- 462N Investigación y estudios estadísticos y - 462N Investigación y estudios estadísticos y económicoseconómicos- 463A Investigación científica- 463A Investigación científica- 463B Fomento y coordinación de la - 463B Fomento y coordinación de la investigación científica y técnicainvestigación científica y técnica- 464A Investigación y Estudios de las Fuerzas - 464A Investigación y Estudios de las Fuerzas Armadas Armadas

EP

GJ.M

. Ádán

La Evaluación de las Políticas de La Evaluación de las Políticas de Gasto y la AuditoriaGasto y la Auditoria

- 464B Apoyo a la Innovación tecnológica en el - 464B Apoyo a la Innovación tecnológica en el sector de la defensasector de la defensa- 465A Investigación sanitaria- 465A Investigación sanitaria- 466A Investigación y evaluación educativa- 466A Investigación y evaluación educativa- 467A Astronomía y astrofísica- 467A Astronomía y astrofísica- 467B Investigación, desarrollo y experimentación - 467B Investigación, desarrollo y experimentación en transportes e infraestructuras.en transportes e infraestructuras.

- 467C Investigación y desarrollo tecnológico-- 467C Investigación y desarrollo tecnológico-industrialindustrial- 467D Investigación y experimentación agraria- 467D Investigación y experimentación agraria- 467E Investigación oceanográfica y pesquera- 467E Investigación oceanográfica y pesquera- 467F Investigación geológico-minera y - 467F Investigación geológico-minera y medioambientalmedioambiental- 467G Investigación y desarrollo de la Sociedad de - 467G Investigación y desarrollo de la Sociedad de la Informaciónla Información- 467H Investigación energética, medioambiental y - 467H Investigación energética, medioambiental y tecnológicatecnológica- 467I Innovación tecnológica de las - 467I Innovación tecnológica de las telecomunicacionestelecomunicaciones

Política de gasto: Investigación, Política de gasto: Investigación, desarrollo e innovacióndesarrollo e innovación

PROGRAMASPROGRAMAS ORGANO GESTORORGANO GESTOR Intervención Intervención DelegadaDelegada

462M Investigación y 462M Investigación y estudios estudios sociológicos y sociológicos y constitucionalesconstitucionales

CENTRO DE CENTRO DE ESTUDIOS POLITICOS ESTUDIOS POLITICOS Y Y CONSTITUCIONALESCONSTITUCIONALES

Intervención Intervención Delegada Ministerio Delegada Ministerio de la Presidenciade la Presidencia

CENRO DE CENRO DE INVESTIGACIONES INVESTIGACIONES SOCIOLÓGICASSOCIOLÓGICAS

Intervención Intervención Delegada Ministerio Delegada Ministerio de la Presidencia de la Presidencia

462N Investigación y 462N Investigación y estudios estadísticos y estudios estadísticos y económicoseconómicos

INSTITUTO DE INSTITUTO DE ESTUDIOS FISCALESESTUDIOS FISCALES

Intervención Intervención Delegada Ministerio Delegada Ministerio de Economía y de Economía y HaciendaHacienda

463A Investigación 463A Investigación científicacientífica

Mº. EDUCACION Y Mº. EDUCACION Y CIENCIACIENCIA

Intervención Intervención Delegada Ministerio Delegada Ministerio Educación y CienciaEducación y Ciencia

CONSEJO SUPERIOR CONSEJO SUPERIOR DE INVESTIGACIONES DE INVESTIGACIONES CIENTÍFICASCIENTÍFICAS

Intervención Intervención Delegada en el Delegada en el Consejo Superior de Consejo Superior de Investigaciones Investigaciones CientíficasCientíficas

EP

GJ.M

. Ádán

PROGRAMAPROGRAMA CENTRO GESTORCENTRO GESTOR SERVISERVICIOCIO C A P I T U L O (en miles de euros)C A P I T U L O (en miles de euros) TOTALTOTAL

1ª1ª 2ª2ª 33ªª

4ª4ª 6ª6ª 77ªª

8ª8ª 9ª9ª

462M – 462M – Investigación Investigación y estudios y estudios sociológicos y sociológicos y constitucionalconstitucionales Aes A

CENTRO DE CENTRO DE ESTUDIOS ESTUDIOS POLÍTICOS Y POLÍTICOS Y CONSTITUCIONALCONSTITUCIONALES (Mº. ES (Mº. PresidenciaPresidencia 3.092.3.092.

88881.510.1.510.

080800 3.013.01 438.438.

727200 12.012.0

3300 5.057.325.057.32

BB

CENTRO DE CENTRO DE INVESTIGACIONES INVESTIGACIONES SOCIAOLOGICASSOCIAOLOGICAS

3.361.3.361.1313

4.537,4.537,4747

00 152,152,8080

280,280,1616

00 12,012,022

00 8.343,588.343,58

6.454,6.454,0101

6.047,6.047,5555

156,156,4141

719,719,8888

24,024,055

13.400,913.400,900

EJEMPLO DEL EJEMPLO DEL PROGRAMA 462MPROGRAMA 462M

EP

GJ.M

. Ádán

0,00

1.000,00

2.000,00

3.000,00

4.000,00

5.000,00

6.000,00

7.000,00

PRESUPUESTADO

1º 2º 4º 6º 8º

CAPITULOS

PROGRAMA 462M - Investigación y estudios sociológicos y constitucionales

1º2º4º6º8º

POLITICA DE GASTO: Investigación, Desarrollo e InnovaciónPOLITICA DE GASTO: Investigación, Desarrollo e Innovación     PROGRAMASPROGRAMAS    

        

Objetivo Objetivo 11

Resultado Resultado 11

462M462M - Investigación - Investigación y estudios y estudios sociológicos y sociológicos y constitucionalesconstitucionales

Impacto Impacto 11

Objetivo Objetivo 22

Resultado Resultado 22

462N Investigación y 462N Investigación y estudios estadísticos estudios estadísticos y económicosy económicos

Objetivo Objetivo 33

Resultado Resultado 33

Impacto Impacto 22

Objetivo Objetivo 44

Resultado Resultado 44

Impacto Impacto totaltotal

463A Investigación 463A Investigación científicacientífica Impacto Impacto

33Objetivo Objetivo

55Resultado Resultado

55463B Fomento y 463B Fomento y coordinación de la coordinación de la investigación investigación científica y técnicacientífica y técnica Objetivo Objetivo

66Resultado Resultado

66Impacto Impacto

44

464A Investigación y 464A Investigación y estudio de las estudio de las Fuerzas ArmadasFuerzas Armadas

Objetivo Objetivo 77

Resultado Resultado 77

Objetivo Objetivo 88

Resultado Resultado 88

Impacto Impacto 55

Objetivo Objetivo 99

Resultado Resultado 99

CONCLUSIONESCONCLUSIONES1.1. Evaluación y Auditoria son técnicas Evaluación y Auditoria son técnicas

distintasdistintas2.2. Es necesario un ajuste normativo para Es necesario un ajuste normativo para

permitir al control interno la realización permitir al control interno la realización de las evaluaciones de las políticas de de las evaluaciones de las políticas de gasto.gasto.

3.3. La técnica de la evaluación a partir de La técnica de la evaluación a partir de las auditorias es muy compleja pero se las auditorias es muy compleja pero se considera las más eficaz.considera las más eficaz.

4.4. Las auditorias de programas y las Las auditorias de programas y las operativas, son las herramientas más operativas, son las herramientas más eficaces para lograr evaluaciones eficaces para lograr evaluaciones basadas en auditorias.basadas en auditorias.

5.5. No existe experiencia internacional No existe experiencia internacional suficiente en evaluaciones realizadas suficiente en evaluaciones realizadas por órganos de controlpor órganos de control..

EP

GJ.M

. Ádán