Articles-111763 Doc PDF Metodologia

7/26/2019 Articles-111763 Doc PDF Metodologia

1/31

GOBIERNO DE CHILEMINISTERIO DE HACIENDADireccin de Presupuestos

ANEXO

METODOLOGA EVALUACIN DE IMPACTO

Divisin de Control de Gestin

Santiago, Mayo 2009

CHILE


2/31

1

PRESENTACIN*

*

Este trabajo ha sido elaborado y actualizado por la Divisin de Control de Gestin de laDireccin de Presupuestos del Ministerio de Hacienda. Participaron en su elaboracinHeidi Berner, Paula Darville, Nelson Guzmn, Ana Mara Montoya y Sebastin Izquierdo.

El anexo que a continuacin se presenta tiene por objeto describir aspectos

metodolgicos necesarios de considerar en el desarrollo de Evaluaciones deImpacto de programas pblicos. El documento se centra en los mbitos deresultados de eficacia, en sus diferentes niveles, y en los aspectos de eficienciay economa.

Se trata de un documento de carcter referencial. Su elaboracin ha tenidocomo base diferentes documentos preparados con anterioridad en la Divisinde Control de Gestin, los que se han sido complementados con elementosconceptuales y metodolgicos extrados de la literatura especializada.

Heidi Berner H.

Jefa de la Divisin de Control de GestinDireccin de Presupuestos


3/31

2

METODOLOGA EVALUACIN DE IMPACTOASPECTOS RELEVANTES

1. Qu es la Evaluacin de Impacto?Dependiendo de los mbitos a evaluar la lnea de Evaluacin de Impacto (EI)en aplicacin en la Direccin de Presupuesto comprende dos modalidades; lasEvaluaciones Mdulo de Impacto y las Evaluaciones en Profundidad. LasEvaluaciones Mdulo de Impacto integran la evaluacin de los resultados decorto, mediano y largo plazo de los programas (eficacia), con los principalesaspectos de la eficiencia y economa en el uso de los recursos. LasEvaluaciones en Profundidad, adems de las dimensiones revisadas por lamodalidad de Mdulo de Impacto, realizan un anlisis de los aspectos relativosa la gestin de los procesos internos de los programas.

La evaluacin de los resultados de un programa pblico requiere desarrollar unproceso de trabajo sistemtico e independiente orientado a responderpreguntas tales como: Se ha contribuido significativamente a resolver elproblema que dio origen al programa? Los receptores de los bienes yservicios que genera el programa han resultado realmente beneficiados? Losbeneficios recibidos por los participantes son los que se haba propuesto lograrel programa o son otros no previstos? Los beneficios estn llegando a lapoblacin que se pretende atender? Los usuarios del programa estnsatisfechos con los bienes y servicios recibidos? Los beneficiarios hanexperimentado un mejoramiento significativo en su condicin-problema inicial,

como consecuencia de su participacin en el programa?

De las preguntas anteriores se desprende que la evaluacin de impactocomprende la efectividad de las medidas tomadas o los servicios entregadospor el programa. Por otra parte, s se considera que los recursos necesariospara la ejecucin de un programa son escasos y de uso alternativo, los mismosbeneficios no pueden ser logrados a cualquier costo, entonces la eficienciatambin es una dimensin a abordar en una evaluacin de impacto.

Hacer una evaluacin de eficiencia implica responder entre otras las siguientespreguntas: Los recursos que se han invertido han sido socialmenterentables?, es decir, el conjunto de beneficios generados por el programa,valorados socialmente, es mayor que los gastos financieros y no financieros deste? La unidad ejecutora del programa conoce y est considerando todos losgastos relevantes? Los componentes del programa estn siendo producidosal mnimo costo posible? Cul es el costo real de produccin de dichoscomponentes?

Por su parte, la evaluacin de la economa de un programa pblico deberesponder interrogantes como las siguientes: Est el programa administrandoadecuadamente los recursos financieros que recibe del Estado? La gerencia

del programa ha mostrado capacidad para atraer recursos de otras fuentes?El programa est utilizando algn mecanismo que le permita recuperar parte


4/31

3

de los costos de produccin de sus componentes?, de no ser as, es viableplantear este tipo de mecanismos a futuro?

Finalmente, para el caso de la Evaluacin en Profundidad, evaluar la gestininterna del programa consiste en analizar y emitir juicios evaluativos acerca de

aspectos tales como: proceso de toma de decisiones del programa, suestructura organizacional, asignacin de responsabilidades, uso demecanismos de evaluacin y monitoreo, mecanismos utilizados para generarlos componentes, criterios de focalizacin y seleccin de los beneficiarios, etc.Esta etapa de la evaluacin en profundidad debe expresarse en una revisin yanlisis detallado del proceso de produccin de cada uno de los componentesdel programa, sus etapas o sub-componentes, sus productos intermedios, losplazos y responsabilidades involucrados, as como la deteccin de actividadesposibles de ser eliminadas. Dicha informacin servir de insumo para analizarlos resultados que posteriormente se obtengan al evaluar el impacto de losprogramas.

2. Los Resultados.

2.1. Aspectos cuantitativos y cualitativos versus medicionescuantitativas.

Una evaluacin de resultados debe abarcar tanto los aspectos cuantitativoscomo cualitativos de un programa. Tomando como ejemplo un programa deasistencia tcnica para familias campesinas, los aspectos cuantitativos serelacionarn con variables tales como productividad de los cultivos, precio deventa de los productos, inversin predial, ingreso promedio de las familias, etc;por su parte los aspectos cualitativos se relacionarn con temas tales como laactitud de los campesinos frente a la innovacin, grado de aprobacin osatisfaccin con la asistencia recibida, percepcin optimista (o pesimista)respecto a su situacin futura, etc.

Las dimensiones cuantitativas de la evaluacin se expresan a travs devariables cuantitativas (quintales de trigo por hectrea, miles de pesos realesmensuales, etc.). No obstante, los aspectos cualitativos tambin sonsusceptibles de mediciones cuantitativas. Por ejemplo s el grado de

aceptacin de la asistencia tcnica por parte de los campesinos essistematizado por medio de una encuesta, el aspecto cualitativo aceptacintendr una medicin y expresin cuantitativa, por ejemplo: porcentaje decampesinos que califican la asistencia tcnica como MUY BUENA.

2.2. Hiptesis causales.

La evaluacin de impacto debe identificar las relaciones de causa-efecto entrelos componentes que produce el programa y los resultados esperados. Losbienes y servicios que entrega el programa contribuyen a lograr los beneficiosesperados en la poblacin usuaria?

Con relacin a este punto se debe considerar que al evaluar un programa que


5/31

4

ya est en marcha, el equipo evaluador se encontrar con que los bienes yservicios que se producen son justificados por la gerencia del programa sobrela base de que contribuyen a lograr el resultado deseado, es decir, la gerenciadel programa maneja explcita o implcitamente ciertas hiptesis de causa-efecto1

2.3 La dimensin temporal de los resultados (hor izonte de evaluacin).

Muchas veces la relacin causa-efecto entre los componentes del programa ylos beneficios esperados puede ser distinta dependiendo del perodo que seestudie. Es por esto que se reconoce la existencia de resultados de corto,mediano y largo plazo. El proceso de evaluacin debe incluir estos distintostipos de resultados e identificar y justificar el momento en que corresponde questos sean medidos y analizados.

Resultados a nivel de producto

Los productos se refieren a resultados del programa a nivel de componentes yresponden a preguntas como: Tuvieron las actividades realizadas losproductos esperados, beneficiando al grupo objetivo predefinido?, en qumagnitud?. Es decir, en una lnea de tiempo corresponden al primer tipo de

resultados que debe generar un programa y al efecto ms inmediato que tienela produccin de los componentes sobre la poblacin beneficiaria: familiassubsidiadas, urgencias atendidas, textos escolares entregados, trabajadorescapacitados, etc.

La calidad de los bienes y servicios entregados por el programa tambin puedeconsiderarse como un resultado a nivel de producto. En este punto convienedistinguir, para fines evaluativos, entre la calidad objetiva y la calidad subjetiva.La primera se refiere a la calidad tcnica de los bienes y servicios entregados;por ejemplo: calidad pedaggica de los textos escolares, aporte calrico de lasraciones, tiempo promedio y mximo para la entrega de un servicio, etc.; en

. El rol del equipo evaluador es identificar con precisin estas hiptesis e

indagar sobre la real existencia de las relaciones causa-efecto en la aplicacindel programa, validarlas s corresponde o rechazarlas. En este ltimo caso elresultado de la evaluacin ser negativo puesto que el equipo evaluador habrdemostrado empricamente que las relaciones causa-efecto supuestas por lagerencia no se han cumplido y, por lo tanto, no se han alcanzado los beneficiosesperados.

De lo anterior se desprende que, en cualquiera de los dos casos, tanto s elresultado de la evaluacin es positivo como negativo, el juicio evaluativo debefundamentarse en la medicin objetiva de los beneficios esperados.

Asimismo, el equipo consultor deber corroborar la causalidad sobre posiblesexternalidades que generen los distintos componentes del programa a evaluar.Se debe definir la hiptesis de causalidad en base a informacin otorgada porel programa en cuestin o por informacin levantada mediante encuestas a losbeneficiarios.

1Por lo general las hiptesis causa-efecto que maneja la gerencia son declaradas o se puede

deducir de los objetivos del programa.


6/31

5

tanto que, la segunda dice relacin con la percepcin que tienen los usuariosrespecto al bien o servicio recibido; por ejemplo: porcentaje de aceptacin delas raciones, grado de satisfaccin de los usuarios, etc.

Resultados Intermedios

Los resultados intermedios corresponden al segundo tipo de resultados que seproduce en una secuencia de tiempo. Se refieren a cambios en elcomportamiento o actitud de los beneficiarios o certificacin o cambio en elestado de stos, una vez que han recibido los bienes y servicios que entrega elprograma. Ejemplos de este tipo de resultados son: porcentaje de jvenes conactitud crtica frente a las drogas despus de participar en talleres desensibilizacin, innovaciones organizacionales despus de un programa decapacitacin, agricultores que estn desarrollando nuevos cultivos despus deacceder a transferencia tecnolgica, alumnos egresados, mediacioneslaborales exitosas, etc.

Resultados Finales

Los resultados finales (impacto) son resultados a nivel de propsito o fin delprograma. Implican un mejoramiento significativo y, en algunos casos,perdurable o sustentable en el tiempo, en alguna de las condiciones ocaractersticas de la poblacin objetivo que se plantearon como esenciales enla definicin del problema que dio origen al programa. Un resultado final sueleexpresarse como un beneficio de mediano y largo plazo obtenido por lapoblacin atendida. En el caso en que la intervencin del programa es unacategora de inversin en capital (fsico, humano o social2), su beneficio nodebera desaparecer, al menos en el corto o mediano plazo, si se deja deejecutar o participar en el programa; por ejemplo: aumento en el nivel deremuneraciones de los jvenes capacitados, aumento en la productividadpromedio de las tierras manejadas y/o aumento en el nivel socio-econmico delas familias en un programa de asistencia tcnica, reduccin de la tasa dereincidencia de jvenes con problemas delictuales, etc3

2 En capital social lo constituyen las instituciones, set de relaciones, actitudes y valores que

determinan las interrelaciones entre las personas, que contribuyen al desarrollo econmico ysocial. El capital social emerge cuando hay valores sociales compartidos que sustentanrelaciones cotidianas, generando sentimientos de identificacin y pertenencia.

.

2.4 La influencia de factores externos.

Los resultados intermedios son eventos, comportamientos y cambios en las

condiciones que ocurren como consecuencia directa de la accin del programay, por esa razn, su logro depende principalmente de factores internos alprograma, debido a que las variables involucradas estn por lo general bajo elcontrol de la gerencia. Lo mismo puede afirmarse respecto de los resultados anivel de producto.

3

Para mayor informacin respecto de la sustentabilidad de los resultados del un programa verdocumento Notas Tcnicas. Evaluacin de Programas. XI. Resultados Finales o Impacto ensitio web de la Direccin de Presupuestos,www.dipres.cl,Control de Gestin, publicaciones.
http://www.dipres.cl/http://www.dipres.cl/http://www.dipres.cl/http://www.dipres.cl/


7/31

6

Los resultados a nivel de productos e intermedios tienen dos ventajas desde elpunto de vista de la gestin del programa: generalmente ocurren antes que losresultados finales y adems son ms visibles y, por consiguiente ms fcil sumedicin y evaluacin. Por lo anterior, los resultados a nivel de productos eintermedios constituyen una importante fuente de retroalimentacin sobre el

desempeo del programa.

Los resultados finales en cambio, estn ms sujetos a la influencia de variablesexternas, es decir, es ms probable encontrar que este tipo de resultadosadems responden a variables que escapan al control de la gerencia delprograma, tales como: comportamiento general de la economa, cambiosculturales, situaciones climticas o medioambientales, situacin de losmercados internos o externos, etc.

No obstante, lo anterior no significa que la influencia de los factores externosno pueda ser considerada en una evaluacin, puesto que existen varias

tcnicas que permiten aislar y medir este tipo de efectos (ver punto 3.3. de estedocumento).

Es importante distinguir sin embargo, entre aquellos factores externos alprograma que realmente estn fuera del control de la gerencia y aquellos quemediante la accin del programa pueden hacerse ms controlables. Porejemplo, el efecto sobre los resultados finales de un programa que pueda tenerla labor de otra agencia o programa pblico, no podra considerarse un factorexterno incontrolable, puesto que bastara generar los mecanismos decoordinacin necesarios con esas instituciones para compatibilizar ocomplementar el efecto sobre los resultados finales.

3. Medicin y evaluacin de Resultados (Eficacia).

3.1 Medicin de los resultados a nivel de producto.

La medicin y evaluacin de los resultados a nivel de producto se lleva a caboprincipalmente mediante tcnicas cuantitativas4. Lo ms comn es el uso deindicadores de gestin o indicadores de desempeo5

4

Aunque las variables involucradas sean de tipo cualitativo. Ver punto 2.1.

, que miden la evolucinde los niveles de produccin y/o de los atributos o caractersticas ms

relevantes de los bienes o servicios entregados por el programa.

La evaluacin de este tipo de resultados debe realizarse a partir de unadefinicin amplia de producto. Lo anterior implica no limitarse a lo netamentefsico o productivo, sino que incluir dentro del concepto de bien o servicio suscaractersticas o atributos ms relevantes, por ejemplo: grado de aceptacinpor parte de los beneficiarios, satisfaccin de los usuarios, oportunidad en laentrega, cobertura de la demanda potencial, grado de focalizacin efectiva, etc.

Para cada uno de los atributos o caractersticas del producto se debe generar

5Para mayor detalle ver Notas Tcnicas Evaluacin de Programas, en sitio web de la Direccin

de Presupuestos,www.dipres.cl,Sistema de Evaluacin y Control de Gestin, publicaciones.


8/31

7

informacin que permita construir los indicadores y evaluar los resultados aeste nivel. Una vez que se cuenta con la base de indicadores existen variasposibilidades de anlisis.

La primera alternativa es comparar el desempeo de la institucin respecto a s

misma.

Una segunda posibilidad es evaluar los resultados en funcin de las metas quese ha planteado el programa. Este tipo de anlisis, debe tener en cuenta que lacalidad de las conclusiones y juicios evaluativos que se puedan realizar,depender directamente de la existencia y pertinencia de dichas metas6

6La pertinencia de las metas se refiere a que stas, para que sean buenos referentes en elproceso de evaluacin, deben ser un fiel reflejo de los objetivos que persigue el programa.

Adems, deben ser exigentes en el sentido de representar mejoramientos significativos en losfactores evaluados y, a la vez, ser lo suficientemente realistas como para que puedan serlogradas con los recursos con que cuenta el programa.

.

Finalmente, se pueden comparar los resultados del programa con estndarestcnicos o de calidad preestablecidos. Por ejemplo, en varias reas delquehacer de los programas pblicos, existen estndares internacionales paraciertos tipos de servicios (estndares de la OPS, normas ISO 9000, etc.). Por

otra parte, un programa pblico puede auto-imponerse estndares de calidaden funcin de las expectativas de sus usuarios o beneficiarios; para este fin,existen mecanismos como la carta ciudadana y otros similares, mediante loscuales el prestador garantiza a sus usuarios ciertos niveles mnimos de calidaden los servicios entregados.

3.2. Medicin de los resultados intermedios.

La medicin de resultados intermedios apunta a evaluar los cambios en elcomportamiento de los beneficiarios que se producen una vez que estos hanutilizado y asimilado los componentes del programa. No mide los beneficiosfinales alcanzados, puesto que stos requieren un perodo de tiempo mayorpara ser logrados (resultados finales), sino que ms bien analiza la adquisicinde ciertas conductas, habilidades o capacidades que presumiblementefacilitarn la generacin de los beneficios de largo plazo.

No todos los programas pblicos deben presentar resultados intermedios. Esprobable que existan iniciativas que, por su naturaleza, solamente exhibanresultados finales y a nivel de productos, por ejemplo los proyectos deinfraestructura vial, las campaas de vacunacin, etc.

En trminos generales, se esperan resultados intermedios en los programasque implican la formacin de algn tipo de capital humano o social, porejemplo: los beneficiarios de una obra de regado estn administrandoadecuadamente las nuevas instalaciones?, los profesores estn utilizandoadecuadamente en sus clases los textos de estudio entregados a losestudiantes?, los beneficiarios de un programa de transferencia tecnolgicaestn aplicando los conocimientos y las tcnicas adquiridas?, etc.


9/31

8

La medicin de los resultados intermedios implica necesariamente indagar, anivel de los beneficiarios efectivos, s se han producido los cambios decomportamiento deseados, por esta razn generalmente se requiere utilizartcnicas de investigacin de campo, tales como encuestas o inspecciones enterreno.

Lo anterior no significa que para la medicin de los resultados intermedios nosea necesaria la construccin de indicadores de desempeo. La diferenciaradica en que en el caso de los resultados a nivel de producto los indicadoressern cuantificados principalmente en base a informacin existente en elprograma, mientras que en caso de los resultados intermedios, en algunoscasos se requerir del uso de instrumentos de recoleccin de informacin queno forman parte del proceso regular de recoleccin de informacin que manejael programa7.

3.3 Medicin de resultados f inales8

De este modo, el impacto del programa corresponde a la diferencia en lavariable resultado (Y) que registra el individuo i con y sin la intervencin delprograma.

.

La medicin de resultados finales o impacto debe establecer en primer lugarcuales son los efectos de mediano y largo plazo sobre la poblacin beneficiariaque espera obtener el programa. Cules son los beneficios con que quedarla poblacin beneficiaria una vez que concluya su participacin en elprograma?, por ejemplo: incremento en el nivel de remuneraciones detrabajadores capacitados, reduccin de la tasa de morbilidad de menoresbeneficiados con un programa de vacunacin, aumento del rendimiento escolarde los alumnos de escuelas participantes en un programa de reforzamientoeducativo, etc. Lo anterior implica identificar y separar los beneficios logradoscomo consecuencia de la intervencin del programa, de aquellos que de todasmaneras hubieran ocurrido sin la ejecucin de ste, por efecto de la evolucinnormal de las condiciones del entorno o la accin de otros programas pblicoso privados.

Para ello, en primer lugar, corresponder identificar la(s) variable(s) que debenser medidas para determinar s el programa ha generado realmente losbeneficios o resultados finales o impacto esperados. Cabe destacar que estamisma metodologa debe ser aplicada para evaluar los resultados intermedios yexternalidades del programa en cuestin.

7Para mayor informacin respecto de la construccin y uso de indicadores de desempeo verdocumento Notas Tcnicas. Evaluacin de Programas. XII. Indicadores de Desempeo ensitio web de la Direccin de Presupuestos,www.dipres.cl,Sistema de Evaluacin y Control deGestin, publicaciones.8 Las metodologas de estimacin de resultados finales aqu descritas pueden ser tambin

vlidas para la estimacin de los resultados intermedios o externalidades de un programa, sicorresponde al tipo de resultados intermedios esperados que permite aplicar estasherramientas.


10/31

9

iY1 = resultado potencial del individuo i con tratamiento (resultado que el

individuo i obtendra si se le expusiera al tratamiento).

iY0 = resultado potencial del individuo i sin tratamiento (resultado que el

individuo i obtendra si no se le expusiera al tratamiento).

i0i1i YY = (1)

Dondei es el impacto del programa (tratamiento) sobre la persona i. Sin

embargo, no es posible observari

Y0 e iY1 para un mismo individuo en un

momento del tiempo, es decir, un individuo i puede presentar slo uno de losdos estados posibles, intervencin en el programa (tratamiento) o nointervencin en el programa. Esto es conocido como el problema fundamental

de identificacin.

Una solucin a este problema sera medir el impacto esperado o promedio delprograma sobre el conjunto de los individuos:

[ ]01 YYE = (2)

Donde es el impacto promedio del programa (Average Treatment Effect

(ATE)), 1Y es el resultado potencial, con posterioridad a la intervencin del

programa, de los individuos que han participado en dicho programa; e 0Y

es la

variable resultado, con posterioridad a la intervencin del programa, de losindividuos que no han participado en el programa, es decir

[ ] [ ] [ ] [ ] [ ] [ ] [ ]}0|1|{0|1|0|1| 000101 ==+====== DYEDYEYYEDYEDYEDYEDYE (3)

Donde, D = 1 si el individuo ha participado en el programa (es decir, recibetratamiento), y D = 0 de lo contrario.

El ltimo trmino de la ecuacin anterior probablemente no ser igual a cerodebido a la existencia de sesgo de seleccin, es decir, la seleccin de

individuos que participan en el programa responde a ciertos criterios defocalizacin u otros. Por ejemplo, en general los beneficiarios de un programade capacitacin poseen ingresos menores antes de la capacitacin queaquellos individuos que no participan del programa. Lo anterior posiblementeimplica que, en ausencia del programa, los ingresos potenciales de losbeneficiarios seran menores a los de los no beneficiarios en el mismo perodo,por lo tanto, en este ejemplo, si se utiliza la diferencia de medias como elimpacto del programa este resultado estara sub estimado.

( [ ] [ ]0|1| 10 == DYEDYE < 0).

Para resolver el problema ocasionado por la existencia de sesgo de seleccin,y por ende, aislar los efectos que sobre la variable resultado (Y) tienen factores


11/31

10

externos al programa, se requiere que la seleccin de individuos beneficiariosdel programa sea independiente de sus resultados potenciales. El cumplimiento

de esta condicin implica que [ ] [ ]0|1| 00 === DYEDYE , y por lo tanto, elresultado promedio o impacto esperado del programa (tratamiento) ser:

[ ] [ ] [ ] [ ]0|1|1|0121 ===== DYEDYEDYYEYYE (4)

Para que se cumpla la condicin de independencia, se requiere que eltratamiento sea asignado aleatoriamente, es decir, que los individuos que sebeneficien del programa sean seleccionados de forma aleatoria, lo cual seconoce como diseo experimental o aleatorio.

3.3.1Diseo experimental o aleatorio

Es considerada la metodologa de evaluacin tcnicamente ms robusta y

consiste en la seleccin aleatoria de los beneficiarios dentro de un grupo deindividuos elegibles, el proceso de asignacin aleatoria de las intervenciones oservicios del programa crea dos grupos estadsticamente idnticos entre s, unoque participa en el programa (grupo de tratamiento, Di = 1) y otro que,cumpliendo todas las condiciones para participar, est fuera de l (grupo decontrol9

La medicin de impacto consiste entonces en cuantificar, una vez transcurridoel tiempo pertinente de intervencin del programa, la(s) variable(s) de impacto,tanto para el grupo de tratamiento como para el grupo de control en ambossimultneamente y para el mismo perodo de tiempo para luego analizar las

diferencias que existen entre ambos.

En trminos operativos, esta medicin se debe hacer sobre muestrasestadsticamente representativas

, Di = 0).

10

Lo anterior implica una gran facilidad para interpretar los resultados de lasevaluaciones, puesto que se puede estimar el impacto de un programamediante una simple diferencia de medias (para la o las variables de resultadorelevantes) entre el grupo de control y el grupo de tratamiento.

de ambos grupos, y calcular el impactopromedio del programa sobre una variable resultado (Y).

La asignacin aleatoria de los beneficios es la principal ventaja de este mtodo,debido a su fortaleza estadstica. En dicho caso, un mecanismo aleatoriodivide a los individuos en dos grupos: un grupo de TRATAMIENTO y un grupode CONTROL. Es este mecanismo al azar es el que permite estimar el efectopromedio.

9Un grupo de control es bsicamente un segmento de no beneficiarios que son parte de la

poblacin objetivo, es decir, un grupo que comparte las caractersticas sociales, econmicas,educacionales, etc. del grupo beneficiario. La nica diferencia entre los individuos del grupo decontrol y los beneficiarios efectivos es su participacin en el programa.10

Para mayor detalle ver Protocolo de Levantamiento de Informacin en Terreno enwww.dipres.cl Sistema de Evaluacin y Control de Gestin, publicaciones. (revisar sicorresponde al nmero del captulo de la ltima versin de Notas Tcnicas)
http://www.dipres.cl/http://www.dipres.cl/http://www.dipres.cl/


12/31

11

= =

=1D 0D

i

0

i

1 i i

Yn

1Y

n

1 (5)

Donde, n1es el nmero de individuos en el grupo tratamiento y n0el nmero deindividuos en el grupo control.

Basados en el teorema del lmite central, se puede mostrar queel anterior esun estimador insesgado y consistente, es decir, asintticamente11

:

(6)

El estimador del efecto promedio del tratamiento tambin puede ser obtenido atravs de la estimacin va Mnimos Cuadrados Ordinarios de la siguienteexpresin:

iii ZY ++= *10 (7)

En efecto:

1 = (8)

La principal desventaja del diseo experimental es de orden prctico y nometodolgico, y se refiere a la viabilidad poltica de excluir de la cobertura deun programa, aleatoriamente, a un grupo de beneficiarios elegibles y, que como

tales, necesitan los servicios del programa. Por lo tanto muchas veces secuestiona la asignacin aleatoria desde el punto de vista pblico en base arazones ticas12

Por ltimo, se debe tener presente que un diseo experimental es una tcnicamuy intensiva en tiempo. La postergacin de los resultados de la evaluacindepender del tiempo que se estime pertinente para que un programaproduzca impactos en la poblacin beneficiaria, lo que en general significa

.

En la prctica, muchos programas entregan los servicios del programa diferidosen el tiempo a distintos grupos de beneficiarios seleccionados aleatoriamente.En este caso el grupo de control es el grupo de beneficiarios que an no haparticipado en el programa y el grupo de tratamiento es el grupo que harecibido los beneficios, siempre y cuando, la diferencia de tiempo en la entregade estos servicios entre ambos grupos sea suficiente para poder medir losresultados finales o de impacto en el momento correspondiente. Este caso se

puede dar cuando hay lista de espera en la postulacin a un beneficio, cuandohay restricciones presupuestarias que establecen la entrada en vigencia deltratamiento de manera gradual en el tiempo y en el contexto de un programapiloto.

11

Para conocer la significancia estadstica se utiliza un simple test t, comnmente usado paraevaluar las diferencias entre dos muestras.12Ver Heckman y Smith (1995) y Burtless (1995) para mayor discusin al respecto.


13/31

12

planificar una evaluacin con varios aos de anticipacin.

Desde el punto de vista metodolgico, los principales problemas asociados aun diseo no experimental provienen de los posibles cambios que puedesufrir el grupo de control o tratamiento durante el perodo de evaluacin.

Por ejemplo: i) algunos de los miembros del grupo de control puedenabandonar el rea geogrfica durante la evaluacin, lo que impedira contarcon informacin de stos sesgando, de esta forma, los resultados, ya que elgrupo de control no ser comparable con el grupo de tratados; ii) los individuosdel grupo de tratamiento no continan con la intervencin, en este caso tanslo se podra evaluar el impacto de una oferta de determinado beneficio, msque de recibir el tratamiento, en caso de hacer esta inferencia, los resultadosestarn sesgados. Ambos problemas se denominan desgaste o atricin de lamuestra y condicionan la validez internade los resultados, es decir, ponen enduda su valor. Lo mismo puede ocurrir si los individuos del grupo de control otratamiento han recibido otro tipo de intervenciones con similares objetivos al

programa a evaluar, durante el perodo de evaluacin que no estn siendocontroladas, lo cual sesgara los resultados y condicionara la validez interna destos.

Otro problema que se puede presentar con esta metodologa es el de validezexterna, que se refiere a la imposibilidad de generalizar los resultados de laevaluacin para la poblacin objetivo en su conjunto. Por ejemplo, cuandolasmuestras no son representativas13

Por lo general la seleccin de los beneficiarios de un programa no es aleatoria,es decir, no es posible tener una aleatorizacin de la asignacin deltratamiento. Por el contrario, su seleccin se basa en la aplicacin de criteriosde elegibilidad y focalizacin que establecen diferencias, tanto observablescomo no observables

, o los programas no son representativos, yasea por un efecto de escala o si el tratamiento difiere de la implementacinplanificada.

3.3.2 Mtodos Cuasi-Experimental

14

13Al plantear un estudio experimental, lo primero que se debe evaluar es si el tamao muestrala considerar permitir detectar el efecto esperado del tratamiento al nivel que se desea obtenerinferencia causal, por ejemplo: a nivel de beneficiarios a nivel nacional, regional por gnero,entre otros.14Las diferencias observables proviene de la aplicacin de los propios criterios de seleccin yfocalizacin aplicados por el programa, puesto que al concentrar las intervenciones sobre lapoblacin que presenta en mayor magnitud el problema o es de ms alto riesgo, se distorsionacualquier comparacin posterior entre los grupos de beneficiarios y no beneficiarios. Lasdiferencias no observables son todas aquellas caractersticas de la poblacin que afectan suparticipacin en el programa, pero para las cuales no se cuenta con informacin (habilidad

individual, voluntad de participar y en general procesos subjetivos y no formales quedeterminan que una persona acceda a los beneficios del programa).

, entre stos (grupo de tratamiento) y los no-beneficiarios (grupo control).

Esto significa que el impacto del programa no podr ser estimado a travs de la


14/31

13

simple diferencia de medias entre la variable resultado del grupo de tratamientoy el grupo control (ecuacin 5), ya que las diferentes caractersticasobservables y no observables de los beneficiarios y no beneficiarios implicar

la existencia de sesgo de seleccin y por ende, [ ] [ ]0|1| 00 == DYEDYE , lamedicin del impacto del programa resultar sesgada. Dependiendo de la

magnitud y el signo del sesgo, se puede llegar a subestimar o sobrestimar elimpacto de un programa. En el extremo, se pueden evaluar positivamente losresultados finales de una intervencin cuando stos son negativos o viceversa.

Inspirados en el modelo experimental, se han desarrollado diversos mtodos,los cuales se denominan mtodos cuasi-experimentales, estos son: i) mtodode experimentos naturales, ii) construccin de grupos artificiales de control vaprocedimientos de matching, iii) identificacin de efectos causales por mediode variables instrumentalesy iv) regression discontinuity design.

Estos permiten controlar por las distintas caractersticas que posee el grupo debeneficiarios del programa (tratamiento) respecto de los no beneficiarios (grupocontrol) que pudiesen afectar el resultado o impacto del programa.

Las diversas alternativas metodolgicas, coinciden en intentar simular lascondiciones de un diseo experimental a partir de bases de datos debeneficiarios y no-beneficiarios y usando avanzadas tcnicas estadsticas. Seaplican una vez que la intervencin del programa ya tuvo lugar, es decir, unavez que ya se seleccionaron los beneficiarios del programa a travs de suspropios criterios sin considerar mtodos aleatorios.

Por esta razn, en un diseo cuasi-experimental los grupos de control ytratamiento no son iguales entre s y, por lo tanto, el corazn de estametodologa de evaluacin consiste en aplicar sofisticados controlesestadsticos para eliminar o minimizar estas diferencias.

Lo anterior implica la construccin de dos escenarios. Un escenario sinprograma o contrafactual y un escenario con programa. La construccin delcontrafactual se logra a travs de un grupo de control formado por individuos,iguales o muy parecidos a los beneficiarios, y cuya nica diferencia con stossea no haber participado en el programa.

De este modo se busca responder lo ms certeramente posible a la pregunta:Cul sera la situacin actual de estos beneficiarios si no hubieran participadoen el programa?, comparando los resultados finales del programa en losbeneficiarios con respecto al grupo de control, de modo de calcular el efectoneto o impacto atribuible al programa, limpio del efectos de otros factoresexternos al programa.

Una condicin necesaria para el desarrollo de un diseo cuasi-experimental, esla existencia de una base de datos (o varias bases que permitan formar unacomn) de beneficiarios y no-beneficiarios, que contenga para ambos gruposinformacin sobre los criterios de elegibilidad del programa (por ejemplo:

condicin socioeconmica, tamao de la familia, escolaridad, ubicacingeogrfica o cualquier otra caracterstica que se haya utilizado para seleccionar


15/31

14

a los beneficiarios) e informacin sobre las variables que permitirn medir losresultados finales o impactos esperados de la intervencin (por ejemplo: nivelde ingresos, condicin laboral, nivel de salud, etc.).

Una vez construidos los grupos control y de tratamiento, y teniendo

observaciones de las variables de resultados y las variables que caracterizan alindividuo y su entorno en dos momentos del tiempo (antes y despus de laintervencin del programa), por lo general se cuantificar el impacto delprograma a travs de la estimacin economtrica del siguiente modelo. Elestimador de Diferencias en Diferencias se puede obtener estimando lasiguiente ecuacin testeando las propiedades de Mnimos Cuadrados

Ordinarios, donde el estimador del parmetro ( ) corresponde al impactodel programa:

ititititiiit XDTDGDTDGY +++++= *)*(321 (9)

Donde,

itY = variable resultado para el individuo i en el perodo t.

iDG = variable igual a 1 si individuo i pertenece al grupo de tratamiento y 0 si

pertenece al grupo control.

iDT= variable igual a 1 si el dato de la variable resultado para el individuo i

pertenece al perodo post-programa y 0 de lo contrario.

itX = conjunto de variables que caracterizan la individuo y su entorno.

it = trmino de error aleatorio

La estimacin de modelo de la ecuacin (6) es lo que se conoce como mtodode doble diferencia

Este es el mtodo tcnicamente ms robusto puesto que elimina el efecto decaractersticas no observables que afectan la seleccin de los beneficiarios (porejemplo habilidad, motivacin, etc) y por lo tanto, es la mejor forma de tratar elsesgo de seleccin, dado que se puede comparar el cambio registrado en elgrupo de tratamiento con el cambio exhibido por el grupo de control. Estopermite eliminar los efectos generados por factores exgenos (efectos deincremento en desempleo, crisis econmica, factores de la naturaleza) en lavariable de resultado, que impactan en igual magnitud al grupo de control ytratamiento en el perodo evaluado

, donde el impacto promedio del programa (ATE) se estimaprimero midiendo el cambio en las variables de resultado experimentado porcada grupo, o ms precisamente por sus muestras, entre la lnea base y laencuesta de seguimiento (primera diferencia), y luego comparando el cambiomostrado por el grupo de beneficiarios con el registrado en el grupo de no-beneficiarios (segunda diferencia).

15

15En un diseo experimental el estimador de diferencias en diferencias, debiese ser similar al

de una diferencia, en el caso de no presentarse ningn problema de validez interna.

. No obstante, es el ms exigente entrminos de informacin puesto que los estudios de lnea de base no son muycomunes y los estudios de seguimiento, por lo general, enfrentan el problema


16/31

15

de que es difcil localizar a los individuos de la muestra original, especialmenteen el caso de los no beneficiarios.

La ventaja de la formulacin anterior es que se puede agregar un vector devariables explicativas que permite controlar por diferencias observables

existente entre el grupo de tratamiento y el de control antes del programa, quean persistan (particularmente relevante cuando el grupo de control no vienede una asignacin aleatoria). Sin embargo, si el coeficiente de la variableinteractiva vara enormemente una vez que se controla por nuevas variablespuede ser indicativo de que se tiene un deficiente grupo de control.

En algunos estudios es imposible poder construir grupos de control de calidad,lo cual ha llevado a los investigadores a proponer un grupo de control adicionalpara verificar los resultados obtenidos, es decir, contar con dos grupos decontrol en la misma estimacin. Esto da lugar a lo que se ha denominadomtodo de diferencias en diferencias en diferencias16

2]]1[]1[[

1]]1[]1[[

8

Et

CYt

CYt

TYt

TY

Et

CYt

CYt

TYt

TY =

(D-D-D). Por ejemplo,

cuando un programa se aplica en una determinada rea (rea 1) y no en otrarea (rea 2), este mtodo (D-D-D) consistira en calcular un estimador dediferencias en diferencias (DD) entre el grupo que obtuvo tratamiento del rea 1y el grupo de control del rea 1 y adicionalmente en utilizar el estimador de DDpara la segunda rea entre el grupo tratamiento, que en realidad no ha recibidotratamiento pero posee las mismas caractersticas observables que el grupo detratamiento del rea 1, y el grupo de control del rea 2 como un segundocontrafactual, es decir, con las mismas caractersticas observables que elgrupo de control del rea 1.

Esta estimacin se obtiene de la siguiente forma:

itietDE

ietDT

ietDG

ietDE

ietDT

ietDE

ietDG

ietDT

ietDG

ietDE

ietDT

ietDG

itY ++++++++= )**(87654321 (10)

8 = ddd

ietDE = 1 si la observacin corresponde al rea E1

0 si la observacin corresponde al rea E2

ietDG = 1 si el individuo pertenece al grupo que recibe tratamiento

0 si el individuo no pertenece al grupo que recibe tratamiento

ietDT = 1 si la observacin corresponde al periodo T despus del tratamiento

0 si la observacin corresponde al periodo T-1 antes del tratamiento

16

Para mayor detalle sobre esta metodologa ver, Gruber, J (1994) The Incidence of MandatedMaternity Benefits, The American Economic Review.


17/31

16

3.3.2.1 Experimentos Naturales.

La metodologa de estimacin de experimentos naturales, es decir, cuando laasignacin del tratamiento est dada por variaciones exgenas producidaspor cambios legales, fenmenos naturales u otras, puede ser obtenida a

partir de una estimacin de diferencias en diferencias con controles talcomo est explicitado en los modelos anteriores.

3.3.2.2 Mtodo de Matching.

Consiste en una construccin de grupos de control mediante procedimientosestadsticos de matching. Esta metodologa corrige las diferenciasobservables entre el grupo de tratamiento (beneficiarios del programa) y elgrupo de control (no beneficiarios), buscando para cada individuo de la muestradel grupo de tratamiento a la unidad muestral ms parecida de la muestra deno beneficiarios, los cuales finalmente conformarn el grupo de control.

El principal supuesto de esta metodologa es que la seleccin se basa enelementos observables. Si este no es el caso los resultados obtenidos a travsde esta metodologa estarn sesgados. El sesgo se origina de la correlacinentre las variables no-observables que afectan la seleccin para el programa yque afectan la variable de inters de la evaluacin. En el caso en que laheterogeneidad no vare en el tiempo, la estimacin en doble diferencia puedeeliminar esta limitacin.

La aplicacin de este mtodo requiere informacin de corte transversal paraambos grupos, que incluya las variables que se util izaron para seleccionar alos participantes del programa, las que deben ser variables de pre-tratamiento, con el fin de garantizar que no han sido afectadas por este, y lasvariables de resultado relevantes. Se necesita por lo general una base de datosamplia como la obtenida de una encuesta de carcter nacional (CASEN, CensoAgropecuario, Encuesta de Ingresos Familiares, etc.).

El ms conocido de estos mtodos es el Propensity Score Matching, queconsiste en modelar estadsticamente la participacin en el programa (variableP en la ecuacin 11) y luego calcular para los individuos de ambas muestras,tanto la de del grupo de tratamiento como la del grupo de comparacin, la

probabilidad de participar en el programa dadas sus caractersticas deelegibilidad (pobreza, educacin, tamao de la familia y cualquier otro criteriode seleccin del programa para el cual se cuente con informacin).

iii XP ++= (11)

Donde:

Pi: es igual a 1 si el individuo i participa en el programa y 0 de lo contrario.Xi: son las variables pre-tratamiento afectan la participacin en el programa.

i : es un trmino de error aleatorio


18/31

17

Al estimar el modelo de la ecuacin 11 mediante una modelo probit o logit, seobtiene para cada individuo de la muestra un score que refleja su probabilidadcondicional de participar en el programa. Luego, se debe verificar que secumpla la condicin de "soporte comn", vale decir, que exista un rango comnpara los p-score de ambos grupos que permita la comparacin. Posteriormente,

para cada uno de los beneficiarios se busca al o los no-beneficiarios con unscore ms cercano, se calculan para ambos el valor esperado de las variablesde resultado (valor esperado de Y) esto se hace mediante las tcnicas dematching existentes: vecino ms cercano, kernel, y metodologa de radios. Unavez obtenido un grupo de comparacin se puede estimar el impacto deltratamiento va Diferencias-en-Diferencias, lo que requerira contar con datosde panel, y si esto no es posible la estimacin se deber hacer slo con unadiferencia.

La principal ventaja de este mtodo es que permite hacer evaluaciones deimpacto una vez que el programa ya est en marcha y usando informacin de

corte transversal (single cross section data), por lo cual, si se cuenta con lainformacin apropiada, se pueden obtener mediciones de impacto en tiemposrelativamente cortos. Metodolgicamente es robusta puesto que permiteeliminar el sesgo causado por las diferencias observables, aunque no solucionael sesgo de seleccin causado por las diferencias no observables, las cualesdebiesen ser controladas para obtener resultados insesgados y consistentes.

3.3.2.3 Mtodo de Variables Instrumentales.

Para abordar el sesgo derivado de las caractersticas no observables, aunhabiendo controlado por todas las caractersticas pre-existentes observablesentre participantes y no participantes consideradas en el proceso de seleccin,es probable que atributos no observados lleven a que el grupo de participantesy no participantes en el programa difieran antes de que se aplique eltratamiento, lo cual llevara a obtener una estimacin del impacto sesgada.Para solucionar este problema generalmente se utilizan variablesinstrumentales (VI).

Este sesgo se deriva de la existencia de factores que afectan la participacinen el programa (Pi) y que el investigador desconoce, por ejemplo disposicin aparticipar en el programa de capacitacin por parte de individuos de mayor

habilidad. En trminos estadsticos lo anterior implica que en la ecuacin:

iiii XDGY +++= *21 (12)

El trmino de error i contiene variables no especificadas en la matriz Xique

afectan la participacin en el programa (Pi).

Para corregir este sesgo se necesita utilizar el valor estimado de P=iP , de

acuerdo a la expresin 11, pero incluyendo una variable Z que determine laparticipacin en el programa (condicin de relevancia), y que no tenga

incidencia en los resultados del mismo. Es decir, una variable que no est en Xy que no est correlacionada con el trmino de error i (condicin de


19/31

18

exogeneidad), esta variable es la denominada variable instrumental.

iDG

Luego el

estimador de este instrumento se reemplaza por en la ecuacin 12 y su

efecto es el que permite obtener un estimador insesgado 2 del impacto del

programa.

iiii XPY +++= *21 (13)

Las ventajas de esta opcin son evidentes, si se cuenta con una buena variableinstrumental - y se aplican paralelamente tcnicas que permitan eliminar elsesgo observable - se puede, a partir de informacin de corte transversal,obtener una estimacin insesgada del impacto de un programa.Lamentablemente, en la prctica, los estudios de impacto por lo generalenfrentan restricciones de informacin para obtener buenos instrumentos.

3.3.2.4Regression-discontinuity17

iii PuntajeDY +++= 21

.

La principal caracterstica que debe presentar un programa para hacer uso deesta metodologa es que se utilice una discontinuidad en la regla de asignacindel tratamiento al grupo de beneficiarios, ya que sta ser utilizada como unaasignacin aleatoria en un vecindario para estimar el impacto del programa.

La intuicin que est detrs de esto es que los individuos que estn justo arribadel corte utilizado para asignar el tratamiento, son muy parecidos a losindividuos que han sido clasificados justo por debajo del corte. Por lo tanto,

para la evaluacin de impacto se compararn los resultados obtenidos entreambos grupos de individuos tratados y no tratados.

Cabe destacar que para poder utilizar esta metodologa de evaluacin debe serposible ordenar a los beneficiarios y no-beneficiarios en base a un ndiceconstruido a partir de variables objetivas y cuantificables.

La principal limitacin de esta metodologa es que entrega un estimador delimpacto del tratamiento que es de carcter local, especficamente para losindividuos que estn en torno a los puntos de corte.

La ecuacin a estimar debe ser:

(14)

Di= 1 si el postulante recibe tratamiento.Di= 0 si el postulante no recibe tratamiento

17Este diseo metodolgico fue introducido en la literatura por Thistlewaite y Campbell (1960).


20/31

19

Si el parmetro 2 es significativo y positivo, personas por debajo del puntaje

de corte presentan un resultado menor que las personas que se ubican porencima (y cerca) de ste, es decir, el programa tuvo un impacto positivo.

En el caso en que el tratamiento dependa tambin de otras variables

endgenas y la discontinuidad est altamente correlacionada con eltratamiento, se debe utilizar el ndice como una Variable Instrumental para laasignacin al tratamiento, ya que al ser una variable endgena los parmetrosestimados sern sesgados e inconsistentes18

Estimacin por variable instrumental

.

19

iii DPD ++= 21

:

Primera etapa:

(15)

DP= 1 si el individuo posee un puntaje mayor que el corte0 si el individuo posee un puntaje menor que el corte

Segunda etapa:

iii PuntajeDY +++= 21 (16)

Finalmente, cabe destacar que independiente del mtodo que se utilice, lavalidez de los resultados obtenidos por medio de herramientas cuantitativasdepender de la calidad de la informacin con que se cuente.

Heterogeneidad en el Impacto de un programa

La generacin de un grupo de control (escenario contrafactual) y de un grupode tratamiento generalmente se utiliza para estimar el impacto promedio sobrela poblacin de beneficiarios, sin embargo tambin pueden ser utilizados para

indagar respecto de la heterogeneidad de efectos causales del programa paradistintos sub-grupos de la muestra.

18Un buen instrumento debe estar correlacionado con la variable endgena, en este caso, la

variable endgena es si el postulante participa o no del programa que ser evaluado (condicinde relevancia, se debe testear mediante mediante el test F (significancia global) del modelo dela primera etapa). Asimismo el instrumento que se seleccione debe ser exgeno, es decir, nodebe estar correlacionado con el trmino de error (condicin de exogeneidad, se debe testearcon Test de sobreindentificacin). Mediante esta forma de estimacin se elimina la correlacinque existe entre la participacin en programa y el trmino de error.19

Un ejemplo de esto se puede encontrar en Efecto del tamao de clases sobre el rendimientoescolar (Angrist y Lavy, 1999).


21/31

20

La estimacin del impacto promedio de un programa pudiese significarpromediar impactos positivos y negativos de sub-grupos de la poblacinbeneficiaria, no permitiendo, en ocasiones, observar impactos de distintosignos para subgrupos de la muestra. Obviar la posible heterogeneidad enresultados impide conocer si existen sub conjuntos de hogares o personas que

pueden estar siendo perjudicados por el programa, cuando el resto de losbeneficiarios goza de los resultados positivos de ste.

Las dos metodologas ms utilizadas para evaluar la posible heterogeneidad deresultados de un programa sobre una poblacin de beneficiarios son el QuantilTreatment Effect (QTE) y el Marginal Treatment Effect (MTE).

Quantil Treatment Effect (QTE):

El QTE para un percentil p se estima como la diferencia sobre la condicin detratamiento entre el percentil p de la distribucin de tratados con el mismo

percentil de aquellos no tratados. Por ejemplo, si se toma la mediana de ladistribucin del grupo tratado y se le resta la mediana de la distribucin delgrupo de control, se tiene el QTE en el percentil 0.5. Los dems QTE para otrospercentiles se estiman anlogamente.

Los QTE son caractersticas de las distribuciones de probabilidades marginales

)(0 yF y )(1 yF . Para la asignacin de tratamiento t, el percentil p de la

distribucint

F est definido como })(:inf{)( pyFyty tp . El efecto causal

para el percentil p es de )0()1( ppp yy = . En trminos intuitivos, la tcnica de

QTE es equivalente a una estimacin ATE para cada uno de los percentiles dela distribucin, pero estimada a travs de una funcin no paramtrica.

Si bien la estimacin del efecto causal QTE es bastante simple, no es posibledecir lo mismo con respecto a la estimacin de la matriz de varianza-covarianza de los parmetros estimados.

Por el hecho de que se estiman efectos causales para pequeos grupos de lamuestra total, el nmero de datos de la estimacin se reduce especialmente enlas colas de la distribucin. Adems, producto de que es posible que hayanefectos con signos diferentes en distintos tramos de la distribucin de la

variable evaluada, tambin es posible que existan cambios en el ranking deindividuos tratados. Esto se traduce en que la estimacin puede estarcomputando resultados de percentiles con caractersticas diferentes entregrupo de control y de tratamiento, independientemente de que las muestrastotales de grupo de control y tratamiento sea estadsticamente comparables20

El mtodo de bootstrap asume que la muestra observada es la poblacional ymediante una iteracin de muestreo aproxima las propiedades de muestras

.Estos dos fenmenos se traducen en la necesidad de estimar errores estndarmediante mtodos de simulacin numrica, tales como bootstrap.

20La asignacin del tratamiento haya sido aleatoria.


22/31

21

pequeas de cada percentil, permitiendo realizar inferencia estadsticaconfiable a travs del uso de intervalos de confianza.

Es importante considerar que el nivel de desagregacin (subgrupos) de losbeneficiarios para la estimacin del efecto causal depender de la cantidad de

datos de la muestra original. Mientras menos datos existan, menor es el gradode heterogeneidad posible de analizar, dado los requisitos mnimos de gradosde libertad necesarios para la obtencin de estimaciones mnimamenteprecisas. En el caso de muestras pequeas, puede que solamente sea posibleestimar por deciles o quintiles.

Marginal Treatment Effect (MTE):

Otra forma de medir la heterogeneidad del efecto causal de un programa esmediante la estimacin Marginal Treatment Effect.

A diferencia del QTE, esta metodologa no estima una funcin para toda ladistribucin sino que estima parmetros para percentiles.

Considerando el modelo de potenciales resultados:

111UXY += , 000 UXY += , DUZD += * ,

siendo las dos primeras especificaciones ecuaciones de resultado en dosposibles estados21, y donde la tercera especificacin es la regla de decisin22

D

U

,el parmetro MTE mide el efecto causal para individuos con un valor dado de

,

),/(),( DDD uUxXEuxMTE ===

)/()(

),/()(0121

0121

DD

DD

uUUUEx

xXuUUUEx

=+=

==+=

La evaluacin del parmetro MTE a valores bajos de Du 23

21Superndice 1 representa el estado tratamiento y 0 representa el estado sin tratamiento.22

entrega el impactopromedio para aquellos con valores de no observables que los hacen poco

)(ZD denota la decisin observable de tratamiento, donde 1)( =ZD denota el estado de

tratamiento y 0)( =ZD denota la situacin sin tratamiento. La variable*

D es una variable

latente que genera )(ZD de acuerdo a la siguiente regla:

]0[1]0)(*[1)( +== DUZZDZD donde DU es el determinante no observable de la

decisin.

23Los valores de

Du son tericos dado que por definicin el trmino de error es no observado

por el investigacin. En la prctica la estimacin marginal se realiza para sub grupos de ladistribucin ordenados segn su probabilidad de participar (equivalente al propensity score). Seasume que el grupo marginal es aquel que est indiferente entre participar y no participar

condicional a suDu , es decir, en el margen se cumple que Zu

D = , donde Z es el


23/31

22

probables de recibir el tratamiento, mientras que la evaluacin del parmetro

MTE a valores altos de Du es la ganancia para aquellos individuos con noobservables que les dan la mayor probabilidad de participar.

3.4. Uso de Instrumentos Cualitativos.

Las herramientas cualitativas en una evaluacin de impacto se utilizanprincipalmente para entender e incorporar la visin de los beneficiarios en laevaluacin, partiendo de la base de que un mismo servicio puede ser valoradode manera distinta dependiendo de la percepcin que de este tengan losbeneficiarios.

Las herramientas cualitativas son ms apropiadas para entender y evaluar losprocesos sociales que rodean la implementacin de un programa (conflictossuscitados en torno al programa, razones por las cuales los beneficiarios no

usan los servicios ofrecidos) o comportamientos organizacionales (cultura,clima organizacional).

Ejemplos de herramientas cualitativas son mtodos tales como la evaluacinparticipativa tcnica en la que se incorpora a los beneficiarios en el diseo, laejecucin y la evaluacin de un programa -, los focus group y las entrevistas ainformantes clave.

Las principales ventajas de las tcnicas cualitativas son su flexibilidad, surapidez en la recoleccin y procesamiento de la informacin y su capacidadpara mejorar las conclusiones de una evaluacin mediante el aporte de unconocimiento ms preciso de las prioridades y las percepciones del usuario.

Sus principales desventajas son la subjetividad envuelta en la recoleccin deinformacin y su carencia de representatividad estadstica, la cual se traduceen una limitacin para generalizar las conclusiones de este tipo de anlisis atoda la poblacin beneficiaria.

3.5. Integrando herramientas cuantitativas y cualitativas en unaevaluacin de impacto.

Del anlisis de las caractersticas de las herramientas cualitativas se deduceque estas, por si solas, no permiten obtener conclusiones sobre los impactosdel programa. No obstante, su integracin con herramientas cuantitativaspuede enriquecer de manera importante los resultados de una evaluacin deimpacto.Una primera manera de integrar estas herramientas en una evaluacin es en laetapa de diseo de los cuestionarios, puesto que un estudio cualitativo, porejemplo un focus group, puede ayudar a precisar las preguntas relevantes.

propensity score del grupo marginal. Para una revisin ms detallada de la metodologa MTEver Heckman, Tobas y Vytlacil 2001.


24/31

23

Una segunda forma de integracin es en la etapa final del estudio, cuando hayresultados del anlisis estadstico que necesitan ser interpretados ochequeados por el investigador. En este caso volver a terreno y llevar a caboentrevistas ms focalizadas a los beneficiarios puede aportar importanteinformacin interpretativa.

4. Medicin de la eficiencia y economa de un programa.

Evaluar la eficiencia de un programa consiste en realizar un juicio tcnicamentevlido acerca de s los recursos que dicho programa tiene a su disposicinestn siendo maximizados: Se est alcanzando el nivel actual de produccinde los componentes al mnimo gasto posible o utilizando la menor cantidad deinsumos posible (fsicos o humanos)?, o alternativamente, Con el presupuestovigente se est logrando el mximo nivel de produccin de los componentes?

Por otra parte, se requiere analizar la economa en el manejo de los recursosdel programa, es decir, la capacidad de la gerencia para administraradecuadamente los recursos presupuestarios, para atraer recursos de otrasfuentes y para abordar una eventual recuperacin de costos del programa, sicorresponde.

4.1 Cuantificacin de los gastos y costos 24relevantes 25.

El primer paso en esta direccin consiste en la identificacin y cuantificacin detodos los gastos y costos relevantes del programa.

a) Costos de Produccin de Componentes

Corresponden a los gastos directamente asociados a la produccin de loscomponentes (bienes y/o servicios) que entrega el programa a sus usuarios obeneficiarios (gasto becas, monto subsidios, precio de raciones alimenticias,remuneraciones del personal que labora directamente en la entrega de losservicios, etc.).

Corresponden a los gastos del programa que tienen unaexpresin monetaria.En este sentido, se solicita calcular el gasto devengado

Costos Financieros

26

24Los trminos costo y gasto se usan indistintamente.

ms los desembolsosno contemplados en la Ley de Presupuestos devengados por otrasinstituciones pblicas, privadas, o los mismos beneficiarios.

25Para mayor informacin respecto de la cuantificacin de costos del programa ver documento

Notas Tcnicas. Evaluacin de Programas. Captulo VII. Conceptualizacin de AntecedentesPresupuestarios y de Gastos, en sitio web de la Direccin de Presupuestos, www.dipres.cl,Sistema de Evaluacin y Control de Gestin, publicaciones; y Anexo Informacin Financiera.26

Gasto devengado corresponde a todas las obligaciones en el momento que se generen,independientemente de que stas hayan sido o no pagadas (Fuente: Normativa del Sistema deContabilidad General de la Nacin - Oficio C.G.R. N 60.820, de 2005).


25/31

24

Se debe tener cuidado en computar todos los costos financieros que afectan elpresupuesto pblico, puesto que en muchos casos parte de los gastos de unprograma no aparecen en su asignacin presupuestaria sino en otros conceptode gasto de la institucin responsable de su administracin27

Lo mismo puede aplicarse respecto de aquellos gastos en que deben incurrirlos beneficiarios para acceder a los bienes y servicios que genera el programa.Por ejemplo, un programa de capacitacin de trabajadores, debiera considerarentre sus costos financieros, el gasto en movilizacin que realizan losbeneficiarios para llegar al lugar donde se imparte la capacitacin

. Ejemplo de estoson programas que son co-ejecutados por ms de una institucin pblica, o en

programas que son administrados por el nivel central pero devengados porinstancias regionales o locales, las que por lo general absorben parte de losgastos de funcionamiento.

28.

Costos no financieros

b) Gastos de Administracin del Programa

Los costos no financieros son gastos que no tienen una expresin monetaria,debido a que no representan desembolsos y por ende no afectan el flujo decaja del programa, tal es el caso de la depreciacin de los vehculos, de lasoficinas y del resto de las instalaciones, y el valor del tiempo que lostrabajadores ocupan en trasladarse al lugar donde se imparte la capacitacin.

Otro ejemplo en este tipo de costos, dice relacin con el costo de oportunidaddel patrimonio fiscal. Por lo general los anlisis de eficiencia que se realizan enel sector pblico no toman en cuenta que los fondos fiscales tienen un costo deoportunidad financiero (la tasa de inters que podran estar ganando si semantuvieran en algn instrumento del mercado de capitales) o que los bienesinmuebles fiscales que se traspasan a particulares tienen un costo alternativo,puesto que podran ser tasados y vendidos como cualquier otro inmueble.

29

Los gastos de administracin de un programa pueden tener un componente fijoy otro variable. Ejemplo de los primeros son las inversiones necesarias para elfuncionamiento del programa: vehculos, oficinas, computadores, mobiliario y,en general, todos aquellos gastos que, en el corto plazo, ocurrirnindependientemente del nivel de produccin de los componentes. Elcomponente variable de los gastos de administracin puede estar asociado a laejecucin de actividades de supervisin (viticos, pasajes), difusin y

Los gastos de administracin de un programa pueden definirse como todosaquellos desembolsos financieros que estn relacionados con la generacin delos servicios de apoyo a la produccin de los componentes del programa.

27Otro concepto de gasto de acuerdo con la clasificacin presupuestaria.

29Para mayor informacin respecto de los costos administrativos del programa ver documento

Notas Tcnicas. Evaluacin de Programas. Captulo VIII. Conceptualizacin de los GastosAdministracin del Programa, en sitio web de la Direccin de Presupuestos, www.dipres.cl,Sistema de Evaluacin y Control de Gestin, publicaciones; y Anexo Informacin Financiera.


26/31

25

promocin, seleccin de beneficiarios y, en general, todos aquellos gastos queaumentan cuando se incrementa el nivel de produccin de los componentes oviceversa.

En general dentro de un programa es ms fcil identificar y calcular los gastos

directamente asociados a la generacin de los componentes. Una maneraprctica de aproximarse a estimar los gastos administrativos consiste en haceruna buena estimacin del costo de produccin de los componentes yconsiderar el gasto administrativo como el complemento del primero (el montoque falta para llegar a los costos totales).

Los gastos administrativos por lo general tienen una expresin financiera, esdecir, se materializan en un desembolso de carcter monetario. Lo importantees tener en cuenta que no necesariamente todos los gastos administrativos deun programa estn incluidos en su presupuesto. Es comn, por ejemplo, queparte de los gastos de administracin se realicen con cargo a clasificaciones

presupuestarias ms amplias y distintas a la del programa. Tambin esfrecuente que se traspase una parte importante de los gastos de administracina las instancias locales y/o regionales, segn la modalidad de ejecucin.

Ante situaciones como las descritas anteriormente, se vuelve necesario realizarestimaciones de los gastos administrativos en base a informacin entregadapor la gerencia del programa. Lo anterior no siempre es fcil de realizar, enocasiones, por ejemplo, el personal administrativo presta apoyo a ms de unprograma de la institucin responsable. En tal caso, una estimacin adecuadadebe apuntar a determinar el porcentaje de la jornada que este personaldestina al programa, y ponderar las remuneraciones respectivas para obteneruna buena aproximacin a los gastos en personal.

c) Externalidades.

La ejecucin de algunos programas genera lo que en trminos econmicos seconoce como externalidades. Estas externalidades pueden ser positivas(beneficios) o negativas (costos), y afectan a personas o grupos que no estninvolucrados en el programa, es decir, al resto de la sociedad. Por ejemplo: unprograma destinado a reducir la prevalencia de una enfermedad contagiosa,representa una externalidad positiva para toda la poblacin, puesto que reduce

el riesgo de contraer la enfermedad; mientras que un programa que fomenta eldesarrollo forestal sobre la base de la plantacin de las especies msrentables, puede implicar una externalidad negativa si es que se traduce enuna reduccin de la superficie de bosque nativo.

Una evaluacin en profundidad debe identificar, y s es del caso incorporar, lasexternalidades negativas ms relevantes en el anlisis de los costos delprograma y las externalidades positivas por el lado de los beneficios.

4.2 Anlis is de eficiencia30

30Para mayor informacin respecto de los costos administrativos del programa ver documento

Notas Tcnicas. Evaluacin de Programas. Captulo IX. Profundizando en el Concepto de

.


27/31

26

Una vez computados todos los gastos relevantes que la informacin disponiblepermita, lo que sigue es relacionarlos con los niveles de produccin de loscomponentes para obtener las medidas de eficiencia.

La eficiencia describe la relacin entre dos magnitudes: la produccin fsica deun producto y los insumos o recursos (humanos, fsicos y monetarios) que seutilizaron para alcanzar ese nivel de producto. En otros trminos, se refiere a silas actividades de un programa se ejecutaron, administraron y organizaron detal manera que se haya incurrido en el menor gasto posible para generar losproductos y/o componentes esperados (asignacin y uso ptimo de recursosde manera de maximizar la entrega de productos y/o componentes).

Para medir eficiencia comnmente se utilizan indicadores que relacionaninsumos con productos/resultados. Las medidas de eficiencia se puedenagrupar en tres categoras:

a) Las que dicen relacin con la productividad fsica y la productividad mediade los distintos tipos de factores (especialmente recursos humanos), y querelacionan el nivel de actividad, expresado como nmero de acciones,beneficios o prestaciones otorgadas, con el nivel de recursos utilizados, porejemplo: consultas diarias por mdico, ndice de ocupacin de camashospitalarias, relacin horas de supervisin por escuela, nmero dedocentes por alumno, promedio de fiscalizaciones por fiscalizador, etc.

b) Las que dicen relacin con los gastos del programa, tales como: gastosmedios por unidad de produccin del bien o servicio que entrega elprograma, gastos medios por beneficiario, gastos medios por componentedel programa, etc.

c) Las que dicen relacin con la estructura de gastos del programa, ejemplo:el porcentaje de gastos administrativos en relacin al gasto total delprograma.

Idealmente, estas medidas deben ser comparadas con algn referentetcnicamente vlido para poder evaluar la eficiencia del programa. Una primeraposibilidad es compararlas con los gastos de bienes, servicios, actividades o

procesos similares a los estudiados, que sean desarrollados por otrasorganizaciones pblicas o privadas. Esta tcnica conocida como benchmarkingimplica conocer muy bien el proceso productivo del programa evaluado o deaquella parte que se quiere comparar, y contar con la informacin de gastosdetallada, as como tambin contar con la informacin de gastos de aquellosidentificados como lderes o con undesempeo aceptable desde el punto devista de la eficiencia de sus procesos31

Eficiencia del Programa, en sitio web de la Direccin de Presupuestos,

.

www.dipres.cl,Sistema

de Evaluacin y Control de Gestin, publicaciones.31Lo anterior debido a que no tiene sentido tomar como punto de referencia a una organizacin

que sea ineficiente o muestre mal desempeo.


28/31

27

Otra alternativa es la de generar estndares de eficiencia internos para losprocesos ms importantes del programa. En este enfoque, se parte de lapremisa de que existe una funcin de produccin para el conjunto o para cadauno de los componentes y, por lo tanto, existe un set de alternativastcnicamente eficientes para generarlos. La idea es identificar las etapas que

sigue la produccin de cada componente, los insumos que se utilizan ycualquier otro aspecto que se considere relevante (identificar la funcin deproduccin), para luego medir y/o estimar el costo que tendran stos procesossi se ejecutaran de manera ptima. El resultado de este trabajo es costoestndar unitario para cada producto (bien o servicio), que puede sercomparado con los gastos devengados que surjan del anlisis.

Considerando las restricciones en la disponibilidad de informacin, tambin esposible evaluar el programa respecto a s mismo analizando el comportamientohistrico de las distintas mediciones de eficiencia desarrolladas e incorporando,adems otros antecedentes que permitan realizar un juicio evaluativo acerca de

la tendencia observada.

4.3 Anlisis de economa.

Evaluar la economa de un programa implica, a partir de una recopilacin yanlisis de informacin financiera, estudiar de manera ms precisa losaspectos relacionados con la formulacin del presupuesto, la programacin yejecucin del gasto y, en general, todo lo relativo al manejo adecuado de losrecursos financieros del programa. Adems, en este punto se deben analizartemas como la capacidad mostrada por la gerencia del programa para obtenerrecursos de otras fuentes de financiamiento especialmente nogubernamentales y la manera en que se ha abordado el tema de larecuperacin de costos del programa, si corresponde a la naturaleza delprograma.

5. Mediciones globales de desempeo32

La ms conocida de estas mediciones de costo-beneficio es el VAN social, querepresenta el valor actual del flujo de beneficios netos de un programa(beneficios valorados menos costos valorados), la principal caracterstica delVAN es que considera en su construccin un concepto amplio de costos (ytambin de beneficios), que es el concepto de costo econmico o social, el cualenvuelve la totalidad de los costos asociados a la ejecucin de un proyecto:

.

Aunque se reconoce que son difciles de construir debido a la gran cantidad deinformacin y anlisis que necesitan, existen algunos instrumentos querelacionan los resultados finales o beneficios de un programa con sus gastos ycostos relevantes y, por lo tanto, constituyen una medida de desempeo global

de un programa.

32Las mediciones globales de desempeo sealadas en este punto, se utilizan por lo general

en la evaluacin ex ante de programas y/o alternativas de intervencin. No obstante, tambin

pueden cumplir un rol muy importante en una evaluacin ex post, como es el caso de laevaluacin en profundidad, puesto que permiten verificar empricamente si se dieron los flujosde beneficios y costos supuestos en el anlisis inicial.


29/31

28

internos y externos, monetarios y no monetarios, valoracin econmica de lasexternalidades, etc. Existen varias herramientas similares o derivadas del VAN,tales como la TIR social o Tasa Interna de Retorno Social y la TIR marginal.

Debido a la dificultad prctica que representan las mediciones de costo

beneficio, se pueden construir otras indicadores que relacionen los beneficiosexpresados en sus propias unidades de medida (jvenes rehabilitados, puntajepromedio del SIMCE, familias que superaron la lnea de pobreza, etc.) con losgastos asociados a generar esos resultados, e indicadores de costo-utilidadque relacionen los gastos con la valoracin que los individuos afectados por laintervencin tienen de los beneficios recibidos33

33

En este caso, por lo general, la valoracin que tienen los usuarios respecto de los beneficiosrecibidos se mide a travs de su disposicin a pagar. Cunto estara dispuesto a pagar Ud.por el beneficio X?.

.


30/31

29

BIBLIOGRAFA.

Angrist, J. D. y Krueger, A. B. (1999). Empirical Strategies in Laboreconomics. Handbook of Labor Economics. Vol. 3. Elsevier Science.

Angrist, J. D., Imbens, G. W., y Rubin, D. B. (1996). Identification of CausalEffects using Instrumental variables. Journal of the American StatisticalAssociation. Vol. 91. pg. 444-472.

Angrist,J.D. y Lavy, V. (1999) Using Maimonides' Rule to Estimate the Effect ofClass Size on Scholastic Achievement. The Quarterly Journal of Economics,Vol. 114, No. 2. (May, 1999), pp. 533-575.

Baker Judy L. (2000). Evaluating the Impact of Development Projects onPoverty. A Handbook for Practitioners.The World Bank. Washington D.C. 2000

Banco Interamericano de Desarrollo. (1997). Evaluacin un herramienta degestin para mejorar el desempeo de los proyectos. Oficina de Evaluacin(EVO), BID, Washington D.C. 1997.

Banco Mundial (1998). Manual para la gestin del gasto pblico. The WorldBank. Washington D.C. 1998.

Bitler, M., Gelbach, J. y Hoynes, H. (2003). What Mean Impacts Miss:Distributional Reform Experiments. NBER Working Paper Series. Workingpaper 10121.

Bravo, D., Contreras, D. y Crespi, G. (2000). Evaluacin de Impacto enFormacin Empresarial. El Caso de FUNDES. FUNDES - Mc Graw HillInteramericana.

Card, D. y Krueger, A. B. (1994). Minimum Wages and Employment: A CaseStudy of the Fast-Food Industry in New Jersey and Pennsylvania. AmericanEconomic Review. Vol. 84. pg. 772-793.

CEPAL (1995). Focalizacin y Pobreza. Cuadernos de la CEPAL N 71.Naciones Unidas.

Gruber, J (1994) The Incidence of Mandated Maternity Benefits, TheAmerican Economic Review. 1994.

Guzmn M. (2001). Evaluacin de Programas e Indicadores de Desempeo.Transparencia y Mejoramiento de los Procedimientos para la Elaboracin yDiscusin Presupuestaria. Direccin de Presupuesto. Noviembre de 2001.www.dipres.cl.

Heckman, J., Ichimura, H. y Todd, P. (1997). Matching as an EconometricEvaluation Estimator: Evidence from Evaluating a Job Training Programme.

Review of Economic Studies. Vol. 64, pg. 605-654.
http://www.dipres.cl/http://www.dipres.cl/http://www.dipres.cl/


31/31

Heckman, J., Tobias, J., Vytlacil, E. (2001). Four Parameters of Interest in theEvaluation of Social Programs. Southern Economic Journal, Vol 68, No. 2(Oct., 2001), 210-223.

Instituto Internacional de Gobernabilidad (2001) Una conceptualizacin del

capital social desde la economa compromisos y efectos colaterales. Coleccinde Reseas. Biblioteca de Ideas.www.gov/igov/pnud/bibliote/resenas/tema5/resena0121.htm.

LaLonde, R. (1986). Evaluating the Econometric Evaluation of trainingPrograms with Experimental Data. American Economic Review. Vol. 66, pg.604-629.

Mackay, K (ed) (1998). Public Sector Performance The Critical Role ofEvaluation. Operations Evaluation Department. The World Bank. WashingtonD.C. 1998.

Marcel, M. (1999). Indicadores de Desempeo como Instrumento deModernizacin en el Estado de Chile. Perspectivas 1999.

Mayne, J. y Zapico-Goi, E. (2000). Seguimiento de los Resultados de laGestin en el Sector Pblico. Perspectivas desde la Experiencia Internacional.Instituto de Estudios Fiscales, Ministerio de Hacienda. Madrid, Espaa.

Mokate, K.M. (2000). Convirtiendo el monstruo en aliado: la evaluacin comoherramienta de la gerencia social. Instituto Interamericano para el DesarrolloSOCAL NDES. Abril del 2000.

Mokate, K. M. (1999). Eficacia, eficiencia, equidad y sostenibilidad: ququeremos decir?. Instituto Interamericano para el Desarrollo SOCAL NDES.1999.

Van der Klaauw, W. (2002) Estimating the Effect of Financial Aid Offers onCollege Enrollment: A Regression Discontinuity Approach. InternationalEconomic Review, Vol. 43, No.4. November 2002
http://www.gov/igov/pnud/bibliote/resenas/tema5/resena0121.htmhttp://www.gov/igov/pnud/bibliote/resenas/tema5/resena0121.htmhttp://www.gov/igov/pnud/bibliote/resenas/tema5/resena0121.htm

Articles-111763 Doc PDF Metodologia

Documents

Transcript of Articles-111763 Doc PDF Metodologia