Subsecretaría de Seguimiento y EvaluaciónDoc

umen

tos

conc

eptu

ales

N˚ 2

MetodologíasDE EVALUACIÓN DE IMPACTO

3

INDICE

RESUMENEJECUTIVO......................................................................................................................................5

I. Introducción.......................................................................................................................................................6

II. Formulacióndelosproblemasenlaevaluación...................................................................................8

III. ¿Cómopodemosestimarlosparámetrosdeimpacto?.......................................................................9IV. Métodosparaconstruirelcontrafáctico...................................................................................................10V. Elementosparatomarencuentaenunaevaluacióndeimpacto..................................................27

VI.Conclusiones......................................................................................................................................................28

Bibliografía...........................................................................................................................................................29

1.Ph.D.enEconomía,ProfesordeEconomíadelaEducación,UniversidaddeAmsterdam,Blasiusstraat34/2,1091CSAmsterdam,+31(0)64254231.

Elaborado por la Subsecretaría de Seguimiento y Evaluación de la Secretaría Nacional dePlanificaciónyDesarrollo,sobrelabasedelinformedelconsultorHesselOosterbeek1

.

4

5

RESUMEN EJECUTIVO

Las instituciones públicas y, en especial, la Subsecretaría de Seguimiento y Evaluación deSENPLADESrequierecontarconherramientasquepermitanrealizarelseguimientoylaevaluacióndeprogramasyproyectosejecutadosporlasdiferentesinstitucionesqueformanpartedelEstado,ydeterminarelcambioenelbuenvivirdelapoblaciónquegeneralainversiónpública.

El impacto de los proyectos o programas puede ser determinado a través de métodosexclusivamentecuantitativos(experimentalesycuasi-experimentales)queexigenconstruirungrupodecontrol,tareaarduaycompleja.Lacomparaciónestadísticaentreelgrupodecontrolyelgrupobeneficiariodelasaccionesdelproyectooprogramapermiteidentificar,cuantificaryevaluarlaconvenienciayeficaciadelainversiónpública.Sinembargo,almomentodeutilizarestametodología,esimportanteconsiderarsuslimitaciones,comoelhechodenotomarencuentaelcontextoenelqueserealizanlasintervenciones,losproblemastécnicosyéticosenlaseleccióndelgrupodecontrolyelelevadocostorequeridoparalaaplicación.

Enestecontextosepresentaelsiguientedocumentoquebuscaproporcionarunaguíapararealizarevaluacionesdeimpacto.Enelcapítulo1sehaceunaintroducciónreferentealametodologíadeevaluacióndeimpacto.Enelcapítulo2,seplantealaformulacióndelosproblemasenlaevaluaciónde impacto,demanera formal.El siguientecapítulo respondea lapregunta:“¿Cómopodemosestimarlosparámetrosparamedirelimpacto?”Enelcapítulo4,sedescribenlosdosgruposdemétodosquepermitendiseñarelcontrafáctico:métodosexperimentalesycuasi-experimentales.Elcapítulo5brindaunadescripcióndeloselementosnecesariosquesedebentomarencuentapararealizarunaevaluacióndeimpacto.Finalmente,sepresentanlasconclusiones.

6

I. Introducción

Laevaluacióndeproyectos,programasy/opolíticaspúblicasseaplicaconlafinalidaddevalorarlautilidadylosbeneficiosgeneradosporlaintervenciónpúblicamediantelaaplicacióndeunaseriedemetodologías,quesonaplicadasconobjetivosdistintosypermitenestablecerconclusionesque buscan mejorar el desempeño de las instituciones; mejorar la eficacia y eficiencia de lasintervenciones;quehayatransparenciaenlaasignaciónyusoderecursos;ydeterminarelimpactoenelbuenvivirdelapoblación.

Laevaluacióndeimpactoesunadeestasmetodologías.Tienepordebilidadelaltocosto,debidoal levantamiento de la línea base y, como principal cuestionamiento, el aspecto ético, por elhechoderequerirungrupodecontrol,conformadoporpersonasdesimilarescaracterísticasalasatendidasporelproyecto,peroquenorecibiránsusbeneficios.Además,llegaaestablecerelimpactofinaldelaintervenciónperonohaceunanálisisdelosfactoresquepermitieronconseguirtalesimpactos.

La principal fortaleza de la metodología es, en cambio, la robustez con la que identifica losimpactosfinalesdeunaintervenciónenlasvariablesdeinterés,queconstituyenelfindelproyecto,programaopolítica.Acontinuación,sedescribelametodología.

Laevaluacióndeimpactomideloscambiosdelbuenvivirgeneradosporunaintervenciónenungrupodebeneficiarios;estoimplicaqueseevalúaelgradoalqueselograncumplirlosobjetivospropuestosenlaintervención.Losimpactosseexpresanatravésdelasvariablesderesultadodelaintervención.Esdecir,evalúalosresultadosdeunprogramaespecíficosobreelgrupobeneficiario,con relación a un grupo de personas de similares características que no reciben el beneficio(contrafactual).

Cualquieranálisisyevaluacióndeprogramasquenoutilizagruposdecomparación(contrafácticos),sehacomprobadoquenoessatisfactorio.

En términos generales, se requiere cumplir con dos objetivos cruciales al momento de evaluarun programa: el primero es lograr aislar el efecto de la intervención, y el segundo es crear uncontrafactualquerespondealapregunta:¿Quéhubierasucedidosinoseintervenía?Porlotanto,presentalasituaciónsinintervencióndelprograma.Deestamanera,selogracompararentreelgrupoquerecibeeltratamientoconelcontrafácticoogrupodecontrol.Existendosmomentosenloscualessepuedeevaluar:

* Ex – ante:setratadesimularlaimplementación:“¿Quépasaríasi…?”

* Ex – post:seevalúaunavezocurridalaintervención.

Laevaluaciónex–postnosignificaquedebaempezardespuésdequeelprogramatermine,ounaveziniciado.Lasevaluacionesex-postqueentreganmejoresresultadossonaquellasquefuerondiseñadasex–ante,porlogeneral,simultáneamenteconelprograma.

Paraevaluarelimpactoserequierendatosdeunoomásindicadoresderesultado.Elindicadorseleccionadodependedeloquesequieramedirydelosobjetivosquesehayapropuestoalcanzaratravésdelaintervención.

7

Por ejemplo, en el caso de un programa que entregue transferencias monetarias a las familiasmáspobrescon lacondicióndequeestas llevenasusniñosyniñasa lasescuelasyacentrosdesaludparacontrolesperiódicos(inversionesenrecursoshumanos),porejemplo,elprogramaPROGRESA en México los indicadores relevantes serían el nivel de pobreza de esos hogares, laescolaridadyelestadodesaluddelosniñosyniñasdeloshogaresbeneficiados(indicadoresqueinterpretanelniveldepobreza).

Asímismo,serequierealgúnmétodoquepermitainferirelgrupodecomparaciónocontrafactual.Estoes intrínsecamentenoobservable,yaquees físicamente imposibleobservaraunamismapersonaendosestadosdelanaturaleza(porunlado,participandoenelprograma,ylamismapersonasinparticiparenelprograma).

Lasevaluacionesexantesellevanacabodedosmaneras:aritméticamenteoestructuralmente.

Aritméticas: Abasedelosdatosrecogidosenla líneadebase,sepodríansimular loscambiosesperados en las variables de interés, así como los efectos en la población beneficiaria. Caberesaltarque,estemétodonoincluyemodelosdecomportamientoynoesmuyconfiable,peronosdaunaideadelosposiblesefectosdelafuturaintervención.

Estructurales: Permiten analizar los cambios en los comportamientos de los hogares, ya queincluyenmodelosyecuacionessimultáneasquesimulandichoscomportamientos.

8

II. Formulación de los problemas en la evaluación2

Elproblemaesencial,comosemencionóanteriormente,esquenoesposibleobservaralamismapersonaendosestadosdelanaturalezaalmismotiempo.

Ladescripciónformaldelproblemaescomosigue:serecolectala informacióndeunindicadorderesultadoYiparacadaunidad ienunamuestradetamañon. Porejemplo:Yipuedeserelingresodelhogarinormalizadoporunalíneadepobrezaespecíficadecadahogar(quereflejelasdiferenciasenlospreciosqueenfrentanencadadiferentelocalidadyeneltamañoycomposicióndecadahogar).Algunasdelasunidadesdelamuestrarecibenelprogramayotrasno;unavariabledicotómicatomaelvalorDi=1paralasunidadesquerecibenelprogramayDi=0paralasquenoloreciben.SedefinelavariableYiTsilaunidadirecibeelprograma(Tseusapor“tratamiento”)yYiC(Cespor“contrafactual”)sielhogarnorecibióelprograma.LagananciaindividualdelprogramaestádadaporGi = YiT + YiC.

Tambiénserecolectainformacióndeunvectordecovariablesparalosresultados(“variablesdecontrol”),Xi,queincluyelaunidadcomounelemento.Elmétodomáscomúnparacontrolarporcovariablesasumequeelresultadoeslinealenelcontroldelosparámetros,dandolosiguiente:

YiT = Xi ßT + µiT (i=1,….n) (0.1)

YiC = Xi ßC + µiC (i=1,….n) (0.2)

SeasumequelostérminosdeerrorsatisfacenE(µi | Xi) = 0.Existendosparámetrosqueseutilizanampliamentequeson“efectopromediodetratamiento”(averagetreatementeffect(ATE)),E(Gi),y“efecto promedio de tratamiento en los tratados” (average treatement effect on the treated(ATET)),E(Gi | Di = 1).ElATEcondicionales:

E(Gi|Xi) = Xi (ßT – ßC) (1)

MientrasqueelATETcondicionadoes:

E(Gi|Xi, Di=1) = Xi (ßT – ßC) + E( µiT – µiC| Xi, Di=1)(2)

Comoestáclaramentereconocidoenlaliteratura,elproblemaesencialesquealestimar(1)y (2),(0.1)y(0.2)nosonestimables,yaquenoesposiblesaberlosresultadosdeunparticipanteenelcontrafactual (YiC cuando Di=1) ni en el resultado contrafactual bajo tratamiento (YiT cuandoDi=0).Paratratarderesolveresteproblema,sesuponequeseestima(0.1)enunasub-muestraparalacualDi=1mientrasque(0.2)seestimaenelrestodelamuestra.Elmodeloestimableesentonces:

YiT = Xi ßT + µiT si Di=1(3.1)

YiC = Xi ßC + µiC si Di=0(3.2)

2.LamayorpartedeltextofuetomadodeMartinRavallion“EvaluatingAnti-PovertyPrograms”

9

Sepuedeestimarunaregresiónsimple(“switching”)paralosresultadosobservablesmedidosenunamuestracolectiva.

Yi = DiYiT + (1-Di)YiC = Xi ßC + Xi(ßT – ßC)Di + εi (i=1,….n)(4)

endondeeltérminodeerrores:

εi = Di(µiT – µiC) + µiC(5)

LosimpactosentoncesvanaestarreflejadosenloscoeficientesdeDienlaecuación (4).Existeuncasoespecialqueesmuyutilizadoenlapráctica;consisteenlaespecificacióndel“efectocomún”,enelquetodos,exceptolosinterceptosylosvectoresdelosparámetrosßCyßT,seasumenquenovaríanconeltratamientoyporlotantoserefierenalasecuaciones (0.1)y (0.2).(Generalmente,estesupuestoesimpuestosinningunajustificaciónobvia,másalládelhechodequeunopuedeinmediatamente ver el impacto promedio del resultado de una regresión estándar). Entonceslaecuación (4)terminasiendounaregresiónderesultadosdeparticipaciónydelasvariablesdecontrol:

Yi = (ßT – ßC)Di + XißC + εi (6)

endonde ß0T–ß0Csonlosinterceptosdelasecuaciones(0.1)y(0.2).

III. ¿Cómo estimar los parámetros para medir el impacto?

El método de mínimos cuadrados ordinarios (MCO) que se aplica a las ecuaciones (3.1) y (3.2),daestimadoresconsistentesdelosparámetrosdeimpactoenlaecuación(1) sinoexistesesgodeselecciónenX,esdecirqueE(µiT – µiC| Xi, Di=1) = 0;oequivalentemente,quelosresultadosdelamediacondicionalnodependandeltratamiento,E(YiC|Xi,Di=1) = E(YiC|Xi,Di=0).Entoncessedicequelaubicacióndelprograma–laasignaciónalasunidadesde (3.1)y(3.2)–esexógena.Unrequerimientoquizásmásestrictoesquelosresultadossonindependientesdeltratamientocondicional en X. A esto se denomina“exogeneidad” en la literatura. En este caso, el términode error que se define en la ecuación (5) desaparece en las expectativas dados los regresores,asegurándose de que los MCO den estimadores consistentes bajo las condiciones estándares.TambiénATEyATETsevuelvenidénticos.Elsesgodeunaintervenciónvienedadoporlasiguientediferencia:E(YiC|Xi,Di=1) – E(YiC|Xi,Di=0),talqueladiferenciadelamediadelosresultadosentrelosparticipantesynoparticipantesestédadaporlasiguienteidentidad:

E(YiT|Xi,Di=1) = E(YiC|Xi,Di=0) = ATET + SESGO

dondeATET= E(YiT|Xi,Di=1) = E(YiC|Xi,Di=1)

Unamaneraparaasegurarexogeneidadesaleatorizar laentregadelbeneficio,estemétodosedenominaevaluaciónexperimental.Encontraste,enunaevaluaciónno-experimental (tambiénllamada “estudio de observación” o “cuasi-experimental”) el programa es colocado con unpropósitoofin(osea,noaleatorio).Estoocurrecomúnmenteenestudiosdepobreza,yaqueselocolocaconrelaciónalascaracterísticasobservables,porejemplo,elnúmerodedependientesenunhogarenáreaspobres.Además,puedeexistirunaselecciónporpartedelosparticipantes,comoelhechoquealgunosdecidennoparticiparapesardequesonelegibles,demaneraqueelprocesodetipoauto-orientadocaracterizaalosprogramasantipobreza.

10

IV. Métodos para construir el contrafáctico

Existendostiposdediseñosdeevaluacionesdeimpacto:1.MétodosExperimentales;2.MétodosCuasi–experimentales.

4.1 Métodos Experimentales

Uno de los métodos experimentales es la aleotrización por doble diferencia o “diferencia endiferencias”,queseconsideraelmásexactoymásseguro.

4.1.1 Métodos de Doble Diferencia o “diferencias en diferencias”En primer lugar, se debe aleatoriamente sortear quién recibe el tratamiento y quién no, deuna forma balanceada. En segunda instancia, se debe levantar la línea de base previa a laintervención.Eneltiempo0(inicial),esdecir,elmomentoprevioalaintervención,seesperaríaquelascaracterísticasdelosbeneficiarios(grupodetratamiento)ylosnobeneficiarios(grupodecontrol)seaniguales,dichodeotramaneraque:YT0 = YC0.Entercerlugarvienelaintervención,sedebeasegurarqueéstaocurraDESPUÉSdelatomadelalíneadebase.Finalmente,seesperauntiempo,quedependerádelalógicadelprograma,yserealizalasiguientetomadedatos(líneadeseguimiento).EnestasegundatomaseesperaqueexistayaunadiferenciaentreYT1 ≠ YC1.Siexistieraunadiferencia,sedicequeexisteunimpactoenelgrupodetratamientodebidoalaintervención.

Existendossupuestosbásicosparaelestimadordedoblediferencia:

i)Elsesgoporselecciónesseparableynovaríaeneltiempo,detalmaneraquedesaparecealtomarlasdiferenciasatravésdeltiempo.

ii)Losresultadosenelperíodoinicialnosoncontaminadosporlasexpectativasquesegeneranporlafuturaimplementacióndelprograma.

Bajoestossupuestos,elestimadordedoblediferenciaselopuedeconceptualizarcomoelimpactodeladiferenciasimpledelsegundoperíodomenosladiferenciasimpledelalíneadebase3.

Ladiferenciaendiferenciarequieredeunacomparaciónentreelgrupodetratamientoycontrolantesdelprogramayunasegundadiferenciaentreelgrupodetratamientoycontroldespuésdelprograma,detalmaneraque:

YT1 YC1- -

YT0 YC0______________

YT - YC Impacto irrebatible

• YT1 – YT0 = YT• YC1 – YC0 = YC

• YT – YC = Efecto

Eldiseñodediferenciasendiferenciasesmuyútilparasolucionarposiblessesgosenunexperimentosocialdondeexistealgúntipodecumplimientoselectivouotradistorsiónalmomentoderealizarlaasignaciónaleatoria.Estametodologíaeslamásrobusta,exacta,confiableysegurayaquenopresentasesgo.

3.ExisteunejemplointeresanterealizadoenIndonesiaporDulfo(2001)queestimaelimpactoenlaescolaridadyenelingresoalconstruirescuelas.

11

Porotraparte,sesueleconsiderarunproblemaéticoelbeneficiaraungrupoconunaintervenciónyaotrono,yaque,muchasveces,éstaafectadeformadeterminantelacalidaddevida,inclusivelamismavidadelaspersonas,comoeselcasodelosprogramasqueayudanaladisminuciónoerradicaciónde ladesnutrición infantil. Sinembargo,enalgunoscasossepuedeacumular losbeneficios,yrecibirlosjuntosenmomentosposterioresalarealizacióndelaevaluacióndeimpacto;estoesfactibleconprogramasqueimplicantransferenciasdedineroynoconprogramascomoelmencionadoanteriormente. Además,lametodologíadescritaanteriormentepuedetambiéntraerproblemaspolíticos.Estetipodeanálisisenmuchoscasosresultamuycostosoy,además,puedendarsecasosdecontaminaciónporlaposibilidaddemovilización.

4.1.2 Método de diferencias en órdenes más altos: seguimiento de ex – participantes4

Enmuchoscasosnoesposibleconseguirinformaciónantesdelaintervenciónoinformacióndelíneadebase.Envariasocasiones,porrequerimientosurgentes,noesposibleretrasarlaoperaciónhastalograrobtenerunatomaenlalíneadebase.Apesardeestosproblemas,aúnsinlevantarla líneadebasesepuedeidentificarel impacto,observandolosresultadosdelosparticipantesenlaausenciadelprogramadespuésdelaintervención,enlugardehacerloantes.Unavezqueserealizaladiferenciaendiferencias,sedebeconsiderarque,enestecaso,elprogramayaestáoperativoenelperíodo1.Elalcancedelametodologíadeidentificaciónsurgedelhechodequealgunosparticipantesenelperíodo1sesalendelprograma,porlotanto,existeunestimadorqueesladiferenciaentrelasdoblesdiferenciasentrelosquesequedanylosqueseretiran.

DDD=[E(G2|D2=1,D1=1)–E(G2|D2=0.d1=1)]-[E(G1|D2=1,D1=1)– E(G1|D2=0,D1=1)]Laprimeraparteeslaganancianetadecontinuarparticipandoenelprograma,queestádadaporladiferenciaentrelagananciadeparticiparenelperiodo2ylagananciadequienesdejaronelprograma.Siúnicamenteinteresanlasgananciasmarginalesdelaparticipación,sedebetomarencuentalaprimerapartedelaecuación;laselecciónparaentraralprogramaenelinicionoesunproblema.Sedebeconsiderarqueexistenalgunasgananciasparalosquedejanelprograma,yaqueE(G2|D2=0, D1=1) ≠ 0.Sepuedepensar,porejemplo,quequizáslosparticipantesaprendieronalgoduranteesetiempo.Lasegundapartedeltérminoserefierealsesgoporselecciónquesurgedelefectodelasgananciasenelperíodo1ydelaparticipaciónenelperíodo2.

La triple diferencia identifica las ganancias de los participantes en el periodo 2, o seaE(G2|D2=1,D1=1),sicumpleconlassiguientescondiciones:

i)Nohaysesgodeselecciónencuantoaquiéndejaelprograma.ii)Nohaygananciasenlosnoparticipantes.

Untercercuestionariopermiterealizarunapruebadequeestasdoscondicionessemantengan.

4.1.3 Evaluación de programas “antipobreza”

Existendostiposdeproblemasqueconfundenlosesfuerzosparaidentificarunimpacto.Elprimeroeselsesgoporselección,quepuedesurgirdevariablesobservablesodevariablesnoobservables.Elsegundoeslaexistenciadeefectosquesedesbordanhaciaotrasvariables(efectos“spillover”),queconfundenlosefectosquepuedenatribuirsealosimpactosdelprogramaasusparticipantesdirectos.

4.EltextosetomóprincipalmentedeldocumentodeMartinRavallion:“EvaluatingAnti-PovertyPrograms”.DevelopmentResearchGroup,WorldBank.WPS3625,Junio2005.

12

4.1.4 Selección de observables

Lasecuaciones(3)y (4) tratanconlaseleccióndeobservablesdeunamaneraespecial,enelsentidodeque loscontrolesentranenuna forma linealcon respectoa losparámetros. Estesupuestoadhocesdifícilmentejustificableporotroargumento,exceptoconvenienciacomputacional.Enevaluacionescuasi-experimentalesdeprogramasantipobreza,esdifícilasegurarquelasvariablesobservablesesténbalanceadasentrelosdossetsdeobservaciones.

Paraentenderesteproblema,sepuedesuponerquelacolocaciónestádeterminadapor“proxy-mean test”, lo cual es comúnmente usado en países subdesarrollados para definir a quién darlos beneficios del programa antipobreza. Esto asigna una calificación a todos los potencialesparticipantesenfuncióndevariablesocaracterísticasobservablescomo,porejemplo,elcasodeEcuador,queutilizaelíndiceSelbenparadefiniraquienbeneficiar.Enciertoscasos,sedeterminaalosbeneficiarosdelprogramasolamentesiseencuentranpordebajooporencimadeestosíndicesonivelescríticos,determinadossegúnelpresupuestodisponible. Conun100%deaceptación,no existen intervalos de la calificación para que se puedan observar tanto participantes comonoparticipantesenunamuestradecualquiertamaño.Esteejemploseconocecomo“fracasoenapoyocomún”enlaliteraturadeevaluación.

Como se mencionó anteriormente, el problema es esencialmente sencillo: ¿cómo se infiere elcontrafactualparalosparticipantesconrelaciónanoparticipantes,quienesnotienenlasmismascaracterísticasencomún,comoestásintetizadoenelpuntajedeltestdemediasproxy?Sisequiereinferirunimpactopromedioparaaquellosquerecibenelprograma,entoncessedebedarmuchaimportanciaalavalidezdeldiseñodecualquiergrupodecomparación.Afortunadamente,enlapráctica,existesiempreungradodeáreasgrisesenlaaplicacióndecualquiertest proxyyexistecobertura incompleta de quienes incluso pasan esta prueba. Además, no se necesita conocerel impactodetodoelgrupodetratamiento. Porejemplo,puedeexistirunapolíticaquedeseeincrementarelpresupuestovariandoelpuntajedel índiceque determina quién recibe onoelprograma,enestecasosepuedenenfocarlosimpactosalrededordeestepuntaje,estosellamahacerundiseñodediscontinuidad.

Se tendría que truncar la muestra de no participantes para asegurar la validez del grupo decomparación,masalládelaineficienciaalrecolectarlainformacióninnecesaria,estoengeneralnoesunapreocupación.Máspreocupanteesqueunasubmuestranoaleatoriadeparticipantestendría que ser descartada por falta de suficiencia similar de los comparativos. Esto señalaun intercambio entre dos fuentes de sesgo. Por un lado, se tiene la necesidad de asegurarcomparabilidadentérminosdecaracterísticasiniciales.Y,porotrolado,secreaunposiblesesgomuestralporinferenciassobreelimpacto,hastaelpuntoenquesetienenquedescartarunidadesdetratamientoparaobtenercomparabilidad.

4.1.5 Resolver el sesgo por selección

Una preocupación común en evaluaciones cuasi-experimentales es si el proceso de selecciónparalaevaluacióndeunprogramasecapturaadecuadamenteporlasvariablesdecontrolX.Estapreocupación no se puede separar del problema de la colocación no aleatoria condicionada aobservables.Nosepuedejuzgarsilaendogeneidaddelacolocaciónesunsupuestoplausiblesinprimeroestablecersiserealizóadecuadamentelaheterogeneidaddelasobservables.

13

Porejemplo,pensemosenelcasoenelquesedecidaidentificarlosdeterminantesdeparticipaciónenelmercadolaboralconrelaciónalsueldodemujeresquetrabajanenelmercadolaboral.Loque se quiere es interpretar o llegar a conclusiones sobre los determinantes de los salarios detodaslasmujeres.Ladiferenciaentretrabajadoresynotrabajadoresdeterminasiexistesesgoporselección.Sisesuponequeseescogeunasubmuestraaleatoriadelapoblación,ylasubmuestratiene atributos similares a los del grupo de los que no trabajan, no existe ninguna razón parasuponerquehayunsesgoporselecciónalexaminarúnicamentelasmujeresqueestántrabajando.Esoesporquealrealizarunaselecciónaleatoria, lascaracterísticas(tantoobservablescomonoobservables)de lamuestradetrabajadorascapturanunpocodetodas lascaracterísticasde lapoblación.Suponiendoquenohubounaselecciónaleatoriay,enconsecuencia,hayunpotencialriesgodequeseandistintaslascaracterísticasdelastrabajadorasynotrabajadoras,elsesgoporseleccióndelamuestraocurrecuandoalgúncomponentedeladecisióndetrabajaresrelevantealprocesodedeterminacióndesalarios.Enotraspalabras,cuandoalgunodelosdeterminantesdeladecisióndetrabajarestainfluyendotambiénenelsalario.Cuandolarelaciónentreladecisióndetrabajaryelsueldoespuramenteatravésdevariablesobservables,sepuedecontrolarestoalincluirlasvariablesapropiadasenlaecuacióndelsalario.Porlotanto,nosurgirásesgoporselecciónenelcasodequeexistansolodiferenciasobservables.

Sienlugardepensarenvariablesobservables,seconsideranvariablesnoobservablesqueafectenladecisióndetrabajar,estasvariablesestáncorrelacionadasconlascaracterísticasnoobservablesqueafectanelsalarioy,porlotanto,crearánunarelaciónentreladecisióndetrabajaryelprocesoque determina los salarios. Entonces, controlar solo por variables observables no es suficiente.Si las características no observables están correlacionadas con las observables, al no incluir unestimadodeestasvariablesnoobservablessegeneraunsesgoquesurgeporlaselección5.

Como se dijo anteriormente, al igual que muchos programas públicos, la participación enintervencionesdirectasquecombatenlapobrezacasinuncaesaleatoria. Esteesunproblemasiexistenalgunasvariablesqueconjuntamenteinfluyenenlosresultados,ylacolocacióndelosprogramasnoesobservableparaelevaluador.Enestecaso,nosepuedeatribuiralprogramalasdiferenciasobservablesdelosresultadosmedidosentrelasunidadesquerecibenelprogramaylasqueno(condicionadasporlasvariablesdecontrolX).Lasdiferenciasenmediascondicionadasque se observan en los datos podrían ser el resultado del hecho de que los participantes delprogramafueronseleccionadosapropósitoporunprocesoquenoesposibleobservardeltodo.Cuandolaaceptaciónalprogramaestáenlasmanosdelindividuo,tienequeexistirunapresunciónrazonabledequelaseleccióndelprogramadependedelasgananciasqueestelebrinde.

En términos de la formulación clásica del problema de la evaluación mencionada, se puedesuponerquelosparticipantestienenatributoslatentesquerindenresultadosmásaltosquelosnoparticipantes(paraunadelasvariables X).Entonces,eltérminodeerrorenlaecuación(3.1)estaríacentradoenelladoderecho,relacionadoconlosnoparticipantes(3.2).Eltérminodeerrorenlaecuación(4)nopuededesaparecerenexpectativayelMCOnosdaráestimadoressesgadoseinconsistentes.Sedeberecordarqueelsesgoenlamediadelestimadordeimpactocondicionales la diferencia en las medias contrafactuales, E(YiT|Xi,Di=1) = E(YiC|Xi,Di=0). Nuevamente sedebeenfatizarqueelgradodepreocupacióndeestaformadesesgodeselecciónenlaprácticanopuedesepararsedelapreguntaanteriorsobrecuánbiensecontrolalaheterogeneidadobservable.

Existenejemplosqueseenfocanasesgosenestimadoresdeimpactonoexperimentalesenciertos

5.ParaunmayordetalledelaseccióndesesgoporselecciónpropuestaporJamesHeckman(1979)referirsealpaperdeFrancisVella:“EstimatingMo-delswithsimpleSelectionBias:ASurvey”.TheJournalofHumanResources,Vol.33,No.1(1998dedondesetomópartedeltextoademásdeRavallion,Martinensupaper,“EvaluatingAnti-PovertyPrograms”

14

casos específicos. En algunos estudios se han encontrado grandes sesgos en métodos cuasi -experimentalescuandosecomparanamétodosdeevaluaciónaleatorizados.Noobstante,nosepuedenrechazarlosmétodoscuasi-experimentalesenalgunasaplicacionesdeciertosestudios;loimportanteesmejorarlosdatosylametodologíaquesenecesitanparaconocersilosprogramassirven y cumplen sus objetivos. Sin embargo, algunos de los métodos cuasi-experimentalesmáscomunes–comocomparacionesdecortetransversaldeparticipantesynoparticipantesocomparacionesreflexivasdelosresultadosdelosparticipantesalolargodeltiempo–puedendarresultadosseveramentesesgadoscuandolainformacióndisponibledacontrolesinadecuadosdeheterogeneidad.

Existenvariasformasparacorregiresteproblema,sinembargo,lasmetodologíasmáscomunessondos.Laprimeraconsisteenelmétododemáximaverosimilitudporelsupuestodeladistribuciónde los errores. La segunda se caracteriza por un procedimiento en dos etapas que elimina elsupuestodeque loserroresnosoncero.Elusode lametodologíademáximaverosimilitudespococomún,por loqueúnicamentesedefinelaestimaciónendosetapasenparticulardeunmodeloparametrizado.

Elmodelodesesgoporseleccióntienelasiguienteforma:

i) Yi*=Xi’ß+ εi i=1….Nii) di* = Zi’Υ + vi i=1,….Niii) di=1 si di*>0ydi=0sinoloesiv) Yi = Yi* * di

dondeYi*eslavariablelatenteendógenaconsuparteobservableYi;di*eslavariablelatenteconlafunción di.Lasecuacionesiii)y iv)reflejansilavariabledependienteprincipalesobservableysilasrelacionesentrediydi*y YiyYi*respectivamente,XiyZi,sonvectoresexógenosdevariablesdecontrol.

Laecuacióndeinteréssobrelasubmuestranquecorrespondenadi=1

v) Yi =Xi’ß + εi i=1….N

SedeberecordarquelaestimacióndeMCOdaestimacionessesgadasdeßporqueE[εi|Zi, di=1]≠0.LaestrategiaentoncespropuestaporHeckman(1976,1979)estratardecorregirestomediantela inclusión de un término de corrección que toma en cuenta E[εi|Zi, di=1]. Para emplear estemétodo,sedebetomarlaexpectativacondicionaldelaecuación

v)E[Yi|Zi, di=1] = Xi’ß + E[εi|Zi, di=1]; i=1….N

Usandoelsupuestoi)ylafórmuladelaexpectativacondicionaldeunavariablealeatoriatruncada,seveque:

E[εi|Zi, di=1] = σεv φ(Zi’Υ)σv2 Ф (Zi’Υ)

endondeФ() yφ()sonlasfuncionesdedistribuciónacumuladay ladensidaddeprobabilidadde la distribución normal estandarizada. El término entre corchetes se conoce como la razóninversadeMills(elinversodeMillsratio).SeutilizaelmodeloprobitparaestimarlosparámetrosdesconocidosΥy σ.EnlaprimeraetapaseestimaΥsobreeltotaldelasNobservacionesporelmétododemáximoverosimilitud(conprobit)yluegoseconstruyeelestimadodelarazóninversadeMills.SeestimanconsistentementelosparámetrosutilizandoelMCOdelasnobservaciones

{}

15

quereportanvaloresparaYieincluyenlarazóninversadeMills,enestecasoλi,comounregresoradicionalenlaecuaciónv):

vi) Yi =Xi’ß + µλi + ŋi i=1….N

ConMCOseobtienenestimadoresconsistentesdeß yde µ ,estoseconocecomoelestimadordelafusióndecontrol.

EsimportanteincluirvariablesadicionalesenelvectorZenlaprimeraetapaparaidentificarlosestimadoresdelasegundaetapa.4.1.6 Desbordamientos (Spillovers) en no participantes6 Eliminarelsesgoporselecciónnoaseguraquelosimpactossepuedenidentificar.Laformulaciónclásica del problema de evaluación asume que solamente el tratamiento en la unidad i puedeafectar los resultados en esa unidad. Luego se asume que se puede observar al grupo de noparticipantes(control)yqueestosnohansidoafectadosenningúnsentidoporelprogramaencuestión. Esto se puede hacer una vez que el programa esté operando (generando un diseñode diferencia simple) o se puede hacer para los participantes antes del programa (dando unacomparación reflexiva). Cuando se hacen ambas cosas, se está utilizando un método de doblediferencia. Bajoesascondiciones, se infieren impactosalcompararaaquellosquehandejadoelprogramaconquienessehanmantenido.Sinembargo,entodosestoscasosseasumequesepuedeobservarelestadodelosnoparticipantesdeunamaneranocontaminadaporelprograma.

Estesupuestopuedeserproblemáticoalrealizarevaluacionesdeimpactodeprogramasanti–pobreza.Porejemplo,seevalúaunprogramadondeelGobiernosecomprometeadartrabajoa quien desee trabajar, por un sueldo estipulado, de manera universal, es decir, se entrega elbeneficio a todo aquel que lo desee. Todos los participantes en el programa, obtienen comobeneficioelsueldo,elmismoqueseconsiderabajoenuncontextoespecífico.Launiversalidaddeaccesosignificaquebajoesteesquemasepuedebrindarunseguroefectivoparacombatirel riesgo. El que una persona requiera un trabajo cuya remuneración es baja, podría pensarseautomáticamentecomounprogramaqueestádirigidoalaspersonasmáspobres.

Entonces,estetipodeprogramasdirigidosaciertosgrupospoblacionalestendríanbiendefinidosquiénessonlosparticipantesyquiénesno.Enunprimermomento,puedeparecerapropiadoelrecolectarlainformacióndelosdosgruposycompararlosindicadoresderesultadodeestoscomounamaneradeidentificarelimpacto(posiblementedespuésdecorregircualquierheterogeneidadobservada).Sinembargo,eldiseñodeevaluaciónclásicapuededarun resultadoseveramentesesgado.Lasgananciasdedichoprogramaseesparcenenelmercadolaboralprivadoeignoranelefectodedesbordamiento(spillover)queestotieneyporlotantosubestimanlosbeneficios.Ciertamente,silagarantíadeempleoesefectiva,entonceselesquemaestableceráunumbralmásbajoparatodaladistribucióndesalarios,yaqueningúntrabajadoraceptaráunempleoquenoseaeldelprogramaaunsueldomenorqueeldelprogramayaquesiemprepuedeunirseaeste.Inclusosiseescogeungrupodecomparaciónperfectodenoparticipantes,sepuedeconcluirque el esquema no tiene impacto, ya que los salarios son los mismos para participantes y noparticipantes,yestonocapturaríalasventajasdelprogramaenloabsoluto.

Losefectosdespilloverspuedensurgirtambiénporintervencióndelgobierno.Generalmente,noesmuyclarosilosrecursosquesetransfierenalosparticipantesrealmentefinancianalproyecto

6.LamayorpartedeltextofuetomadodeMartinRavallion“EvaluatingAnti-PovertyPrograms”endondeseencuentraunadescripciónenmayordetallesobrespilloversennoparticipantes.

16

identificado.Hastaciertogrado,todalaayudaexternapuedeserintercambiable.Sepuedeverificarmediantesupervisiónqueelsubproyectopropuestofueenefectocompletado,peronosepuededescartarlaposibilidaddequenolofue.Participantesylídereslocalesnaturalmentetrataríandellevaracabolamejoropcióndedesarrolloqueconsideren,apesardequeseaalgoquepensabanhacerdetodasmanerasconlosrecursosdisponibles.Entoncesexisteotrogastoqueenrealidadestasiendofinanciadoporestaayuda.Deigualmanera,nohayquedescartarlaposibilidaddequelocalidadesquenoparticipen,seanbeneficiadasporunareasignacióndegastopúblicorealizadaporautoridadeslocales,detalmaneraquedisminuyanelimpactodeparticiparenelprograma.

Los efectos de los desbordamientos (spillovers) pueden subestimar los impactos reales delprograma. Sin embargo, el sesgo también puede orientarse en la otra dirección; por ejemplo,sielGobiernodeseademostrarelimpactodeunproyectoantipobrezaydecideañadirmayoresrecursosexternosenfocadosenlocalidadesdondeestáelproyecto.Ladiferenciaderesultadosdelosparticipantesydelgrupodecontrolestaríasobredimensionandoelimpactodelaayudaexterna.

4.1.7 Información necesaria7

Está claro que la información inadecuada e imperfecta yace en el centro del problema de laevaluación. Cuando se realiza una evaluación de impacto, es importante conocer la mayorcantidaddedetallestantoadministrativoscomoinstitucionalessobreelprograma;informaciónqueprovienede lamismaadministracióndelprograma. Paraevaluacionesnoexperimentales,estainformaciónesclaveparadiseñaruncuestionarioquerecolectelainformacióncorrectaparacontrolarelprocesodeselección.Elconocimientodelcontextodelprogramaylascaracterísticasdeldiseñopuedenayudarparamanejarlaselecciónencuantoalascaracterísticasnoobservables,La elaboración de evaluaciones cuasi experimentales para programas antipobreza puedendemandargrandesrequerimientosdeinformación.Lasfuentesdeinformaciónutilizadaspuedenincluir tantoentrevistas formalescomo informalesonoestructuradascon losparticipantesdelprograma, al igual que información cuantitativa de muestras representativas. Sin embargo, esextremadamente difícil realizar preguntas contrafactuales en entrevistas o grupos focales; porejemplo, tratar de preguntar a alguien que se encuentra participando en un programa sociallo siguiente:“¿qué haría si no hubiese recibido ayuda del programa?” Hablar con participantesdel programa puede ser muy valioso, pero es poco probable que provean información creíbleporsísolo.Serequiereademásinformacióndeindicadoresderesultadoyvariablesexplicativasrelevantes.

La información de resultados y sus determinantes, incluyendo la participación en el programaprovienedelasencuestas.Launidaddeobservaciónpuedeserindividual,dehogar,deunáreageográficaodealgunainstitución(escuela,clínica,etc.)dependiendodeltipodeprograma.Lainformacióndeencuestaspuedesercomplementadacon informacióndel programa (tal comola base de datos proveniente del monitoreo del programa) o con información de lugar (basesde datos de análisis geográficos). Una preocupación que puede surgir es la comparabilidad o consistencia de diferentes fuentes de información, particularmente las utilizadas para laobservaciónalosparticipantesynoparticipantes.Diferenciaseneldiseñodelosinstrumentosparaloscuestionariospuedenimplicardiferenciassignificativasenlasmedidasderesultados,detalmaneraquesesguenelanálisisdelverdaderoimpacto8.

7.LamayorpartedeltextofuetomadodeMartinRavallio“EvaluatingAnti-PovertyPrograms”.

8.Paraverotrasexperiencias, referirseaanálisis realizadosporP.Shultz (2004)sobreelprogramaPROGRESAdeMéxico,quedabatransferenciasmonetariasafamiliaspobres. Lascondicionesquedebíancumplireran:tenerahijosenescuelas,asistiracentrosdesaludytomarsuplementosnutricionales.Esteestudiorealizóunacolocaciónaleatoriadelprogramaparaobtenerungrupodecontrolocontrafáctico.OtroejemploeselestudiodeNewmanetal.(2002)deunprogramadelBancoMundialparaBolivia.

17

4.1.8 Comparaciones de diferencias simples con asignación aleatoria

Unexperimentosocialbuscaaleatorizarlacolocacióndelprograma,detalmaneraquelasunidades(enunconjuntodefinido)tenganlamismaoportunidadex–antederecibirelprograma.Todaslas características (observables y no observables) antes de la intervención son idénticamentedistribuidasentrelasunidadesquerecibenelprogramaylasquenoloreciben.Porimplicación,lasdiferenciasen lasmediasde losresultadosex–postentre losdosgrupossonatribuiblesalprograma. Laaleatorizacióngarantizaquenoexistesesgoporselecciónalestimar (3.1)y (3.2)oequivalentemente laecuacióndel términodeerror (4)esortogonala los regresores. Losnoparticipantessonentoncesungrupoválidodecontrolparaidentificarelcontrafactual,yATEesestimadoconsistentemente(noparamétricamente)porlasdiferenciasentrelasmediasmuestralesdeYiTyYiC(incluyendolassubmuestrasconlosvaloresdadosdeXi).

Sin embargo, a pesar de que los diseños aleatorios serían ideales para identificar el impacto,pueden surgir varios problemas en la práctica como mencionamos en la sección de métodosexperimentales:políticos,éticos,etc.

4.2 Métodos cuasi - experimentales9

Estametodologíaintentareplicarelmétodoexperimental.Existenvariostiposquesedetallanacontinuación.

4.2.1 Método de Grupos Emparejados (Propensity score matching)Esunametodologíaquecorrigeporsesgodeselecciónal realizar lasestimaciones.Aplicaunaprobabilidadpredichaaungrupodemiembros(tratamientovs.control)basándoseenpredictoresobservables,engeneralobtenidosporunaregresiónlogísticaparacrearungrupocontrafáctico.Tratadeemparejarentrelosquetienenprobabilidadescasiiguales,osea,entrelosmásparecidos.Este método selecciona el grupo de comparación con relación a las probabilidades predichasde participación (llamadas“propensity scores”). Generan un efecto de tratamiento promedio oATE; sinembargo, tieneunproblema,yesqueúnicamenteemparejan tomando en cuenta lascaracterísticas observables, pero pueden existir características no observables que sesguen losresultados. Para comprender la metodología se debe entender los criterios de asignación delprograma.Comosemencionóanteriormente,a losparticipantesya losnoparticipantesse lesemparejaconbaseensuscaracterísticassimilares(propensity score),P(Zi) = E(Di|Zi) (0<P(Zi)<1),donde Zi es el vector de las variables de control antes de exponerse al programa, esto incluyevaloresantesdelprogramadelindicadorderesultado.Si lasDi’ssonindependientesalolargode todas las i, y si los resultados son independientes de la participación dado Zi, entonces losresultados son también independientes de la participación dado P(Zi). De esta manera elemparejamientoeliminaelsesgoporselección.

El método de grupos emparejados (propensity score matching) difiere de otros métodos, enespecialdelmétodoexperimentalsocialensuformamáspura,enquelosgruposemparejados(propensity score)podríaenfrentarproblemasdesesgodeselecciónenelmomentoquesepostulalaexistenciadeunavariablelatentequeconjuntamenteinfluyesobrelacolocaciónylosresultados,detalmaneraqueinvalidalossupuestosrealizadosporelpropensity score.

Nosepuedeasumirquealeliminarel sesgoporselecciónbasadoenobservables, tambiénsereduceelsesgoagregado,esosolosedaráenelcasodequelasdosfuentesdesesgo–queseasocianconlasobservablesyquesurgenporfactoresnoobservables–vanenlamismadirección,loquenopuedeserrefutadoapriori.UnacomparaciónnaturalentreelMCOyelpropensity score,

9.LamayorpartedeltextofuetomadodeMartinRavallion“EvaluatingAnti-PovertyPrograms”.

18

sedacuandoenestemétodoseintroducenvariablesdicotómicasquedefinenlaparticipaciónenelprograma,loquepermitequelascovariablesobservablesentrencomocontroleslineales. ElMCOrequiereesencialmenteelmismosupuestodeindependenciacondicional(exogeneidad)queelmétododegruposemparejados(propensity score matching),peroademásimponesupuestosdelaformafuncionalarbitrariadelosefectosdeltratamientoyvariablesdecontrol.Encambio,elmétododegruposemparejadosnorequiereunmodeloparamétricoquejuntelosresultadosdelaparticipacióndelprograma.Detalmaneraqueelmétododegruposemparejadospermitalaestimacióndeimpactossinlossupuestosarbitrariosdelaformafuncionalyladistribucióndeltérminodeerror.Ademásdifierenconrespectoalamuestra.

ElMétododeGruposEmparejados (MGE)damayoratencióna lassubuestrasemparejadas, lascomparacionesquenoestánemparejadasseeliminan,porlotantoalgunosparticipantespuedenserexcluidosporquetienenunpuntajefueradelrangodelosqueseencuentranenlamuestradeparticipantes. Otradiferenciatienequevercon laeleccióndevariablesdecontrolX. Enelmétododeregresiónestándarsemiraalospredictoresparalosresultados,ysedapreferenciaalasvariablesquesepuedenconsiderarexógenasalresultado.EnelMGE,encambio,semiraalascovariablesdeparticipación,posiblementeseincluyevariablesnosignificativasovariablesquenoarrojenprediccionesefectivasdelosresultados.Ciertamente,resultadosanalíticosysimulacionesindican que las variables con poca habilidad de predicción de los resultados pueden ayudar areducirelsesgoalestimarefectoscausalescuandoseutilizaelmétododegruposemparejados(propensity score matching).

Enresumen,elmétododegruposemparejados(MGE)esunaimportanteherramientaquepermiteanalizarelimpactodeunprogramamediantelageneracióndeuncontrafactualadecuado(bajoelsupuestodequenoexistenvariablesnoobservablesqueinfluencienenlaparticipación).Lomás importante en éste método es entender el mecanismo de asignación –los determinantesobservablesdelacolocacióndelprograma.Utilizarestemétodoesmásconvincentequesuponerquelaasignaciónrealizadaenunprogramaespecíficorespondealossupuestosdeunexperimentonaturalyquenoexistesesgoporselección

4.2.2 Diseños discontinuos

La idea, en este caso es inferir los impactos que surgen de las diferencias entre un grupo detratamientoycontrol,perodelasunidadesqueestáncercadelpuntodecorte(queseutilizóparadefinirquiéneselegibleyquienno).Paracomprenderestemétododemejormanera,esposiblepensarqueMieselpuntajequelaunidadirecibecomounapruebademediasproxyymeselpuntodecorteparalaelegibilidad,detalmaneraqueDi=1paraMi≤ myDi=0enelcasocontrario.Elimpactoentoncessedefinecomo:

E(Yi|Mi = m-ε) – E(YiC|Mi =m+ε )

paraunvalorarbitrariomuypequeñodeε>0.

En la práctica, existe siempre un grado de área gris inevitable en la aplicación de pruebas deelegibilidad.Entonces,enlugardeasumirqueexisteunestrictocontrolycumplimento,sepuedepensarenlaprobabilidaddelaparticipacióndelprogramaP(Mi) = E(Di|Mi),loqueesunafuncióncreciente de Mi con una discontinuidad en m. La idea esencial se refiere a que los impactosestánmedidosporladiferenciaenlosresultadosdelamediaenelvecindariodem.Elsupuestoclavedeidentificaciónesquenohaydiscontinuidadenlosresultadoscontrafactualesenm.Sedebeconsiderarqueexisteunavariaciónentrelaestrictezdecadaprograma,estonodescartalaposibilidaddequelacontinuidadseaunsupuestoposible.Uncuestionarioenlalíneadebase

19

puedeserdegranayudaparalimpiarlasdiferenciasenlosresultadosantesdelaintervenciónencualquieradelosladosdeladiscontinuidad,detalmaneraqueseestaríacombinandoeldiseñodediscontinuidadconelmétododedoblesdiferencias.ComparadoconeldiseñodelMétododeGruposEmparejados,eldediscontinuidaddaelimpactopara una muestra escogida de participantes, mientras que el método de grupos emparejadostratadeprecisarelimpactodelgrupototaldetratamiento.Sinembargo,elproblemaquemuchasveces se genera por el criterio de elegibilidad puede significar que este método también estéacotado a una submuestra seleccionada; la pregunta entonces sería si ésta es una submuestrainteresante.Eltruncarlamuestradelgrupodetratamientobajoestemétodo(PSM),generalmentetiendeaexcluiraaquellosquetenganlaprobabilidadmásaltadeparticipar(paraloqueesmásdifícilencontrarunaparejadenoparticipantes),mientrasqueeldiseñodediscontinuidadsoloincluyóaaquellosquetienenlaprobabilidadmásbaja.Apesarquelosdiseñosdediscontinuidadsonidentificadoscomonoparamétricos,enmuchoslibrosdeeconomíaseusanotrosmétodosparamétricosenlosqueladiscontinuidadenelcriteriodeelegibilidadseusacomounavariableinstrumentalparalacolocacióndelprograma.

4.2.3 Comparaciones de lista de espera

Enestecaso,seutilizacomogrupodecomparaciónaaquellosquehanaplicado(esdecir,sonelegibles)peroaúnnohanrecibidoelprograma,porlotanto,lacomparacióndelistadeesperaeselgrupodecontrolqueseformaporunretrasoenelprograma.Enmuchoscasos,estegrupoquesequedaalaesperaeselegidoporunaaleatorización,sinembargo,existenestudiosqueloutilizanenundiseñocuasi-experimental. Estemétodoenciertamaneratrataconelproblemadeheterogeneidadlatenteenlosestimadoresdediferenciassimples,aligualqueelmétododegruposemparejados;losparticipantesexitosos,engeneral,suelentenerlasmismascaracterísticasnoobservables,yaseaquehayanrecibidoelprogramaotodavíano.

Elsupuestoprincipalesqueeltiempoenquesedaeltratamientoesaleatorio.Enlaprácticasedebeanticiparelsesgopotencialquepuedesurgirdeltratamientoselectivoentrelosparticipantesocomportamientosqueresultenenlosparticipantesqueestánalaesperaderecibireltratamiento.Cuandoesfactible,lascomparacionesdelistadeesperadanunestimadordediferenciassimplesrobustas,considerando laheterogeneidad latente.Sinembargo,sedebenrealizarpruebasquepermitanverificarquenoexistesesgoporselecciónenlasobservables.Muchasvecesseutilizael método de grupos emparejados (PSM) para limpiar la heterogeneidad observable en lascomparacionesdelistadeespera.

4.2.4 Variables Instrumentales10

SisetratadeexplicarellogaritmodeunsalariodeunindividuoYiconunacantidaddevariablesdecaracterísticaspersonalesX1i,yseincluyeelnúmerodehorasqueunapersonaitrabajaX2i,conunmodelolineal:

Yi = X1i ß1 + X2iß2 + εi (7)

estemodelonotieneinterpretaciónanoserqueseincluyasupuestosaltérminodeerrorε.Deotramanerasepodríasimplementedejarqueß1yß2tomenvaloresarbitrariosysuponerqueeltérminodeerrordelaecuación (7)semantieneparatodaslasobservaciones.Elmétodomáscomún para interpretar esto describe las expectativas condicionadas o la mejor aproximaciónlinealdeYidadoX1iyX2i.Estorequierequeseimponganlossiguientessupuestos:

10.LamayorpartedeltextofuetomadodeVerbeek,Marno.AguidetoModernEconometrics.JohnWiley&Sons,Ltd.2000endondeademássedetallaenmayorprofundidadelconceptodeendogeneidadyelmétodogeneralizadodemomentos.

20

E{εiX1i} = 0(8.1)E{εiX2i} = 0 (8.2)

EstassonlascondicionesnecesariasparalaconsistenciadelosestimadoresMCO. Almomentoenquese relajacualquieradeestascondiciones,elmodeloyanocorrespondea laexpectativacondicionaldeYi dadoX1iyX2i.

Enlaecuacióndellogaritmodelingreso,εiincluyetodoslosfactoresnoobservablesqueafectanalsalariodeunindividuo,talescomo:“habilidadinnata”o“inteligencia”.Sedicequeelnúmerodehorasquetrabajaunapersonadependenparcialmentedeestascaracterísticasnoobservables.Si éste es el caso, los estimadores MCO están consistentemente estimando el valor esperadocondicional del salario de una persona, entre otras cosas, el número de horas que trabajó elindividuo, pero no están estimando consistentemente el efecto causal de las horas de trabajo.Estoquieredecirque,elestimadordeMCO ß2vaareflejarladiferenciaenelsalarioesperadodedospersonasarbitrariasconlasmismascaracterísticasdeX1iobservables,peroquetrabajanX2yX2+1horas,respectivamente.Estodeningunamaneramideladiferenciaentreelsueldodeunapersonaarbitraria(poralgunarazónexógena)quedecideincrementarsushorasdetrabajodeX2aX2+1.Larazónesqueenlaprimerainterpretación,losfactoresnoobservablesqueafectanelsalariodeunindividuonosonconstantesenlasdospersonas,yenlasegundainterpretación,losnoobservablessemantienenconstantes.Puestodeotramanera,cuandoseinterpretaunmodelocomo una esperanza condicionada, la condición “todo lo demás constante (Ceteris Paribus)"únicamenteserefierealasvariablesincluidas,mientrasqueenlainterpretacióncausaltambiénincluyelasvariablesomitidas,esdecir,lasnoobservableseneltérminodeerror.

Loscoeficientesdelmodeloderegresiónse interpretancomoefectoscausales. Enestoscasostienesentidodiscutirsobrelavalidezdelascondiciones(8.1) y(8.2).SiE{εiX2i} ≠ 0.SedicequeX2iesendógena(conrespectoalefectocausaldeß2).Paraecuacionesdelsalariodemicroeconomía,usualmente se argumenta que muchas variables explicativas son potencialmente endógenas,incluyendovariablescomoelniveldeeducación,estadocivil, salud, industria. Porejemplo,seobservaqueenpromediolossalariossonun10%másqueparapersonasqueestáncasadas.Estonoquieredecirynoreflejaunefectocausaldeestarcasado,sinounaconsecuenciadeladiferenciadecaracterísticasnoobservablesdegentequeestácasadaygentequeno.

SinoseimponelacondiciónqueE{εiX2i} = 0,elmétodoMCOproduceestimadoressesgadoseinconsistentesparalosparámetrosdelmodelo. Lasoluciónrequiereunmétododeestimaciónalternativo.Paraderivarunestimadorconsistente,esnecesarioasegurarsedequeelmodeloestáestadísticamente identificado.Estosignificaquesenecesita imponersupuestosadicionales;deotramanera,elmodelonoestáidentificadoyningúnestimadoresnecesariamenteinconsistente.Para poder entender esto, hay que fijarse en las ecuaciones (8.1) y (8.2). Estas condiciones sellamancondicionesdemomentoocondicionesentérminosdeexpectativas(momentos)queseacogenenelmodelo;ydebensersuficientesparaidentificarlosparámetrosdesconocidosenelmodelo.EstoquieredecirquelosparámetrosKdelosß1yß2tienequesertalesquelassiguientesigualdadessemantengan:

E(Yi – X1i ß1 – X2i ß2) * X1i) = 0 (9.1)E(Yi – X1i ß1 – X2i ß2) * X2i) = 0(9.2)

CuandoseestimaelmodeloporMCO,seimponenestascondicionesenelestimador,pormediodeloscorrespondientesmomentosmuestrales.Estoes,elestimadorb=(b1,b2)porß = (ß1, ß2)

21

surgendelassiguientesecuaciones:

1/N * Σ (Yi - X1i b1 - X2i b2) * X1i = 0(10.1)1/N * Σ (Yi - X1i b1 - X2i b2) * X1i = 0 (10.2)

De hecho, estas son las condiciones de primer orden para la minimización del criterio demínimoscuadrados.Elnúmerodecondicionesesexactamenteigualalnúmerodeparámetrosdesconocidos,talqueb1yb2sepuedanresolverdelasecuaciones(10.1)y(10.2).Sinembargo,apenasseviolalaecuación(8.2),lacondición(10.2)desapareceyapartirdeesemomentoyanosepuederesolverelb1yb2.Estosignificaqueelß1yß2yanosepuedenidentificar.

Entoncespara identificar ß1y ß2enuncasomásgeneral, senecesitaalmenosunacondicióndemomentoadicional.Talcondiciónadicionalsederivausualmentedeladisponibilidaddeuninstrumento,ounavariableinstrumental.UnavariableinstrumentalZ2i,esunavariablequeseasumenotienecorrelaciónconeltérminodeerrorenelmodelo,perotieneunaaltacorrelaciónconlavariableendógena X2i.Siselograencontrardichoinstrumento,lacondición(9.2)sepuedereemplazarpor:

E((Yi – X1i ß1 – X2i ß2) * z2i) = 0 (11)

Dadoqueestacondicióndemomentonoesunacombinacióndeotrasvariables(z2inopuedeserunacombinaciónlinealdeX1i’s),laintroduccióndelinstrumentoessuficienteparaidentificarlosKparámetrosß1yß2. ElestimadordelavariableinstrumentalßIV,sepuederesolverdelasiguientemanera:

1/N * Σ (Yi - X1i ß1IV – X2i ß2IV) * X1i = 0(12.1)1/N * Σ (Yi - X1i ß1IV – X2i ß2IV) * z1i = 0(12.2)

Lasoluciónsepuededeterminaranalíticamenteyalhacerloseobtienelasiguienteexpresiónparaelestimador IV:

BIV = (Σ ziXi)-1 ΣziYi(13)

donde Xi= (X1i, X2i)y zi = (X1i, z2i).Claramente,siz2i = X2i,estaexpresiónsereducealestimadoMCO.

Bajo los supuestos (9.1) y (11) y algunas condiciones regulares, el estimador de las variablesinstrumentalesesconsistenteyasintóticamentenormal.LomásimportantedeestascondicionesregularesesquelamatrizK x K

Plim 1/N ΣziXi 0 Σzx

esfinitaeinvertible.Unacondiciónnecesariaparaestoesqueelinstrumentoz2iestécorrelacionadoconS2iynoseaunacombinaciónlinealdeloselementosenX1i.Lacovarianzaasintóticade ßIVdependedelossupuestosquesehacendeladistribuciónde εi.EnelcasoestándardondeεiesIID(0, σ2),independientementedezi,sepuedemostrarque:

√N (ßIV - ß) − N (0, σ2(ΣxzΣzz-1 Σzx)-1) (14)

dondelamatrizsimétricaKxK:

Σzz = Plim 1/N Σzizi

22

se asume que es invertible, y Σzx = Σxz . La no singularidad de Σzz requiere que no existamulticolinealidadentreloselementosde Kenelvectorzi.EnmuestrasfinitassepuedeestimarlamatrizdecovarianzasdeßIVpor:

V{ ßIV }= σ2 ((Σxizi)( Σzizi)-1(Σzixi))-1(15)

Dondeσ2esunestimadorconsistentedeσ2basadoenlasumatoriadeerroresalcuadrado,porejemplo,

σ2 = 1/N Σ(Yi - Xi ßIV )2 (16)

Comoenelcasodemínimoscuadrados,esposibleajustarporlosgradosdelibertadydividirloporN- KenlugardeN.

El problema que puede surgir es que la mayoría de veces no es obvio determinar cuál de lasvariables puede utilizarse apropiadamente como instrumento. En el ejemplo mencionado senecesitaunavariablequeestécorrelacionadaconlashorasdetrabajoX2i,peronocorrelacionadaconlosfactoresnoobservablesde“habilidadinnata”incluidoseneltérminodeerror.Sepuedeargumentar que las variables relacionadas a la composición de la familia pueden servir comovariablesinstrumentales.

Elúnicocasoenelquelascondicionesdemomentopuedenserparcialmentecomprobablesescuandoexistenmáscondicionesdelasrequeridasparalaidentificación.Enestecaso,sepuedencomprobar las restriccionessobre-identificativas,sinnecesariamentesercapacesdeespecificarcúaldelascondicionesdemomentocorrespondeaestasrestricciones.

Se puede generalizar el modelo que se vio en el caso de permitir un número arbitrario deinstrumentos.Considéreseelsiguientemodelo:

Yi = Xi ß + ε i (17)

dondeXiesunadimensióndeK.ElestimadorMCOsebasaenlascondicionesdemomentoK.

E(εi Xi) = E(Yi – Xi ß) Xi) = 0

Engeneral,seasumequeexistenRinstrumentosdisponiblesparaelvectorzi,loscualespuedensuperponerseconXi. LascondicionesdemomentorelevantesestándadasporlassiguientesRrestricciones:

E(εi zi) = E(Yi – Xi ß) zi) = 0(18)

Si R=K,seestaríaenlasituaciónanterioryelestimadordelasvariablesinstrumentalessepuederesolverconlascondicionesdemomentodelamuestra,

1/N * Σ(Yi - Xi ßIV )zi = 0

yseobtiene:ßIV= ((ΣziXi)-1 ΣziYi

23

Sielmodeloseescribeenformamatricial:

Y= X ß + ε

ylamatrizZesunamatrizNxRdelosvaloresdelosinstrumentos,esteestimadordelasvariablesinstrumentalespuedeserescritotambiéndelasiguientemanera:

ß IV= ((Z’X)-1Z’Y (19)

SiR>K,existenmásinstrumentosqueregresores.Enestecasonoesposibleresolverelestimadoßreemplazandoenlaecuación (18)consucontrapartedelamuestra.Noesposibleresolverelsistemayaqueexistenmásecuacionesqueincógnitas.Enlugardequitarinstrumentos(yperdereficiencia)engeneralseescogeßdetalmaneraquelosRmomentosdelamuestracumplaconlosiguiente:

1/N *Σ(Yi - Xi ß)zi

Que estén lo más cerca posible de cero, se logra minimizando la siguiente ecuacióncuadrática:

QN(ß) = [1/N Σ(Yi - Xi ß)zi]’ WN[Σ(Yi - Xi ß)zi](20)

Donde WN es una matriz RxR positiva definida y simétrica. Esta es una matriz que otorgadiferentes ponderaciones a cada momento de la muestra. En general puede depender de untamañomuestralN,porqueporsísolopuedeserunestimado.Paralaspropiedadesasintóticasdelestimadorderesultadodeß,laprobabilidaddellímitedeWN,denotadoporW = plim WN,esimportante.EstamatrizWdebesersimétricaypositivadefinida.Usandonotaciónmatricialporconvenienciasepuedereescribirlaecuación(20)como:

QN(ß) = [1/N* Z’(Y - Xß)]’ WN[1/N*Z’(Y - Xß)](21)

diferenciandoconrespectoa ß,dadoporlascondicionesdeprimerorden

-2X’ZWNZ’Y + 2X’ZWNZ’X*ßIV = 0loqueimplica:

X’ZWNZ’Y = X’ZWNZ’X*ßIV(22)

esteesunsistemaconKecuacionesyKincógnitasdeßIV,dondeX’ZtienedimensiónK x R y Z’esRx1.DadoquelamatrizX’ZtienerangoK,lasoluciónparalaecuación(21)es:

ßIV = (X’ZWNZ’X)-1 X’ZWNZ’Y(23)

loqueengeneral,dependedelosponderadosdelamatrizWN.

Si R=K, la matriz X’Z es cuadrada (y por los supuestos) invertible. Esto puede escribirse de lasiguientemanera:

ßIV = (Z’X)-1WN-1 (X’Z)-1 X’ZWNZ’Y= (Z’X)-1 Z’Y

24

Enloquecorrespondealaecuación(19),lamatrizdeponderaciónesirrelevante.Enestasituaciónelnúmerodecondicionesdemomentoesexactamenteigualalnúmerodeparámetrosqueestánsiendo estimados. Se puede pensar en una situación en la que ß se“identifica exactamente”porquesetienejustolainformaciónnecesaria(osealascondicionesdemomentonecesarias)paraestimar ß.Unaconsecuenciainmediatadetodoestoesqueelmínimodelaecuación(21)escero,loqueimplicaqueatodoslosmomentosdelamuestrapuededarseelvalordeceroalescogerßapropiadamente.Esoes,QN (ßIV)esigualacero.Enestecaso,ßIVnodependedeWNyelmismoestimadorseobtieneindependientementedelamatrizdeponderaciónqueseescoja.

SiR<K,elnúmerodeparámetrosparaestimarexcedeelnúmerodecondicionesdemomento.Enestecaso ßestá“subidentificado”(noidentificado)porquenoexistesuficienteinformación(esoes,condicionesdemomento)paraestimardeunaúnica formaaß. Técnicamente,estoquieredecirqueelinversodelaecuación(23)noexisteyqueunnúmeroinfinitodesolucionessatisfacenlascondicionesdeprimerordendelaecuación(22).Anoserquesepienseenunacondicióndemomentoadicional,esteproblemade identificaciónes fatalenel sentidodequenoexisteunestimadorconsistenteparaß.Cualquierestimadoresnecesariamenteinconsistente.

SiR>K,entonceselnúmerodecondicionesdemomentoexcedeelnúmerodeparámetrosparaserestimados,yentoncesßestá“sobre-identificado”porquehaymás informaciónde laqueesnecesaria para conseguir un estimador consistente para ß. En este caso se tiene un rango deestimadoresparaßquecorrespondenalasposiblesalternativasparalamatrizdeponderaciónWN.Siemprequelamatrizdeponderaciónes(asintóticamente)positivadefinida,losestimadoresqueresultanparaßsontodosconsistentes.Laideadetrásdelresultadoconsistentevienedequese está minimizando una función cuadrática en un conjunto de momentos de la muestra queconvergenasintóticamentealoscorrespondientesmomentosdelapoblación,mientrasquelosmomentosdelapoblaciónsonigualesaceroparalosverdaderosvaloresdelosparámetros.Esteeselprincipiobásicodetrásdelmétododemomentos.

Distintas matrices de ponderación WN dan diferentes estimadores consistentes con distintasmatricesdecovarianzaasintóticas. Estopermiteescoger lamatrizdeponderaciónóptimaquedeunestimadordelasvariablesinstrumentaleseficiente.Sepuededemostrarquelamatrizdeponderaciones óptima es proporcional al inverso de la matriz de covarianza de los momentosdelamuestra.Intuitivamente,estosignificaquelosmomentosdelamuestraconunavarianzapequeña,daninformaciónprecisasobrelosparámetrosenß,recibenmáspesoenlaestimaciónquelosmomentosdelamuestraconvarianzamayor.Esencialmente,estaeslamismaideaqueladelenfoquede losmínimoscuadradosponderados,apesardeque lospesosahora reflejandistintosmomentosdelamuestraenlugardediferentesobservaciones.

Esclaroquelamatrizdecovarianzasdelosmomentosdelamuestraesiguala:

1/N*Σ εizi

ydependendelossupuestosquesehacentantoenεicomoenzi;siseasumequeεi esIID(0, σ2) eindependientedezi,lamatrizdevarianzaasintóticadelosmomentosdelamuestraestádadopor:

σ2 Σ zz = σ2 plim 1/N Σ zizi’

25

consecuentemente,unamatrizdeponderacionesóptimaseobtienede:

WNopt = (1/N Σ zizi’)-1 = (1/NZ’Z)-1

Yelestimador IVresultantees:

ßIV = (X’Z(Z’Z)-1 Z’X)-1 X’Z(Z’Z)-1 Z’Y

Esta expresión es la que se encuentra en la mayoría de libros. El estimador es comúnmentellamadoEstimadorGeneralizadodeVariablesInstrumentales(GIVE).Estambiénconocidocomo2SLS(mínimoscuadradosendosetapas).Siεiesheteroscedásticoomuestraautocorrelación,lamatrizóptimadeponderaciónsepuedeajustarrespectivamente.

Comparado con otros métodos, al usar variables instrumentales no se requiere que se asumaexogeneidad.Enlugardeeso,seasumeexogeneidadenlavariableZi,queZitienerelaciónconlacolocaciónyqueZinoesunelementodelvectordecontrolesX,locualescomúnmenteconocidocomo“exclusiónrestricción”. Siestossupuestossemantienen,entoncessepuededecirque Ziidentificaelimpactodelprograma.

4.2.5 Fuentes de Variables Instrumentales11

4.2.5.1 Diseños parcialmente aleatorios

Esmuycomúnenexperimentossociales,quemuchasdelasunidadesquehansidoseleccionadasaleatoriamente para el programa, no participen. En este caso se puede utilizar como variableinstrumentalalaasignaciónaleatoria.La“exclusiónrestricción”enestecasosecumpleyaqueseasignóaleatoriamentequiéndeberíaparticiparenelprograma,entoncessoloafectalosresultadospormediodesuparticipaciónactual.

Elestimadordevariablesinstrumentalesesahoraunadicotómicaparalaasignacióndelprograma(unosifueasignadoyceroparacontrol).Estavariable,sibienestácorrelacionadaconlavariabledetratamientoreal,notieneningunacorrelaciónconelerrorporlotantoesunbueninstrumento.

Estomuchasvecesocurreencasosrealesporlocualesmuyimportantecorregirlodeestamanera.

4.2.5.2 Fuentes no experimentales de variables instrumentales

Apesardequelaexistenciadeasignacionesaleatoriaspermiteutilizarvariablesinstrumentalesmuy fácilmente cuando se trata con cumplimientos de endogeneidad, en muchos casos no esposible. Otrasfuentesparavariables instrumentalesson:geografía,políticaydiscontinuidadescreadasporeldiseñodelprograma.

Elprogramadecolocacióngeográficahaservidocomo identificaciónenmuchosestudiosqueutilizanelestimadordevariablesinstrumentales.Porejemplo,enelestudiodeAtanasio,VerayHernández(2004),queutilizaladistanciadelhogaralcentrodecomunidadmáscercanacomovariable instrumental12; estaba altamente correlacionada con la variable endógena y no tenía

11.LamayorpartedeltextofuetomadodeRavallionMartin“EvluatingAnti-PovertyPrograms”.WorldBankPolicyResearchWorkingpaper3625,Junio2005.

12.Atanasio,VerayHernández(2004),enunestudiorealizadoenColombiaparamedirelimpactodeunprogramanutricionalenlosniñosmenoresde5años.

26

nadaqueverconelhechoderecibironolosalimentos.Sepodríapensarqueladistanciapuedeserendógenaporladecisióndellugardondevivirdelhogarodelacomunidad.Sinembargo,enelcuestionario,ningunodelosencuestadosatribuyesudecisióndemudarseconlaubicacióndelcentrocomunitario,porlotantoconsideranelinstrumentocomoexógeno.Las características políticas de ciertas áreas geográficas también han sido fuente de variablesinstrumentales.Entenderlaeconomíapolacadelacolocacióndeunprogramatambiénpuedeayudaraidentificarimpactos.UnejemplodeestoeselestudiodeBesleyyCase(2000)queutilizalapresenciademujeresen losparlamentosestatalesen losEstadosUnidoscomounavariableinstrumentaldelsegurodecompensaciónde lostrabajadoresaltratardeestimar los impactosdelacompensaciónenlossalariosyeldesempleo.Ensutrabajoargumentanquelasabogadasmujeres implementan leyes que favorecen la compensación de trabajadores, pero que esto espocoprobablequetengaunefectoindependienteenelmercadolaboral.

Otraposibilidadparaencontrarvariablesinstrumentaleseseldiseñodiscontinuodelprograma,yaqueelALTEeselvecindariodondeestálalíneadecortedelaelegibilidaddelprograma.Porejemplo,enelestudiorealizadoporAngristyLavy(1999)quienesmiranelimpactodecalificacionesescolaresdeltamañodelaclaseenIsrael,utilizanelhechodequeunaprofesoraextraseasignacuandolaclaseaumentasobre40estudiantes.Estosejemplosdemuestranlajustificacióndeunestimadordevariableinstrumentalquesurgedeinformaciónexternaalosconfinesdelanálisiscuantitativo.Esasfuentespuedenserargumentosteóricos,sentidocomún,oargumentosempíricosquesebasanendistintostiposdeinformación,quemuchasvecessecentranenentendercómofuncionayoperaelprogramaenlapráctica.

27

V. Elementos para tomar en cuenta en una evaluación de impacto13

Hastaahora,elprincipalenfoqueenlaliteraturahasidotratardeversieldiseñodelaevaluaciónpermite obtener estimadores de impacto confiables en un contexto específico. Sin embargo,Deatonllamalaatenciónsobreotrostemasimportantesconrespectoaloquesepuedeaprenderdeunaevaluación,paraaplicarlosresultadosenotrosambienteseimplementarpolíticasenelfuturo.Muchas veces se trata de inferir desde una evaluación de impacto si es posible ampliar elprograma.Estetipodepreocupacionesde“validezexterna”incluyelosestudiosexperimentalesy no experimentales. Un mismo programa puede funcionar y tener impactos importantes enuna comunidad, pero no tener el mismo impacto en otra, por lo tanto, es complicado realizargeneralizacionesencuantoaampliarlascoberturasdeunprogramayreplicarlosresultados.Estoquieredecirqueelcontextoinstitucionalessumamenteimportanteparaelimpacto.Entonces,las preocupaciones sobre la validez externa de las evaluaciones de impacto surgen cuando serequierequeciertasinstitucionesesténpresentesparafacilitarlosexperimentos.

Otrapreocupaciónrespectoalavalidezexternaesque,apesardequesupuestosdeequilibriosparcialespuedenserapropiadosparaunprogramapiloto,estopuededejardeserlocuandoseamplíalacoberturadelámbitonacional,ylosefectosdeequilibriogeneralsevuelvenimportantes,muchas veces, a esto se conoce en la literatura económica como efectos feedback o macro.Para entenderlo mejor se debe considerar que, por ejemplo, un estimador de impacto de laescolaridaddadounsubsidiodeeducaciónbasadoenunapruebaaleatoriapuedeserengañosoenelmomentodeampliarlacobertura,dadoquesealterarálaestructuradelosretornosdelaescolaridad.Consecuentemente,unanálisisdeequilibrioparcialpuedesobreestimarelimpactodelsubsidiodeeducaciónunavezquelossalariosrelativosseajusten.Deestamanera,losefectosdeunapruebapuedendiferirsustancialmentedelosefectosunavezampliadalacoberturadelprograma.

Los factores de contexto son cruciales para el desempeño del programa al existir el riesgo desobreestimarelimpactoyaqueenciertoscontextostodoparecefuncionarperfectamenteyenotros,encambio,nada funciona. Por lo tanto,esmuy importanteparaelprogramaadaptarseapropiadamente al contexto institucional y socioeconómico en el cual debe operar. Muchasveces,ladiferenciaqueseencuentraenelimpactodelapruebapilotocomparadaconelimpactoque se genera una vez ampliada la cobertura, es que la composición socio económica cambiasegúnlaescala.Enestesentido,esimportanteentenderquédeterminaelimpacto.Senecesitasuplementar las herramientas de la evaluación con otras fuentes de información que puedenaclararlosprocesosqueinfluyenenlosresultadosmedidos.Unmétodoesrepetirlaevaluaciónendistintoscontextos,considerandolascaracterísticasdeunalocalidad.Elprogramapuedetenermayoromenorefecto,porejemplo,encomunidadesconmenordesigualdaddegénero,oconmenortasadecriminalidad,etc.

Otraalternativaestratardeexplorarmásafondoporquéelprogramatienemayoresomenoresimpactos en un contexto especifíco, como una manera de inferir si será útil implementarlo endistintoscontextos.Enestecaso,sepuedenutilizarindicadoresintermedios.

Enlugardeemplearúnicamentelosresultadosfinalesdelaevaluacióndeimpacto,sepuedenmirarconmayordetallelosdiferentesefectosenunamplionúmerodeindicadoresdecomportamiento.

13.LamayorpartedeltextofuetomadodeDeatonAngus"Instrumentofdevelopment:Randomizationinthetopics,andthesearchfortheelusivekeystoeconomicdevelopment".

28

Porejemplo,sabercuáleselcomportamientodelagenteunavezquerecibenlatransferenciade dinero. Una cosa sería únicamente mirar el efecto que esto tiene en la escolaridad y en lasalud,sinembargo,esimportanteanalizarelcambioenelcomportamientodelaspersonas,comoporejemplo:¿quétiposdeinversiónrealizaronyporqué?Lasrespuestasdecomportamientoencuantoaahorroyconsumopuedenproveerinformaciónparaentenderquédeterminaelimpacto.

Además, se pueden obtener otras fuentes de información externa para la evaluación, porejemplo, fuentes que provienen de la investigación cualitativa. La idea es realizar una pruebade lossupuestosquesehacenen la intervención, loquecomúnmentese llama“theory-basedevaluation”.Ver:¿quiénparticipó;secapturaronciertaspartesdelacomunidad?Enlapráctica,nosiempresepuededescomponerdeestamaneraelprogramapararealizarpruebasdecadanexodelacadena.

Losefectosdedesbordamientos(spillover)contienen informaciónmásprofundaparaentenderlosefectosycómounprogramaopera.Losefectosindirectosocasionadosporelprogramaenlosnoparticipantessonmuycomunes.

VI. Conclusiones

Esimportantetenerencuentaquenoexisteunamaneraúnicaquepermitaevaluarelimpactodeunproyecto,programaopolíticapública.Cadacircunstanciayrequerimientodeinformaciónnecesitadeunanálisisespecífico,delautilizacióndeunaherramientadeterminadaquepermitagenerarinformaciónparatomardecisionesquecorrijaneldesempeñouorientacionesquenoconduzcanallogrodelosobjetivospropuestos

En la práctica, se pueden encontrar estrategias de identificación experimental que permitenaislarelefectoendógeno. Lamayoríadevecessecombinanvariasmetodologíasparaobtenerresultadosmásrobustosyconmayorcredibilidad.Buenasevaluacionesrequierenqueelevaluadorestéinformado,desdeelinicio,delfuncionamientoycaracterísticasoperativasdelprograma,quemuchasvecessonunafuentecrucialde información.Porestarazón,sedebeconsiderarquelaevaluaciónnoeselúltimopasoporrealizarunavezfinalizadaslasactividadesoacciones,sinoqueseintegradesdeelprimermomentoenqueestasseconcibenydiseñan.

29

BIBLIOGRAFÍA

•AngristJ,Lavy,1999.“UsingMaimonides´RuletoEstimatetheEffectofClassSizeonScholasticAchievement”.QuarterlyJournalofEconomics,114:533-75.

•Atanasio,Vera,etal,2004.“Theshort-termImpactofaConditionalCashSubsidyonChildHealthandNutritioninColombia”.[enlínea].London:TheInstituteForFiscalStudies.

• Besley, Timothy; Case Anne, 2000. “Unnatural Experiments: Estimating the Incidence ofEndogenousPolicies”.EconomicJournal,110,F672–F694.

• Deaton, Angus, 2009. "Instruments of development: Randomization in the topics, and theserachfortheelusivekeystoeconomicdevelopment".PrincetonUniversity;NationalBureauofEconomicResearch.NBERWorkingPaperNo.w14690

• Dulfo, Esther, 2001. “Schooling and Labor Market Consequences of School Construction inIndonesia: Evidence from an Unusual Policy Experiment”.THE AMERICAN ECONOMIC REVIEW.Indonesia.

•Newman,John,etal, 2002.“PobrezayDesigualdadenMunicipiosdeBolivia”.BancoMundial,Bolivia.

•RavallionMartin,2005.“EvaluatingAnti-PovertyPrograms”.WorldBankPolicyResearchWorkingpaper3625.

• Shultz, Paul, 2004. “School subsidies for the poor: evaluating the Mexican Progresa povertyprogram”.JournalofDevelopmentEconomics,Elsevier,vol.74(1),pages199-250,June

•Vella Francis, 1998. “Estimating Models with simple Selection Bias: A Survey”. The Journal ofHumanResources,Vol.33,No.1.

•Verbeek,Marno,2000.“AguidetoModernEconometrics”.JohnWiley&Sons,Ltd.

30

Metodologíasde evaluación de impacto

Secretaría Nacional de Planificación y DesarrolloSubsecretaría de Seguimiento y Evaluación