Indicadores compuestos: Algunas consideraciones metodol...

IntroduccionEtapas de su diseno y construccion

Visualizacion y diseminacionCompilizacion de indicadores existentes

Indicadores compuestos:Algunas consideraciones metodologicas

Andres Schuschny, PhD.

Email: andres@[email protected] Economica para America Latina y el Caribe

Division de Recursos Naturales e Infraestructura(CEPAL, Naciones Unidas)

Simposio Internacional de Mudancas Climaticas e Pobreza naAmerica do Sul - Universidade de Sao Paulo,

September 2, 2010

Andres Schuschny, PhD. Indicadores compuestos: Algunas consideraciones metodologicas

Indicadores en general¿Que son los indicadores compuestos?Algunos ejemplosLos pros y los contras

Diferencias entre estadısticas e indicadores

Las estadısticas (en el marco del desarrollo sostenible) sonseries oficiales que describen el estado y la evolucion de:

Las caracterısticas del medio ambiente natural (aire/clima,agua, tierra/suelo, biota)

Las actividades antropicas que afectan al medio ambiente ylas repercusiones de tales actividades y fenomenos

Diferencia entre estadıstica e indicador

Los indicadores son valores que se construyen a partir de lasestadısticas como, senales medibles reflejando caracterısticascuantitativas o cualitativas importantes para hacer juicios otoma de decisiones:

Utilidad de usar indicadores

Mostrar el estado y las tendencias en el territorio

Producir senales de alerta para mejorar la asignacion derecursos escasos, paliar o manejar problemas

Formular polıticas y programas sectoriales, planes demonitoreo y estrategias de conservacion y gestion, focalizar elgasto

Evaluar el impacto de una situacion en relacion a una meta oprograma

Anticipar condiciones o tendencias futuras

Informar a los stakeholders propiciando la transparencia yparticipacion

Indicadores de Desarrollo sostenible

Proceso de construccion de un sistema de IDS

Indicadores Compuestos

¿Que es un indicador compuesto?

Una representacion cuantitativa que resume, en un temadado, el desempeno comparado de unidades de organizacion yque sera utilizado como punto de partida para un analisisfuturo.

Da una imagen de contexto =⇒ Facilita senales, tendenciaso fenomenos a veces no directamente detectables sobre unacuestion relevante.

Se lo disena en funcion de la relevancia polıtica i.e. que sirvaa la toma de decisiones y que produzca cierta resonanciaen relacion al tema estudiado.

Indicadores compuestos: Algunos ejemplos

Indice de Desarrollo HumanoPNUD/UNDP

Environmental SustainabilityIndex (2005)

La Huella Ecologica Wackernagel &Rees (1996), Univ. of BritishColumbia

Indice de Ahorro GenuinoBanco Mundial (2000)

Environmental PerformanceIndex - EPI (2008)

Indicadores compuestos: Los pros

1 Proveen una “imagen de contexto” =⇒ Focaliza y facilita lainterpretacion y la sıntesis.

2 Integran y resumen diferentes dimensiones de un tema =⇒Pueden apoyar la toma de decisiones y la senalizacion polıtica.

3 Al suministrar la comparabilidad (benchmark) entre lasunidades de analisis y su evolucion, atraen el ınteres publico.

4 Reducen el tamano de la lista de estadısticas e indicadores aconsiderar en el analisis =⇒ El indicador sintetico comoreductor de complejidad/diversidad

Indicadores compuestos: Los contras

1 Si los indicadores estan mal disenados, pueden dar lugar amensajes erroneos, confusos o poco robustos

2 Al reducir la complejidad de un tema en algo “supuestamentemensurable”, pueden dar lugar a sesgos de confirmacion o ala simplificacion excesiva =⇒ Suponen la necesidad deemplear sub-indicadores.

3 Acarrean un alto nivel de incertidumbre asociado a laintegracion de escalas y dimensiones diversas.

4 Es esencial la interaccion con pares/expertos/stakeholderspara lograr la mutua aceptacion del indicador.

5 Requieren seguir principios estadısticamente fundamentados yprocedimientos transparentes.

¡¡LA GRAN LIMITACION!!

El “indisponibilidad” estadıstica

Ausencia de informacion basica

Falta de procedimientos sistematicos en la generacion de lainformacion

Muy incipiente toma de conciencia (ambiental) =⇒ Limitadosesfuerzos practicos en la generacion de la informacion

Problemas de aplicabilidad tecnica debida a la ausencia dedatos o la disponibilidad de datos inconsistentes o pococonfiables

Ademas:

Puede haber conflicto con las escalas: lo que es pertinentea nivel local, puede no serlo a nivel nacional (por ejemplo:encuestas).

En necesario, evitar la redundancia de la informacion =⇒ Sedeben realizar analisis de correlacion.

Es importante conocer la disponibilidad, calidad y frecuenciade muestreo de la informacion con que se alimenta =⇒Disponer de los Metadatos.

Ademas:

1. Marco metodologico o conceptual2. Seleccionar indicadores3. Analisis multivariado4. Imputacion de datos perdidos5. Normalizacion y pesado de los datos6. Analisis de robustez y sensibilidad

Etapas de su diseno y construccion

1 Desarrollar marco metodologico o conceptual

2 Seleccionar indicadores

3 Analisis multivariado

4 Imputar de datos perdidos

5 Normalizacion de los datos

6 Pesado de los datos

7 Agregacion

8 Analisis de robustez y sensibilidad

9 Vinculacion del indicador con otras variables

10 Presentacion y diseminacion

7 Agregacion

1. Marco metodologico o conceptual

“Lo que esta mal definido estara mal medido...”

Es necesario tener categorizado el contexto de analisis ycomprender el fenomeno a medir

A veces conviene agrupar la informacion en forma anidada ensubgrupos y calcular sub-indicadores

Es conveniente enumerar los criterios de seleccion de lasvariables y documentar todo el proceso de construccion

Guıa para la construccion de Indicadores Compuestos

2. Seleccionar indicadores

La fortaleza o debilidad de un indicador compuesto recae en lacalidad de las variables que lo componen

Es necesario validar la calidad del dato

Discutir la pertinencia de cada variable

Ajustar la escala cuando sea necesario

Crear tablas resumen o metadatos (caracterısticas,disponibilidad, fuentes, tipo, responsable, etc.) para cadavariable y sub-indicador

3. Analisis multivariado (i)

Tiene el objetivo de eliminar correlaciones espureas =⇒ Amayor correlacion entre variables, menores las dimensiones deanalisis que estarıan presentes.

Analisis de componentes principales

Es un metodo de reduccion dimensional. Se trata de explicar lamayor parte de la variabilidad con el menor numero decomponentes posibles.

Analisis factorial

Se usa para agrupar la informacion y ver si las dimensiones teoricascoinciden o no con las estadısticas

Analisis factorial

3. Analisis multivariado (ii)

Analisis de agrupamiento (Clustering Analisis)

Para establecer tipologıas en grupos (por ejemplo: paıses)“homogeneos en sı y heterogeneos entre sı”, maximizando ladistancia (debidamente definida) de las unidades de tipologıasdiferentes y minimizando la distancia de las unidades de unacategorıa particular.Usos:

(i) como herramienta de diagnostico,

(ii) para agrupar paıses y/o imputar datos perdidos,

(iii) como metodo de agregacion.

4. Imputacion de datos perdidos: ¿Que hacer?

Se podrıa remover el paıs o indicador del analisis, aunque estopuede dar lugar a sesgos indeseables...

Imputacion simple

Modelizacion implıcita: (i) asignar el dato conforme aunidades similares; (ii) sustituir con informacion existente o(iii) tomar valores de otras fuentes.

Modelizacion explıcita: sustituir por la media, mediana o lamoda, regresiones o algoritmos de expectacion-maximizacion.

Imputacion multiple

Por ejemplo estimando la matriz de covarianzas y la distribucion apriori a partir de la cual se imputaran valores al azar.

Imputacion simple

Imputacion multiple

Imputacion simple

Imputacion multiple

Imputacion simple

Imputacion multiple

5. Normalizacion de los datos (i)

Objetivo: Llevar los indicadores a una misma unidad demedida

Ello puede obligar a realizar transformaciones de escala y/ocorrecciones de simetrıa para evitar que los valores extremosdominen los resultados y suavizar los cambios marginalessegun los niveles (linealizar, usar logaritmos, potencias,Box-Cox, Manly, etc.)

Al normalizar se debera tener en cuenta la tendencia,ciclicidad y presencia de valores atıpicos de los datos

La normalizacion debe ser invariante a cambios de la unidadde medida.

5. Normalizacion de los datos (ii)

Emplear tasas o porcentajes de variacion

y it =

x it−x it−1

x it−1× 100

Ordenamiento de los indicarores entre paıses

y it = Rango(x i

t ∈ X ). Se pierde informacion del paıs pero losoutliers no afectan.

Estandarizacion (Z-value)

y it = x it−E(xt)

. Todas las variables quedan centradas. Convieneevitar los outliers.

y it =

x it−x it−1

x it−1× 100

y it = Rango(x i

y it = x it−E(xt)

y it =

x it−x it−1

x it−1× 100

y it = Rango(x i

y it = x it−E(xt)

5. Normalizacion de los datos (iii)

Re-escaleo

y it =

x it−min∀p(x ito )

max∀p(x ito )−min∀p(x ito )O si se trabaja con registros en varios

instantes del tiempo: y it =

x it−min∀t min∀p(x it )

max∀t max∀p(x it )−min∀t min∀p(x it )∈ [0, 1]

Distancia a paıs de referencia

y it = x it

xRtoo y i

t =x it−xRtoxRto

Segun lo considere el analista, la referencia

puede ser un objetivo a lograr en algun t, un paıs (que no sea unoutlier o dato atıpico), un “paıs promedio”, o el propio paıs ento = 0

5. Normalizacion de los datos (iii)

Re-escaleo

y it =

x it−min∀p(x ito )

max∀p(x ito )−min∀p(x ito )O si se trabaja con registros en varios

instantes del tiempo: y it =

x it−min∀t min∀p(x it )

max∀t max∀p(x it )−min∀t min∀p(x it )∈ [0, 1]

Distancia a paıs de referencia

y it = x it

xRtoo y i

t =x it−xRtoxRto

Segun lo considere el analista, la referencia

puede ser un objetivo a lograr en algun t, un paıs (que no sea unoutlier o dato atıpico), un “paıs promedio”, o el propio paıs ento = 0

5. Normalizacion de los datos (iv)

Categorizacion de escalas alfanumericas

• Los rangos pueden basarse en los percentiles• Ejemplo: Estar por encima y debajo de la media, siendo p unumbral):

Sı x itxRto

> (1 + p)⇒ y it = 1

Sı x itxRto

< (1− p)⇒ y it = −1

Sı (1− p) ≤ x itxRto≤ (1 + p)⇒ y i

• Los outliers no afectan pero se pierde informacion de los niveles.

5. Pesado de los datos (i)

A partir de criterios matematico-estadısticosComponentes principales / Analisis de factoresData Envelopment Analysis (DEA)Regresiones multiplesModelos de componentes no observados

En funcion de la opinion experta (metodosparticipativos)

Opinion publicaPor asignacion realizada por expertos (tipo “Delphi”)Ponderar sobre la base de la distancia a objetivos planteadosExisten metodologıas como el Analytic Hierarchy Process (querealiza comparaciones de a pares de variables) o el Analisisconjunto (metodo multiatributo)

5. Pesado de los datos (i)

A partir de criterios matematico-estadısticosComponentes principales / Analisis de factoresData Envelopment Analysis (DEA)Regresiones multiplesModelos de componentes no observados

En funcion de la opinion experta (metodosparticipativos)

Opinion publicaPor asignacion realizada por expertos (tipo “Delphi”)Ponderar sobre la base de la distancia a objetivos planteadosExisten metodologıas como el Analytic Hierarchy Process (querealiza comparaciones de a pares de variables) o el Analisisconjunto (metodo multiatributo)

5. Pesado de los datos (ii)

Algunas consideraciones:Los datos deben estar normalizadosTodas las dimensiones de analisis (eco/soc/env/inst) deberıantener el mismo numero de indicadores

No confundir redundancia con correlacion. Redundanciaimplica correlacion pero no viceversa

Algunas consideraciones:Los datos deben estar normalizadosTodas las dimensiones de analisis (eco/soc/env/inst) deberıantener el mismo numero de indicadoresNo confundir redundancia con correlacion. Redundanciaimplica correlacion pero no viceversa

5. Agregacion de los datos (iii)

Sumar los rankings

I jt =∑k

i=1 Rankingy ijt

forall1 ≤ j ≤ Npais (es el metodo mas simple

y es independiente de los outliers, sin embargo se pierdeinformacion de los niveles)

Contar los indicadores que superan o exceden una referencia dada

It =k∑

sgn[ y i

E (y it )− (1 + p)

]con p un umbral

(en este caso la media; es independiente de los outliers, sinembargo se pierde informacion de los valores absolutos)

Sumar los rankings

I jt =∑k

i=1 Rankingy ijt

forall1 ≤ j ≤ Npais (es el metodo mas simple

y es independiente de los outliers, sin embargo se pierdeinformacion de los niveles)

Contar los indicadores que superan o exceden una referencia dada

It =k∑

sgn[ y i

E (y it )− (1 + p)

]con p un umbral

(en este caso la media; es independiente de los outliers, sinembargo se pierde informacion de los valores absolutos)

Agregacion lineal

It =k∑

w i · y it con

k∑i=1

w i = 1 y 0 ≤ w i ≤ 1

(requiere calculo de pesos y la normalizacion, los pesos actuancomo ratios de compromiso; hay sustituibilidad completa)Ejemplo: Sea el PIB, desigualdad, degradacion ambiental ydesempleo

Paıs A: 30, 2, 2, 2 = 9 (con pesos equi-proporcionales 14 )

Paıs B: 9, 9, 9, 9 = 9

5. Agregacion de los datos (iv)

Agregacion geometrica

Πki=1(y i

t )wi)

= [(y 1t )w1 · · · (yk

t )wk]con

k∑i=1

= 1 y 0 ≤ wi ≤ 1

Paıs A: 30, 2, 2, 2 = 3.9 (con pesos equi-proporcionales 14 )

Paıs B: 9, 9, 9, 9 = 9

Si los indicadores son logaritmos, wiwj

= al % de mejora en y it

necesario para compensar la declinacion de y jt en un 1% .

Ademas:∑ki=1 w i · log(y i

t ) =∑k

i=1 log[(y it )w

i] = log Πk

i=1(y it )w

6. Analisis de robustez y sensibilidad (i)

OjO: Indicadores compuestos mal construidos pueden darlugar a mensajes erroneos o de excesiva simplicidad.

Es necesario juzgar lo realizado y evaluar la sensibilidadfrente a cambios en la eleccion de las variables y de losprocedimientos adoptados, ya que:

Pequenos cambios de la arquitectura del indicadorpueden dar lugar a grandes distorsiones

de los valores obtenidos.

6. Analisis de robustez y sensibilidad (ii)

Se trata de probar varias configuraciones de (i) seleccion, (ii)normalizacion y (iii) pesado de las variables para luegocomparar los valores obtenidos y conocer:

¿cuan sensible es el indicador a cambios de su arquitectura?

¿como cambian los rankings de la unidades de organizacion?¿cuales son las unidades mas volatiles?¿cuales son las fuentes de volatilidad (con independencia de lacalidad de los datos)?

¿cuan sensible es el indicador a cambios de su arquitectura?¿como cambian los rankings de la unidades de organizacion?

¿cuales son las unidades mas volatiles?¿cuales son las fuentes de volatilidad (con independencia de lacalidad de los datos)?

¿cuan sensible es el indicador a cambios de su arquitectura?¿como cambian los rankings de la unidades de organizacion?¿cuales son las unidades mas volatiles?

¿cuales son las fuentes de volatilidad (con independencia de lacalidad de los datos)?

¿cuan sensible es el indicador a cambios de su arquitectura?¿como cambian los rankings de la unidades de organizacion?¿cuales son las unidades mas volatiles?¿cuales son las fuentes de volatilidad (con independencia de lacalidad de los datos)?

6. Analisis de robustez y sensibilidad (iii)

Propagacion de lavariabilidad: Para evaluarla dispersion resultantedel indicador sintetico

Analisis de sensibilidad:Para evaluar cuales sonlos factores que afectansu variabilidad

Visualizacion y diseminacion: Diseno de informacion

Cada herramienta de visualizacion tienen sus pros y suscontras.

TabulacionesGraficos de barras, lıneas, radares, Box-Whisker, Pareto, etc.Semaforos y termometrosListas de rankingsGraficos con medias movilesModelos integradosTableros de comando (dashboards)

=⇒ Ver presentacion sobre diseno de informacion

Compilacion de algunos indicadores existentes

Indicador Paıses Variables Normalizacion Pesos Agregacion

• Indice de Desarrollo 177 3xit−min x

max x−min xIguales 1

∑3i=1 y it

Humano (IDH), PNUD

• Indice de Desempeno Ambiental 133 16 100 = el mejor ACP +∑p

i=1 wi yit

(EPI), Yale Univ. 0 = el peor Expertos

• Indice de Sostenibilidad Ambiental 146 76 Z-Score Iguales 1p

∑pi=1 y it

(ESI), Yale & Columbia Univ.

• Indice de Ahorro Genuino, 104 5 Monetizado Iguales∑p

i=1 y itBanco Mundial

• Indice de Bienestar Economico 6 25 Monetizado Iguales∑p

i=1 y itSostenible, Hamilton/Saddler

• La Huella Ecologica, 148 depende Transformacion Iguales∑p

i=1 y itUniv. British Columbia en km2

• Indice del Planeta Vivo, World Wild Fund - 1100xit

xit−1

Iguales p

√∏pi=1

xitxit−1

Indicadores compuestos: Algunas consideraciones metodol...

Documents

Transcript of Indicadores compuestos: Algunas consideraciones metodol...