Herramienta para la Evaluación de la Calidad de Registros ...

MEJORA DE LA CALIDAD DE LOS

REGISTROS ADMINISTRATIVOS COMO

FUENTE DE INFORMACIÓN PARA LA TOMA

DE DECISIONES

APLICACIÓN DE “HECRA”

HERRAMIENTA DE EVALUACIÓN DE LA

CALIDAD DE LOS REGISTROS

ADMINISTRATIVOS

28 de agosto de 2015, San Salvador – El Salvador

Herramienta de auto-diagnóstico de la

calidad de registros administrativos

CONTENIDO

Antecedentes, ¿cómo surge la HECRA?

Introducción, marco teórico, antecedentes, presentación de la herramienta.

Características y resultados esperados de la herramienta.

Estructura de la herramienta.

Reportes de la calidad.

Orientaciones, atributos e indicadores de la calidad.

Esquema de Auto-diagnóstico de la Calidad.

Procedimientos de aplicación y Cuestionario de auto-diagnóstico.

Aplicación práctica

Cálculo de indicadores de la calidad y Planes de acciones de mejora de la calidad.

Estadísticas para facilitar el desarrollo

económico y social Decisiones

basadas enindicadores para

aumentar la credibilidad de las administraciones

públicas

Evidencia objetivade hechos y

acciones tomadas, dada por un

sistema para la toma de

decisiones basadoen indicadores

Sistema de Información para

asegurar la transparencia de las decisiones del

gobierno

Sistema de Información para mejorar la eficaciay eficiencia de los

programas de gobierno

Contexto

Gestión porResultados

(establecido porley)

Fuerte concienciay apoyo político al

más alto nivelestatal

Comités Estatalesde Información

Estadística y Geográfica

(CEIEG)

Interés de INEGI para aumentar el

compromiso / involucramiento a

nivel estatal

Bases para un Sistema de

Monitoreo y Evaluación

Falta de información desagregada, confiable y de alta calidad

necesaria para la efectiva toma de decisiones.

Fortalecer el Sistema de Información Estadística, Geográfica

y de Evaluación del Estado de Yucatán (SIEGEY) como

soporte de la toma de decisiones basada en evidencia.

En colaboración con INEGI.

Documentación de metadatos de

acuerdo con estándares

internacionales.

Primer Comité Estatal de Información

Estadística y Geográfica en México.

Con el apoyo del Banco Mundial.

Fortalecer el Sistema de Información Estadística,

Geográfica y de Evaluación del Estado de Yucatán

(SIEGEY)

Diagnóstico de las demandas de información del sistema de M&E y de los tomadores de decisiones

Búsqueda de fuentes de datos estadísticos

Inventario de operaciones estadísticas (principalmente basadas en registros administrativos)

Talleres para validar hallazgos y resultados

Análisis de los Sistemas de Información necesarios para implementar las recomendaciones

Evaluación de la calidad de los registros administrativos a ser utilizados como fuentes de datos del Sistema de Información Estadística

Definiendo la estrategia…

Implementación del SIEGEY

Bases del Sistema de

M&E

Diagnóstico del Sistema de Información

Estad. y de Eval.

Identificarprogramasprioritarios

Indicadorespara la tomade decisiones

Catálogo de Registros

Administrativos

Evaluación de la calidad de los

registrosadministrativos

Planes de mejora

HECRA

Generarindicadores para

la toma de decisiones

Fortalecer el

Sistema de

Información

Estad. y de Eval.

Sistema de M & E

Mejores prácticas basadas en experiencias y

documentos de las siguientes instituciones:

Eurostat (doc.: “Business registers - Recommendations manual”; “Quality assessment of administrative data for statistical purposes”; “Standard quality indicators”; “Handbook How to make a Quality Report”).

Mercosur (Proyecto Cooperación UE-Mercosur. Grupo 8: Calidad Total en las Estadísticas, doc.: “Conjunto mínimo de indicadores de la calidad”).

CBS de Holanda (doc.: “Quality framework for the evaluation of administrative data”; “Quality control of Dutch Administrative Registers: An inventory of quality aspects”).

Statistics Sweden (Visita de estudio).

Istat de Italia (Visita de estudio).

DANE de Colombia (Visita de estudio).

INE de Uruguay (doc.: “Reporte estándar de la calidad de RA”; “Manual de la calidad”; “Reporte estándar de la calidad de las operaciones estadísticas”).

Entre otros...

Características de la herramienta:

Alto grado de objetividad (a pesar de ser auto-diagnóstico basado en indicadores cualitativos).

Menor costo, comparado con otros modelos.

Mejora continua de la herramienta e implementación en etapas.

Resultados esperados:

Detectar puntos críticos en el proceso

Mejorar intercambio de información entre las instituciones

Detectar oportunidades de mejora

Guía de documentación y buenas prácticas

Marco de la calidad de registros administrativos a ser explotados con fines estadísticos

Objetivo:

Auto-evaluación o auto-diagnóstico de registros

administrativos a ser aprovechados con fines

estadísticos. Por medio de cuestionario auto-

administrado, especialmente diseñado para la

identificación de posibles problemas y generación

de indicadores de la calidad de los registros

administrativos.

Detectar problemas y oportunidades de mejora

los registros analizados.

Identificar y analizar las causas de los problemas.

Implementar planes de acciones correctivas y

preventivas.

Alcance:

Auto-diagnóstico de la calidad de los registros administrativos a ser explotados con propósitos estadísticos.

No está dentro del alcance: evaluar la calidad desde el punto de vista registral, operativo, de gestión, mantenimiento o cumplimiento de los objetivos y requisitos administrativo-fiscales-normativos para los cuales fueron creados.

Auto-diagnóstico de la calidad de los datos, pero también el entorno institucional, procesos, documentación, cumplimiento de los requisitos de los usuarios.

Alcance (cont.):

Áreas o aspectos de la calidad que se

analizarán con la herramienta:

1. Fuente de datos administrativa.

2. Metadatos.

3. Datos.

4. Producto estadístico final.

Ámbito de aplicación:

Fuente administrativa (Unidad administrativa

responsable del registro administrativo).

Aplicada en los registros administrativos que ya se

encuentran en la fase de captación de datos

administrativos.

En los casos donde el registro administrativo no haya

sido aprovechado con propósitos estadísticos aún, la

evaluación de la calidad estará limitada a la fuente

administrativa, metadatos y los datos. No se evaluarán

los atributos de la calidad asociados al producto

estadístico final.

Responsables de su aplicación:

Director de la unidad administrativa responsable

del registro administrativo, o en su defecto, a

quien éste designe (fuente administrativa).

Responsable de la explotación del registro

administrativo con fines estadísticos (usuario

primario).

Figura 1. Proceso de elaboración de estadísticas a partir de registros administrativos.

Planeación del registro

administrativo

Marco legal y Diseño conceptual

Documentación de los metadatos del

registro administrativo

Diseño de los instrumentos de

captaciónCaptación de datos

Procesamiento (tratamiento) de los

datos

Detectar y especificar

necesidades de los usuarios finales del producto estadístico

Planificación de la operación estadística

Entrega de datos y metadatos del


Verificación de metadatos del


Control de calidad de los datos del


Unión de los registros de los

archivos de datos

(si corresponde)

Procesamiento estadístico

Análisis de la información estadística

Preparar metadatos del producto estadístico

Difundir el producto estadístico

Medir la satisfacción del usuario final

Fuen

te a

dm

inis

trat

iva

Res

po

nsa

ble

de

la

op

erac

ión

est

adís

tica

Usu

ario

pri

mar

io d

el R

egis

tro

Ad

min

istr

ativ

o

(qu

ien

lo e

xplo

ta e

stad

ísti

cam

ente

)

Res

po

nsa

ble

del

Reg

istr

o

Ad

min

istr

ativ

o

Actor

involucrado

en el proceso

Rol del Actor

involucrado en

el proceso

Am

bo

s ac

tore

s

Proceso de captación de datos de los registros

administrativos

Punto de captación 1(Dependencia C)

Punto de captación 2(Unidad 3)

Consolidado o Archivo del RRAA

información

Formato del RRAA

Consolidación del Registro Estadístico

Papel, medios electrónicos (bases de datos, planillas electrónicas, archivos de texto, etc.)Fuente administrativa 1

Usuario primario Consolidado de uno o varios RRAA

Usuario, evento, acción o hechoUsuario, evento, acción o hecho

Explotación del Registro Estadístico

Datos del RRAA

Datos del Registro Estadístico

Organización de la herramienta

Estructura que sigue el proceso descripto

anteriormente.

Identificación de los usuarios del registro

administrativo.

◦ Usuario primario del registro administrativo.

◦ Usuario final del producto estadístico.

Orientaciones de la calidad

Reportes de la calidad

Orientaciones de la calidad

Fuente de datos administrativa

Metadatos

Datos

Producto estadístico

Orientaciones de la calidad (cont.)

Fuente de datos administrativa

Atributos de la calidad asociada al entorno institucional,

marco legal, seguridad de la información,

procedimientos y entrega y tratamiento de los datos.

Metadatos

Atributos de la calidad vinculada la documentación de

los datos del registro administrativo.

Orientaciones de la calidad (cont.)

Datos

Atributos vinculados a controles técnicos sobre los datos,

cobertura del registro, métodos de unión de registros, omisiones, medición, claves de identificación, procesamiento y precisión de los datos, uso de códigos y clasificadores internacionales, actualidad de los datos, registros múltiples, entre otros.

Producto estadístico

Calidad asociada a los productos estadísticos (cifras, cuadros

estadísticos y/o archivos de microdatos) elaborados a partir del o los registros administrativos, ya sea como marco de encuestas por muestreo, fuente secundaria de información, o bien generando cifras estadísticas directamente del procesamiento de los datos del registro administrativo.

Reportes de la calidad

• Reporte de la calidad asociada a la Fuente de datos

administrativa.

• Reporte de la calidad asociada a los Metadatos.

• Reporte de la calidad asociada a los Datos.

• Reporte de la calidad asociada al Producto estadístico.

Esquema de evaluación de la calidad del registro administrativo utilizado con fines estadísticos

Referencias: Responsable de brindar la información de cada dimensión o atributo:

Panel de Evaluación Global de la Calidad

Orientación I:

Fuente Administrativa

Orientación II:

Metadatos

Orientación III:

Datos

Orientación IV:

Producto Estadístico Final

Atributos de la calidad asociada a la Fuente

Administrativa, según fuente

Atributos de la calidad asociada a los

Metadatos, según su uso previsto

Atributos de la calidad asociada a los Datosdel registro, según

fuente administrativa y uso previsto

Atributos de la calidad asociada al Producto Estadístico, según su

uso previsto

1. Relevancia.

2. Seguridad de la Información y limitaciones en el uso de la información.

3. Entrega de los datos.

4. Procedimientos.

5. Tratamiento de los datos.

1. Uso de estándares de documentación de metadatos.

2. Completitud y claridad.

3. Comparabilidad.

4. Claves únicas.

1. Controles técnicos.

2. Cobertura.

3. Unión de registros (informáticos) de archivos de datos.

4. Omisiones.

5. Medición.

6. Claves de identificación

7. Procesamiento.

8. Precisión.

9. Uso de códigos y clasificadores internacionales.

10. Actualidad de los datos.

11. Registraciones múltiples.

12. Otros controles.

1. Comparabilidad.

2. Relevancia.

3. Coherencia.

4. Disponibilidad y transparencia.

5. Precisión y exactitud.

6. Oportunidad y puntualidad.

Usuario primario

Fuente administrativa

Ambos (fuente administrativa y usuario primario)

Usuario primario

Fuente administrativa

Ambos (fuente administrativa y usuario primario)

Referencias:Responsable de brindar la información de cada dimensión o atributo:

Esquema de evaluación de la calidad del registro administrativo utilizado con fines estadísticos

Procedimiento de aplicación de la herramienta:

Periodicidad: al menos una vez al año.

Contacto con los actores involucrados.

Identificación de usos previstos del registro

administrativo.

Llenado del cuestionario de auto-diagnóstico.

Cálculo de indicadores de la calidad.

Identificación y análisis de las causas de los problemas.

Plan de acciones correctivas y preventivas.

Herramienta de auto-diagnóstico de la calidad de registros administrativos

Procedimiento de aplicación de la

guíaIdentificar y

caracterizar los Registros

Administrativos

Identificar Fuentes Administrativas

Identificar usuarios primarios

Contactar actores involucrados

Identificar usos previstos de los

Registros Administrativos

Completar cuestionario de auto-evaluación

Identificar usuarios finales Medir satisfacción

de usuarios finales

Calcular indicadores de la

calidad

Identificar problemas a través de los indicadores

de la calidad

Identificar y analizar causas de

los problemas

Implementar acciones

correctivas y preventivas

Calidad asociada con la fuente de datos administrativa 1

Atributo Indicador Valor

I.1. Relevancia

1. Utilidad

2. Uso previsto

3. Demanda de información (C.I.11)

4. Satisfacción del usuario interno (C.I.12)

I.2. Seguridad de la

Información y limitaciones

en el uso de la información

1. Marco legal (C.II.13)

2. Protección de datos personales (C.II.14)

3. Limitaciones debido a normativa sobre la

confidencialidad (C.II.15)

4. Acuerdos de confidencialidad (C.II.16)

5. Transferencia de datos segura (C.II.17)

6. Integridad, Confidencialidad y

Disponibilidad de la información (C.II.18)

7. Protección física de los datos (C.II.19)

8. Políticas de respaldo de los datos

(C.II.20)

1. Costos asociados a la entrega (C.III.21)

Herramienta de auto-diagnóstico de

la calidad de registros administrativos





I.3. Entrega de los datos

1. Costos asociados a la entrega (C.III.21)

2. Acuerdos de la entrega (C.III.22)

3. Frecuencia (C.III.23)

4. Fechas de las últimas entregas (C.III.24)

5. Puntualidad (C.III.25)

6. Riesgo por falta de datos (C.III.26)

7. Método alternativo para falta de

información (C.III.27)

8. Medio de entrega de los datos (C.III.28)

9. Formato de archivos (C.III.29)

10. Unidades de la población objetivo y

variables (C.III.30)

11. Selección de datos (C.III.31)

1. Captura de datos (C.IV.32)





I.4. Procedimientos

1. Captura de datos (C.IV.32)

2. Control de consistencia (C.IV.33)

3. Control de cambios (C.IV.34)

4. Mejora continua (C.IV.35)

I.5. Tratamiento de los datos

1. Controles de la unidad objetivo (C.V.36)

2. Controles de contenido de las variables

(C.V.37)

3. Controles de valores extremos (C.V.38)

2. Modificaciones (C.V.39)

3. Manejador de BD (C.V.40)

4. Documentación de la BD (C.V.41)

5. Integridad de la BD (C.V.42)



Calidad asociada a los Metadatos


II.1. Uso de estándares de

documentación de

metadatos

1. DDI / Dublin Core (evaluación genérica,

más allá de su uso previsto).

II.2. Completitud y claridad

1. Definición de las unidades de la población

2. Descripción de variables de identificación

3. Descripción de variables de clasificación

5. Descripción del resto de las variables

utilizadas

6. Descripción de las variables temporales

7. Período de referencia de los datos

8. Comunicación de cambios en

definiciones/conceptos



Calidad asociada a los Metadatos


II.3. Comparabilidad

(no considerar para nuevas

estadísticas, de menos de 1

año, en estos casos se

deben reponderar el resto

de los atributos)

1. Comparación de la definición de la unidad

de estudio

2. Comparación de la definición de las

variables de clasificación

II.4. Claves únicas

1. Claves de identificación

2. Comparabilidad de las variables de

identificación

3. Combinaciones únicas de variables



Calidad asociada a los datos

Dimensión o atributo Indicador Valor

III.1. Controles técnicos

1. Datos legibles

2. Redefinir conceptos y metadatos en el caso

de tener más de una fuente (si corresponde)

3. Correspondencia con Metadatos

4. Método de unión de registros

5. Verificación de eficacia del método de unión

de registros

III.2. Cobertura1. Exceso de cobertura

2. Errores de clasificación

III.3. Unión de registros

1. Tasa de registros del archivo unidos con los

registros del usuario primario.

2. Tasa de registros del archivo no unidos con

los registros del usuario primario.

3. Tasa de registros del archivo unidos con los

registros de fuentes diferentes (si corresponde).





III.4. Omisiones1. Tasa de registros sin datos

2. Tasa de variables sin datos

III.5. Medición 1. Control externo al proceso (auditoría interna)

III.6. Claves de

identificación

1. Tasa de registros con clave única

2. Tasa de registros sin clave única

III.7. Procesamiento

1. Ajustes (datos editados)

2. Imputación

3. Valores atípicos (outliers)

III.8. Precisión 1. Desvío estándar

III.9. Uso de códigos y

clasificadores

internacionales

1. Uso de clasificadores estándar

2. Verificación de la codificación (tasa de

errores de codificación, tasa de registros sin

código por tipo de variable)

3. Tasa de errores de codificación

4. Tasa de registros sin código

1. El 90% o más de las unidades, que





III.10. Actualidad de los

datos

1. El 90% o más de las unidades, que

pertenecen a la población objetivo, creadas

durante el año t han sido registradas antes del

fin del año t+1.

III.11. Registros múltiples1. Tasa de registros múltiples de la misma

unidad.

III.12. Otros controles

1. Tasa de unidades que contienen valores

válidos en las variables clave.

2. Los cuadros de salida de la operación

estadística validados a través del SIRCE.

Experiencias de aplicación de la

HECRA

Yucatán, México 2011-2012

Santiago de Chile, Chile 2014

Guanajuato, México 2015

Otros estados de México

Implementación de SESN (Sistema

Estadístico Sub-Nacional)

Bases del Sistema de

M&E

Diagnóstico del Sistema de Información

Estad. y de Eval.

Identificarprogramasprioritarios

Indicadorespara la tomade decisiones

Catálogo de Registros

Administrativos

Evaluación de la calidad de los

registrosadministrativos

Planes de mejora

HECRA

Generarindicadores para

la toma de decisiones

Fortalecer el

Sistema de

Información

Estad. y de Eval.

Sistema de M & E

Sistemas de Información Estadística LocalSistemas de Información Territorial

Sistemas para la toma de decisiones Municipales

Muchas gracias

Federico Segui Stagno

[email protected]

Herramienta para la Evaluación de la Calidad de Registros ...

Documents

Transcript of Herramienta para la Evaluación de la Calidad de Registros ...