I.R.I.A; CPCSAE

I.R.I.AIntegración de la Recogida de la Información y su Administración

Jose Luis MaldonadoMadrid, Diciembre 2012

I.R.I.A; CPCSAE

Diversas aplicaciones para la recogida de información (AplicaciónEncuesta).

Sistemas independientes (stovepipes).

Complejidad contratación, desarrollo, mantenimiento y altos costes.

Se precisa realizar el cambio de un sistema stovepipe a un sistema de producción estadística con sistemas de almacenamiento de datos corporativos.

SITUACION ACTUAL

I.R.I.A; CPCSAE

Construir sistemas integrados de información.

Manejados por herramientas estandarizadas (únicas o no, según la fase del proceso de producción).

Todo relacionado mediante un sistema corporativo de metadatos que permita la reutilización y la integración.

ESTRATEGIA

I.R.I.A; CPCSAE

VISION GENERAL

I.R.I.A; CPCSAE

Cada una de las propiedades y parámetros del proceso productivo queda reflejado en un sistema de Metadatos corporativo que permitirá la reutilización en otras operaciones.

Metadatos estructurales (variables, conceptos, categorías, etc), necesarios para la recogida.Metadatos de referencia, asociados a la metodología de la encuesta.Metadatos de proceso, asociados al tratamiento de la información.Metadatos de calidad, que incluyen las descripciones cuantitativas y cualitativas de cada operación estadística

SISTEMA DE METADATOS

I.R.I.A; CPCSAE

A partir de fuentes administrativas (y del propio INE-encuestas), se establece un Sistema de Aprovechamiento de Registros que perimirá:

En fases previas a la recogida:

Disponer de marcos y muestras de mayor calidad que permitan disminuir la carga administrativa de los informantes.

SISTEMA DE APROVECHAMIENTO DE REGISTROS

I.R.I.A; CPCSAE

En fases de procesamiento de la información (validación, depuración, imputación, elevación e imputación):

Aunque en la actualidad, el INE ya utiliza otras fuentes para las fases de procesamiento, con este sistema lo que se pretende es tener herramientas corporativas que estandaricen el proceso.

SISTEMA DE APROVECHAMIENTO DE REGISTROS

I.R.I.A; CPCSAE

Fases muy complejas de estandarización.

En una primera fase, solo se incluirán los actuales procesos de procesamiento apoyados por el sistema de Metadatos.

En cualquier caso, el resultado de estos procesos se grabarán en BASES DE DATOS CORPORATIVAS.

Integración de validación manual y depuración, imputación automática (DIA) con IRIA.

SISTEMA DE PROCESAMIENTO DE LA INFORMACIÓN

I.R.I.A; CPCSAE

Con métodos de depuración selectiva, se permite disminuir drásticamente en número de re-contactos con el informante.

A efectos prácticos, los métodos de Depuración Selectiva, tiene por finalidad determinar, para unos determinados márgenes de confianza, cuantos y qué registros deben ser depurados manualmente.

DEPURACIÓN SELECTIVA

I.R.I.A; CPCSAE

El objetivo es disponer de una herramienta completamente parametrizada que permita la recogida de información de las encuestas del Instituto Nacional de Estadística, bien sean sociales o económicas, coyunturales o estructurales, y por los canales de recogida establecidos (telefónico, presencial, correo – papel, Internet, etc.), generando una base de datos corporativa de datos brutos.

IRIA

I.R.I.A; CPCSAE

SITUACIÓN ACTUAL

I.R.I.A; CPCSAE

Disponer de una herramienta completamente

parametrizada de usuario final que les permita definir, diseñar, construir y explotar sistemas de recogida de datos tanto para encuestas estructurales o coyunturales dirigidas a hogares o empresas y para los diferentes canales de recogida, siendo la integración y la reutilización dos de sus principales características.

IRIA: OBJETIVO

I.R.I.A; CPCSAE

La integración y reutilización de los distintos componentes, solo es posible si se consigue una herramienta parametrizada que permita comportamientos distintos en distintas encuestas o canales de recogida. Buscamos la mayor cantidad de propiedades de cada pieza del puzzle.

IRIA: OBJETIVO

Aplicación Recogida 1

Aplicación Recogida 2

I.R.I.A; CPCSAE

Su uso tanto por usuarios avanzados como básicos, por lo que dispone de un interfaz amigable.

Contiene múltiples puntos de ayuda en el diseño de cuestionarios.

Permite la realización de pruebas que aseguran que los cuestionarios no incluyen errores.

USUARIO FINAL

I.R.I.A; CPCSAE

IRIA es íntegramente una aplicación Web, desarrollada en Java 6, con utilización de las siguientes tecnologías.

ENTORNO TECNOLOGICO

Capa Componente

Presentación JSF 1.2/2.0, Facelets, Richfaces, JSP 2.1, Servlet 2.5

Persistencia JPA 1.0 (OpenJPA 1.2.2)/2.0, JDBC

XML XML, XSLT, XSD, JAXB

Servicios web AXIS, JAXB-WS

Servidor de Aplicaciones JBoss 5.1/6.1 EAP

Base de datos Oracle 11gR2

Otras HTML, Javascript (servidor), CSS

I.R.I.A; CPCSAE

MODULOS (CORE)

Iria Portal Portal para la recogida CAWI

Iria DesignerCreación de

Cuestionarios/Encuestas

Iria Manager Administración y Gestión de encuestas

Iria EngineMotor para la realización de

entrevistas

Iria DataCollection Gestión de la recogida en

CAPI, CATI, PAPI…)

I.R.I.A; CPCSAE

Fase 1 :Administración, diseñador y recogida CAWI: Finalizada. En explotación 14 encuestas.

Fase 2 :Recogida CAPI, CATI, Papel:

Fase 2.0 : Módulos comunes: Finalizada.Fase 2.1 : Inclusión resto de canales: De Febrero a Septiembre 2013. Canal CAPI Marzo 2013.

Fase 3 : Mejoras e implantación de otras tecnologías en apoyo a la recogida de datos.

FASES DE DESARROLLO

I.R.I.A; CPCSAE

Módulo de Administración del Sistema: Seguridad, gestión de roles y usuarios, gestión de encuestas, propiedades de cada canal de recogida, asignación de unidades muestrales, etc.

Administrador del sistema: Gestió de elementos básicos (usuarios, roles, mantenimiento de tablas, etc.).

Administrador de encuestas: Creación y mantenimiento de los elementos de cada encuesta: propiedades de encuesta, periodos, usuarios de la encuesta, unidades de recogida, etc.

Administrador de unidades: Gestión de tablas de IRIA con las unidades que serán asignadas a las diversas encuestas (viviendas, personas, unidades económicas y otras entidades).

IRIA MANAGER

I.R.I.A; CPCSAE

Módulo de diseño y pruebas de los cuestionarios.

Permite de una manera visual ir generando el cuestionario, sus validaciones, sus flujos, previsualizar las preguntas, y realizar las pruebas para confirmar el correcto comportamiento de la entrevista.

Dispone de múltiples ayudas como el flujo del cuestionario en modo visual.

IRIA DESIGNER

I.R.I.A; CPCSAE

Tres niveles de usuario:

Básico: podrá crear estructuras del guión y preguntas utilizando las funcionalidades básicas del interfaz. Se incluye la creación de validaciones y flujos simples.

Avanzado: asignará propiedades avanzadas a las preguntas y otros elementos, y podrá introducir SQL y lenguaje de scripting, creando estructuras más complejas.

Experto: podrá acceder al código de creación del guión (XML). RESERVADO A INFORMATICA

IRIA DESIGNER

I.R.I.A; CPCSAE

Ejecutor de las entrevistas.

Se encarga de arrancar la entrevista, interpretar los elementos y atributos asignados en Designer, controlar los flujos, las expresiones o ejecución de funciones, las validaciones, …., y controla la finalización de entrevista.

Común para todos los canales de recogida.

IRIA ENGINE

I.R.I.A; CPCSAE

Portal para la recogida de información por Internet.

Dispone de tres tipos de acceso:

Pareja de claves, Usuario registrado, Certificado electrónico.

IRIA PORTAL

I.R.I.A; CPCSAE

Gestión de la recogida para los canales de recogida CAWI,CAPI, CATI y PAPI.

Este módulo está en desarrollo, habiendo comenzado por las funcionalidades comunes a todos los canales de recogida (asignación de trabajo, consultas parametrizables, zona de trabajo de la gestión de la recogida, comunicaciones con informantes, inspección, colas de trabajo, listados y tablas de control y seguimiento… SINCRONIZACION DE DATOS.

IRIA DATACOLLECTION

I.R.I.A; CPCSAE

Se basa en consultas y dispone de un potente asistente generador de las mismas. Cada usuario define sus consultas y las puede compartir.

WorkFlow para permitir ajustar el flujo de trabajo según necesidades de cada encuesta y la multicanalidad.

El espacio de trabajo para la gestión de la recogida se define y ejecuta mediante portlets.

UTILIDADES DE USUARIO DATACOLLECTION

I.R.I.A; CPCSAE

Conocimiento de la situación de la recogida, y de las respuestas de las entrevistas por cruce de variables. Pentaho.

Hoja de ruta, con todo el histórico de acciones realizadas sobre una unidad.

CAPI. Recogida tracking y visor sobre mapa

CAPI. Sincronización 3G

CATI. Integración CTI, grabación de audio.

UTILIDADES DE USUARIO DATACOLLECTION

I.R.I.A; CPCSAE

IRIA DATACOLLECTION

SINCRONIZACIÓN DE DATOS DIFERENTES CANALES

CAWI

PAPICAPI

BD Central

CATI

PAPICAPI

CAWI

BD Central

I.R.I.A; CPCSAE

PAPI. Acceso a documentación digitalizada

Comunicaciones con los informantes: diseño, y edición de plantillas para mailing, generación de etiquetas o cartas

UTILIDADES DE USUARIO DATACOLLECTION

I.R.I.A; CPCSAE

Disponer de un único sistema de creación de encuestas multicanal permite:

Distribuir tareas, entre diversas unidades del INE, pudiendo hacer las tareas en paralelo (parametrización), o en serie (diseño de cuestionarios) según los conocimientos de los usuarios que diseñan los cuestionarios.

Disponer de un solo repositorio con toda la información de las encuestas.

VENTAJAS

I.R.I.A; CPCSAE

Reaprovechamiento de la información de unas encuestas en otras.

Reaprovechamiento de elementos de definición de unas encuestas en otras.

Reaprovechamiento de la formulación de preguntas y sus listas asociadas de una biblioteca (metadatos)

VENTAJAS

I.R.I.A; CPCSAE

Disminución del tiempo de generación de encuestas: de 8 a 2-3 meses.

Disminución costes: Ahorro 1 mill € anuales en ecuestas de tracto continuo.

Modificación forma de recogida de datos: Encuesta de Explotaciones Agrícolas.

1.2007: Coste total: 3.794.906 € (entrevista personal + grabación).2.2013: Presupuestado: 1.782.887 € (todos los canales). AHORRO DE MAS DEL 50%

VENTAJAS-DATOS

I.R.I.A; CPCSAE

Liberación de recursos personales de informática

De las 14 encuestas económicas que en la actualidad están en explotación y un piloto de hogares:

NINGUNA HA SIDO DESARROLLADA POR INFORMÁTICA.

VENTAJAS-DATOS