CUARTO INFORME: Análisis de los formularios, las...

CUARTO INFORME:

Análisis de los formularios, las relaciones entre ellos y las mejoras a implementar

INSTITUTO NACIONAL DE ESTADÍSTICAS

diciembre de 2015

Versión 01

Informe Análisis de formularios

1

Contenido 1. Introducción ................................................................................................................................ 2

2. Conceptos básicos ....................................................................................................................... 3

3. Condiciones necesarias para lograr un formulario adecuado .................................................... 3

3.1. Contenido de los Formularios ............................................................................................. 4

3.2. Informante idóneo .............................................................................................................. 5

3.3. Plazo adecuado para responder .......................................................................................... 6

4. Metodología aplicada en Encuestas INE ..................................................................................... 7

4.1 Experiencia Encuesta de Innovación y Gasto en I+D (I&D) ................................................. 7

4.2. Experiencia Encuesta Nacional de la Industria Manufacturera (ENIA) .................................. 11

5. Estructura de los formularios del BNE ...................................................................................... 15

Formularios BNE ............................................................................................................................ 15

6. Conclusiones.............................................................................................................................. 22

7. Anexo......................................................................................................................................... 23


2

1. Introducción

El Instituto Nacional de Estadísticas (INE) ha subscrito un convenio de prestación de servicios con

la Subsecretaria de Energía, donde se busca optimizar y mejorar el proceso operativo de

levantamiento del Balance Nacional Energético (BNE), junto al respectivo sistema informático que

da soporte al producto.

En el marco de las actividades comprometidas, se llevaron a cabo diversas presentaciones entre

ambas instituciones. En primera instancia, la Subsecretaria de Energía realizó una presentación

acerca de los formularios utilizados para el BNE. Posteriormente el INE presentó los formularios de

los productos Encuesta Nacional de la Industria Manufacturera (ENIA) y Proyecto de Encuestas de

Innovación y Gasto en I+D.

El presente informe recoge los principales conceptos abordados en dichas presentaciones, con lo

cual se elaboró una serie de recomendaciones y propuestas que en la medida que la Subsecretaría

adopte o adapte servirán de apoyo para mejorar los formularios de la plataforma SIBNE y por

consiguiente el proceso de levantamiento propio del BNE.


3

2. Conceptos básicos

En la generación de estadísticas es relevante en la planificación el diseño de los instrumentos de

captación, ya que son las herramientas básicas para capturar y registrar la información de interés,

conforme al objetivo del estudio.

El formulario (cuestionario) es un conjunto de preguntas sobre los hechos o aspectos que

interesan en una investigación, y que son contestados por los encuestados (informante). Se trata

de un instrumento fundamental para la obtención de datos.

Según la experiencia del INE, la planificación en el diseño del formulario es una de las etapas más

críticas en el desarrollo de una encuesta. La construcción de un cuestionario tiene elementos que

a menudo parecen apuntar al sentido común, pero cuando se aplican pueden implicar algún grado

de subjetividad. Es vital que los conceptos estén claramente definidos y que las preguntas

carezcan de ambigüedades en su enunciado; de lo contrario, los datos resultantes tienden a ser

engañosos. Además a la hora de diseñar los instrumentos de captura, se debe resguardar que el

diseño vaya en concordancia con el operativo de campo, es decir como resguardar que se pueda

operacionalizar la teoría propuesta en un cuestionarios.

3. Condiciones necesarias para lograr un formulario adecuado

A la hora de evaluar el tipo de cuestionario a utilizar, se deben considerar aspectos como:

- Grado de estructuración de las preguntas: En el caso del BNE, se ha optado por un

cuestionario estructurado que permite realizar preguntas estándar a todos los

informantes y limita la flexibilidad de respuesta.

- Medio de presentación: La presentación del BNE es por cuestionario electrónico, por lo

que se debe considerar los plazos de diseño informático en la planificación. Considerar

aspectos como compatibilidad de navegadores, ser didáctico para el usuario, etc.

- Tipo de entrevista: Al ser un cuestionario electrónico, el BNE utiliza una metodología de

autoentrevista, al ser el propio informante quien se ocupa de contestar.

- Número de temas que se abordaran: El BNE es un formulario monotemático, todas las

preguntas están agrupadas bajo una misma temática.

Adicionalmente, es importante que para lograr un formulario de calidad se cumplan tres

condiciones esenciales:

1) Las preguntas deben ser las adecuadas para medir el fenómeno que se quiere estudiar.

2) El formulario debe ir dirigido al informante idóneo.

3) El plazo para responder debe ser el adecuado.


4

Estos puntos se detallan a continuación.

3.1. Contenido de los Formularios

La estructura de los formularios debe siempre estar acorde con el objetivo del fenómeno que

se quiere estudiar, es decir, las preguntas deben ir en correspondencia directa con el marco

conceptual. En este sentido, las preguntas contenidas en los formularios deben estar

orientadas a capturar las variables definidas en el estudio y no tratar de abarcar otros

aspectos.

Por ejemplo, si lo que se quiere observar es el consumo energético de cierta industria. No es

deseable agregar preguntas referentes a otros aspectos, como el financiero o laboral, si no se

ocupará para el estudio.

Se sugiere considerar en la diagramación del cuestionario, la determinación lógica de las

preguntas, con la finalidad de darle coherencia y fluidez a la lectura de éste. Las encuestas del

INE, utilizan la lógica de secuencia lectora de izquierda a derecha y hacía abajo, iniciando con

las preguntas sencillas (como los datos de contacto de la empresa), agrupar por área de

interés las preguntas (en un módulo todas las preguntas asociadas a costos, ventas o número

de trabajadores) y se resguarda que las preguntas de mayor interés del estudio estén al medio

del cuestionario (si quedan al final pueden haber una fatiga del informante).

Las preguntas además deben ser totalmente claras y los conceptos ocupados para elaborarlas,

deben estar perfectamente definidos. Se debe evitar la subjetividad en la respuesta de los

informantes. En este sentido, cobra relevancia la redacción de las preguntas, ya que esta debe

evitar sesgos del informante en cuanto al significado de los enunciados formulados.

Si el título del cuestionario es por ejemplo “Índice de Ventas de Comercio al por Menor”,

donde se busca medir las ventas mensuales de las empresas que participan en esta actividad,

se debe dejar en claro que las ventas que se están solicitando deben estar sin IVA1 y ser

informadas en pesos chilenos. Si no se aclara esto pueden existir errores importantes en el

análisis.

1 Impuesto al Valor Agregado


5

Figura 1 - Índice de Ventas de Comercio al por Menor

Como se observa en la figura 1, donde se detalla la pregunta acerca de las ventas por líneas de

producto en el Índice de Ventas de Comercio al por Menor (IVCM), se hace referencia a una

sección de instrucciones donde se detalla qué contiene cada línea de producto.

Bajo el mismo contexto, es relevante tener precisión con la determinación de la referencia

temporal de las preguntas. Esto es el piso para contextualizar la información estadística

solicitada, ya sea un periodo dado, es decir un intervalo entre dos fechas, o asociado a una

fecha exacta. Cabe precisar, que se debe considerar la coherencia entre la exigencia

conceptual y la problemática en la captación de los datos, donde se debe considerar si la

información que se solicita proviene de otros registros (contabilidad de establecimientos, pago

de impuestos, etc), o bien se recurre a la historia de la unidad de estudio y, por tanto, implica

que el informante debe revisar datos pasados de la unidad en observación.

Paralelamente, es importante considerar que para aquellos conceptos que necesiten

explicación, se recomienda elaborar un instructivo que sirva al informante como guía a la hora

de responder el cuestionario.

3.2. Informante idóneo

Si bien esto no corresponde a la etapa de elaboración del cuestionario mismo, es importante

para el éxito del proceso definir quién es el informante adecuado dentro de la empresa. Para

esto es necesario definir el perfil del informante, el cual debe cumplir un conjunto de


6

características (cargo en la empresa, accesibilidad, conocimiento de la empresa) que debe

reunir la persona que contesta el cuestionario, con el fin de que los datos sean lo más veraces

posible, de acuerdo a los objetivos del proyecto. Por ejemplo, si sé pregunta por ventas de la

empresa, el informante adecuado para responder esta pregunta, sería un contador, pero si se

pregunta por número de personal, lo asertivo es que respondiera alguien de la unidad de

recursos humanos.

Se requiere siempre tener bien identificado al informante, esto permite ahorrar tiempo y

posibles rectificaciones a los datos solicitados. Además, tener los datos de contacto permite

que se pueda contactar en forma eficiente al informante y aclarar las dudas respectivas para

validar la encuesta.

Se sugiere siempre incluir en los formularios una sección de identificación del informante.

Figura 2 - Identificación del informante - Índice de Ventas de Comercio al por Menor

Se ha notado que, en algunas ocasiones, el quiebre de la serie en los indicadores coyunturales

o un patrón distinto de datos en las encuestas estructurales, está relacionado con un cambio

de informante, el cual no se ha detectado a tiempo.

3.3. Plazo adecuado para responder

Al igual que el punto anterior, esto no es parte del formulario mismo pero sí de su

planificación. Cuando se piensa en estudiar un fenómeno y confeccionar un formulario para

recoger los datos necesarios, es vital cuantificar el tiempo que el informante necesitará para

responder y cuándo es la época del año o del mes donde se les solicitará.

En el caso de la ENIA, se tienen una serie de formularios dirigidos a las empresas y

establecimientos que buscar responder ciertos objetivos. Mucha de la información es contable

y por lo tanto es imposible pretender tener estos datos justo al final del año donde las

empresas están terminando sus informes financieros.


7

4. Metodología aplicada en Encuestas INE

Se ha presentado al equipo de Energía dos experiencias de productos INE que presentan

diferencias en cuanto a la elaboración de sus formularios. Sin embargo, cabe señalar que en un

plano general la formulación de cuestionarios en el INE sigue un patrón general, el cual se va

adaptando a las necesidades particulares de cada estudio. Los pasos básicos que siguen los

productos INE son:

- Definir el (los) objetivos de la encuesta, uso de los resultados y población objetivo.

- Definir un borrador de preguntas.

- Pilotear y reajustar el cuestionario.

4.1 Experiencia Encuesta de Innovación y Gasto en I+D (I&D)2

La Encuestas de Innovación y Gasto en I+D (I&D) es un producto que nace en concordancia con

el Ministerio de Economía y Fomento, por lo que el plan de trabajo y aprobación de las

diferentes etapas contempladas en él, se realiza en forma conjunta entre las dos entidades.

En particular, la experiencia de I&D se pueden identificar los siguientes procedimientos:

2 Para mayores detalles sobre elaboración formulario de Encuesta I&D, ver anexo N°1.

Paso 1.

• Definir los objetivos.

• Definir el uso final de los datos.

• Definir el grupo(s) de estudio.

Paso 2.

• Conformar mesas de trabajo con agentes relacionados.

• Traducir los acuerdos en preguntas y categorías de respuestas.

• Esquematizar de manera simple y clara un borrador de preguntas.

• Mantener el formulario lo más corto y preciso a modo de maximizar la tasa de respuesta.

• Asegurar que los informantes puedan emitir comentarios sobre el formulario aplicado

Paso 3.• Testee la encuesta en un grupo pequeño para identificar

debilidades en el diseño.

• Ajuste el formulario de ser necesario.


8

Considerando la experiencia que ha ido adquiriendo el equipo de I&D y las necesidades de

actualizar la metodología, el formulario ha experimentado cambios que abarcan tanto el

diseño como el contenido, lo cual ha permitido mejorar el instrumento de captura de

información. Dentro de los principales cambios se pueden destacar los siguientes:

o Las modificaciones de forma estuvieron asociados a la lógica de leer y responder los

cuestionarios. De esta forma se actualizó la orientación del formulario, siendo

actualmente de manera horizontal y las preguntas siguen la lógica de izquierda a

derecha y hacía abajo

o Las actualizaciones de contenido estuvieron basadas en la revisión y redacción de

preguntas, ya sea mediante reformulación de parafraseo (a un lenguaje claro y

entendible por el informante) o bien apertura de respuesta que facilitan la

recolección de información. Otro factor clave, fue la reubicación de los módulos, ya

que esto permite la fluidez a la hora de responder de los informantes.

Es necesario destacar, que un punto clave para llevar a cabo todos los cambios

planificados, fue la realización de focus group integrado por informantes. Este feedback

fue relevante a la hora de llegar a consenso con los diferentes cambios a implementar,

tanto de forma como de fondo, lo que permitió optimizar la herramienta de captura.

Como resultado de lo antes expuesto, la estructura y diseño de los formularios de la

encuesta de I&D se basa en el perfil del informante, ya sea empresa, sectores u

observatorios astronómicos

A continuación se detalla la estructura de cada uno de ellos:


9

7a Encuesta sobre Gasto y Personal en Investigación y Desarrollo (I+D) en Empresas

2015 (año de referencia 2014)3:

3 La encuesta sobre Gasto y Personal en Investigación y Desarrollo para empresas inició con un desfase de dos años respecto a sus pares asociadas a sectores y observatorios astronómicos.


10

5a Encuesta sobre Gasto y Personal en Investigación y Desarrollo (I+D) en Sectores

2015 (año de referencia 2014)


11

5a Encuesta sobre Gasto y Personal en Investigación y Desarrollo (I+D) en

Observatorios astronómicos 2015 (año de referencia 2014).

4.2. Experiencia Encuesta Nacional de la Industria Manufacturera (ENIA)

Por su lado, la encuesta ENIA es un producto INE el cual estudia la estructura de la industria

manufacturera tratando de responder a los siguientes objetivos:

• Recoger información a nivel de establecimiento manufacturero.

• Recolectar información detallada de productos y materias primas utilizadas.

• Caracterizar la utilización de recursos comprados/contratados por el

establecimiento.

• Proveer información base para la construcción de agregados (VBP, CI, VA).

Dado lo anterior, la estructura de los cuestionarios que se aplican en este producto presentan

una complejidad que va estrechamente relacionado con la variedad de formularios para cada


12

unidad de observación, dependiendo de sí está es uniestablecimiento o multiestablecimiento

y si es uniactividad o multiactividad. Las combinaciones entre ellas determinan los

formularios recibe el informante.

Para tales efectos y en consideración a las características de las unidades analizadas e

informantes, su diseño contempla:

• Formularios autoaplicados.

• Presentación impresa y digital.

• Modulares, organizados en secciones homogéneas (temáticas).

• Codificación en base a estructura modular para gestión informática.

• Diferenciados según organización de la empresa (UNI/MULTI).

De esta forma la ENIA aplica una serie de formularios que van orientados a los distintos

objetivos de la encuesta. A modo de ejemplo, a continuación se explica el caso general para un

establecimiento manufacturero.

Dado lo complejo de la información que recaudan los formularios que componen la encuesta

de la ENIA, es que los cambios a dichos instrumentos se realizan bajo el acuerdo de mesas

*Caso general, para establecimiento manufacturero

Caracterización

de la actividad

manufacturera


13

trabajos compuestas por distintos profesionales del INE. Las actualizaciones han abarcado

términos fondo como:

La eliminación de formularios que después de varios estudios internos

demostraron que no presentaban un valor agregado en cuando al estudio del

sector, sino que por el contrario generaban un aumento de la tasa de no

respuesta.

Reestructuración de los módulos que componen los formularios.

También se han generado cambios de formato que han permitido mejorar la percepción por

parte del informante, dentro de los cuales se puede destacar:

o La orientación vertical del formulario (al menos la primera plana, dado que por el

detalle de los datos requeridos, las planas interiores siguen manteniendo una

orientación horizontal

Antes Actual

o Se actualizó el parafraseo de varias preguntas para qué estás fueran más fácil de

entender por parte del informante.

Dado lo anterior, la actual composición de los formularios de la ENIA, es la siguiente


14

Cabe destacar que una vez que los formularios son aplicados, es útil llevar un control de los

errores más frecuentes o respuestas más comunes, permitiendo identificar potenciales


15

actualizaciones para el siguiente levantamiento. Esto se puede implementar en los sistemas

de manera de tener reportes que sirvan para esta labor.

5. Estructura de los formularios del BNE

En este informe se ha hecho, hasta ahora, un análisis general de los formularios utilizados por el

INE y algunas recomendaciones asociadas a la experiencia que se ha logrado a través del tiempo

en este tema.

En este apartado se abordará la estructura de los formularios del BNE, analizando sus módulos y

su contenido.

Dado que las combinaciones de formularios a responder depende de la actividad que desarrolla

cada empresa, nos centraremos en los formularios que debería contestar una generadora de

electricidad.

Formularios BNE

Cabe señalar que para acceder a los formularios que comprende el levantamiento del BNE,

solo se puede hacer a través de la plataforma SIBNE. No existe, como en productos del INE,

acceso en el sitio de la Subsecretaría para imprimir uno o todos los formularios. Esto no es

problema si el total de las empresas contestan por el sistema, pero podría ser útil para que el

informante pueda preparar la información con anticipación, entendiendo que generalmente

los sistemas salen automáticamente después de un tiempo de inactividad.

La estructura de los formularios utilizados en el BNE en general es acertada porque se dividen

de acuerdo a lo que aplica a cada empresa, y las preguntas son las específicas para lo que el

estudio necesita.

La sección inicial pregunta por los datos de la empresa, que al igual que las encuestas INE es la

primera información necesaria. Ya mencionamos lo importante que es tener bien identificado

al infórmate idóneo, pero los datos de la empresa son vitales también porque permiten

mantener actualizado el directorio de empresas e identificar posibles cambios de personalidad

jurídica. Por ejemplo, muchas empresas pueden cambiar el RUT o la razón social de un año a

otro y la dirección cobra importancia como validador.


16

Figura 3 - Identificación empresa BNE

Tal como se observa en la figura 3, se pregunta la dirección de la empresa sin ninguna

especificación adicional. Recomendamos que, tal como en otras preguntas del BNE donde

existe una descripción al poner el cursor en el recuadro, se pueda poner una nota parecida a la

que existe en la ENIA en esta sección (figura 4). Con esta simple descripción se puede

solucionar el problema de direcciones parecidas, pero donde una corresponde a una avenida y

la otra a una calle, por ejemplo. Esto permite comparación en el tiempo, y es importante si se

implementa un identificador como el NUI, donde esta variable es fundamental.


17

Figura 4 - Identificación empresa INE

De igual forma se pueden incluir, en otras preguntas de esta sección, indicaciones o descripciones que permitan uniformar la respuesta por parte de los informantes. Por ejemplo, cuando se consulta por el fono de contacto, es importante señalar que se utilice el nuevo formato de marcación de 9 dígitos, ejemplo para Santiago 222553344, y para celulares 999887766.

Una vez que se completa esta sección de información de la empresa y se identifica algún

establecimiento, el sistema muestra el set de formularios que se deben completar. En el caso de

una generadora eléctrica es el set que se identifica en la figura 5

Como se mencionó anteriormente consideramos acertado que cada formulario esté diferenciado

de acuerdo al objetivo que busca medir dentro del BNE.


18

Figura 5 - Formularios BNE – Empresa generadora de electricidad

Observando cada formulario aplicado a las generadoras de electricidad, se aprecia la simplicidad y

lo acotado de las preguntas. Sin embargo existen problemas de ortografía en las pestañas

desplegables. Varios de ellos ya fueron mencionados en el tercer informe del convenio.

La figura 6 corresponde al formulario de adquisiciones donde se detalla por energético, la

importación, compras nacionales y el inventario. Este es un formulario simple y directo de lo que

se requiere para formar algunos cuadros del BNE, y se observa además que existen descripciones

de las preguntas cuando el cursor se ubica en cada recuadro. Como recomendación creemos que

esta ayuda debería ser más explícita, recordando mediante alguna nota en cada formulario que

existe una descripción a la pregunta que se activa ubicando el cursor.


19

Figura 6 – Formulario adquisiciones – Empresa generadora de electricidad

Esta descripción además debe ser clara y ayudar al informante, por ejemplo la descripción de la

pregunta nombre empresa en la sección de compras nacionales es “nombre empresa”. No queda

claro si se refiere a la empresa a quien se compra o la empresa que está respondiendo.


20

Respecto a los inventarios de cada energético informado por las empresas en este formulario,

recomendamos explicitar incluso el año de consulta. Como ya mencionamos lo importante es no

dejar espacios para interpretación.

Como ejemplo se ilustra este módulo en el formulario de la ENIA

Una vez se completa este formulario, se debe completar el que está dirigido a capturar precios de

adquisición. Es un formulario muy simple y las preguntas están bien definidas.

En el formulario de transformación para generadoras eléctricas, como recomendación, se podría

avanzar en personalizar la ayuda. Por ejemplo, al poner el ícono en el cuadro de generación hídrica

bruta, la nota es la misma que para térmica donde está asociada a un energético o combustible.


21

El formulario de venta de energéticos es directo y en general se define bien lo que se busca

consultar. Solo presenta algunos problemas de ortografía en las opciones de las pestañas, que

recomendamos revisar.

Finalmente, en el formulario de compra/venta de electricidad se observa que al desplegar la

sección de compra/venta de electricidad se esconde la descripción de una de las variables a

consultar.

En este formulario por ejemplo no se define lo que es el precio medio, lo que sí se hace en otros

formularios. Se recomienda uniformar esta situación.


22

6. Conclusiones

El presente la experiencia del INE respecto de la elaboración de formularios, donde se señalaron

una serie de recomendaciones y propuestas que en la medida que la Subsecretaría adopte o

adapte servirán de apoyo para mejorar el proceso de levantamiento propio del BNE.

Todo formulario es perfectible/ampliable en el tiempo, pero no debe olvidar el objetivo bajo el

cual fue diseñado; uno de los errores más usuales es anclar o insertar módulos o preguntas que no

están dentro del objeto de estudio de la encuesta, lo que puede traducirse en una traba potencial

al éxito de un proceso de levantamiento.

El llevar un control de los errores más frecuentes o respuestas más comunes permite identificar

potenciales actualizaciones para el siguiente levantamiento.

Es importante dentro de la elaboración de formularios interactuar con agentes relacionados a la

actividad e ir traduciendo los acuerdos en el cuestionario. La experiencia del INE al respecto indica

que de ser necesario se pueden realizar focus group para determinar las variables relevantes para

el estudio y la forma correcta de plantearla a los informantes.

Como en general los fenómenos se estudian cada cierto tiempo, es vital comunicar a los

informantes sobre los cambios sustanciales que se han hecho a los formularios. El no hacerlo

puede traer problemas en la calidad de la información y el posterior análisis de esta.

Respecto de los formularios utilizados en el BNE, se observa en general su simplicidad y que las

preguntas son las necesarias para realizar el estudio. Las recomendaciones principales están

orientadas a hacer más amigable estos formularios para los usuarios, definiendo bien los

conceptos que se consultan y evitando la interpretación del informante. Se tomó como ejemplo

los formularios que contesta una empresa generadora de electricidad.

Dado que los formularios solo se pueden observar en la plataforma SIBNE, recomendamos que

exista una versión imprimible que permita al informante preparar la información.


23

7. Anexo

- Anexo N° 1: Presentación formularios Encuesta de I+D:


24


25


26


27


28


29


30


31


32


33

- Anexo N° 2: Presentación Formularios ENIA:


34


35


36


37


38


39


40


41

CUARTO INFORME: Análisis de los formularios, las...

Documents

Transcript of CUARTO INFORME: Análisis de los formularios, las...