Estudio piloto de Paraguay, Programa de Evaluacion y Monitoreo de la Alfabetizacion

INFORME FINAL DEL ESTUDIO PILOTO

DE PARAGUAY

PROGRAMA DE EVALUACIÓN Y MONITOREO DE LA ALFABETIZACIÓN

(LAMP)

Paraguay, Noviembre 2010

Con el apoyo de:

Ficha Técnica

EQUIPO DE ELABORACIÓN

Ministerio de Educación y Cultura

Dalila Zarza Paredes, Directora de Estadística Educativa (DIEE/DGPE) Graciela Sosa, Directora de Evaluación y Calidad Educativa (DECE/DGPE)

Nidia Glavinich, Jefa del Departamento de Planificación, Investigación, Innovación y Evaluación de la Dirección General de Educación Permanente

(DGEP) Ada Lina Guerrero Piris, Técnica de la Dirección de Estadística Educativa

(DIEE/DGPE)

Arnaldo Ortiz, Técnico de la Dirección de Evaluación de Calidad Educativa (DECE/DGPE)

Edgar Osvaldo Brizuela Vera, Jefe de departamento de Diseño Curricular (DGCEO)

Lidia Manuela Fabio de Garay, Jefa de departamento de apoyo a la

implementación curricular en medios comunicativos (DGCEO) Oscar Gaona, Asistente Técnico en Investigación (MEC-OEI)

Organización de Estados Iberoamericanos (OEI)

Instituto para el Desarrollo y la Innovación Educativa (IDIE)

Federico Barrios Sosa, Coordinador del Equipo Técnico Nacional LAMP

Nelly Briet, Asistente Técnica en Investigación

Corrección de Estilo

María Gilda Vázquez, Técnica de la Dirección de Estadística Educativa

(DIEE/DGPE)

Edición

Marcela Capra, Departamento de Comunicación (OEI)

© Dirección General de Estadística, Encuestas y Censos ,Ministerio de Educación y Cultura y Organización de Estados Iberoamericanos.

Noviembre, 2010

AUTORIDADES

Ministerio de Educación y Cultura (MEC)

Luis Alberto Riart Montaner, Ministro

Diana Serafini Fernández, Viceministra

Viceministerio de Educación para la Gestión Educativa

Héctor Valdez Alé, Viceministro

Viceministerio de Educación para el Desarrollo Educativo

Mirna Vera Notario, Directora General Dirección General de Planificación Educativa (DGPE)

María de la Paz Bareiro Dorroum, Directora General Dirección General de Educación Permanente (DGEP)

Organización de Estados Iberoamericanos (OEI)

Luis Scasso, Director General de Cooperación y Educación Permanente

Dirección General de Estadística, Encuestas y Censos (DGEEC)

Zulma Sosa, Directora General

Dirección General de Estadística, Encuestas y Censos

Índice

Presentación ................................................................................................. 11

RESUMEN EJECUTIVO ................................................................................... 13

INTRODUCCIÓN ............................................................................... 15

1. MARCO CONCEPTUAL Y METODOLÓGICO DEL LAMP .......... 19

2. ESTUDIO PILOTO LAMP EN PARAGUAY ............................... 25

2.1. Objetivos del estudio Piloto ................................................... 25

2.2. Población y Muestra .............................................................. 26

2.2.1. Consideraciones sobre población objetivo ........................... 26

2.2.2. Consideraciones sobre unidades muestrales ........................ 26

2.2.3. Marco muestral utilizado.................................................... 27

2.2.4. Tamaño de la muestra ...................................................... 28

2.2.5. Diseño de la muestra ........................................................ 28

2.3. Adaptación y revisión de instrumentos y manuales LAMP ......... 30

2.3.1. Conformación y capacitación de los equipos de trabajo de adaptación…… .................................................................................... 31

2.3.2. Proceso de adaptación de los instrumentos ......................... 31

2.3.3. Talleres de adaptación ...................................................... 33

2.3.4. Aspectos positivos del proceso de adaptación ...................... 36

2.3.5. Dificultades encontradas durante el proceso de adaptación .. 37

2.4. Capacitación ........................................................................ 37

2.4.1. Capacitación a supervisores y encuestadores ...................... 37

2.4.1.1. Objetivos generales y organización de las capacitaciones a supervisores y encuestadores ............................................................... 38

2.4.1.2. Desarrollo de la capacitación a supervisores y encuestadores 39

2.4.2. Capacitación a correctores ................................................. 40

2.4.3. Capacitación a digitadores ................................................. 42

2.4.4. Capacitación a codificadores ............................................. 42

2.5. Recolección de datos ............................................................ 43

2.5.1. Organización y logística del trabajo de campo ..................... 44

2.5.2. Estrategia para minimizar la tasa de no respuesta ............... 46

2.5.3. Desarrollo del trabajo de campo......................................... 48

2.5.4. Entrevista e instrumentos .................................................. 50

2.6. Asignación de puntajes ......................................................... 58

2.6.1. Procedimientos para la corrección de instrumentos .............. 59

2.6.2. Informes comparativos de asignación de puntajes ............... 63

2.7. Codificación del cuestionario de antecedentes ......................... 65

2.8. Procesamiento de datos ........................................................ 66

2.8.1. Recepción y organización de los cuestionarios…..……………….66

2.8.2. Captura de datos .............................................................. 66

2.8.3. Descripción de la base de datos y registros ......................... 67

2.8.4. Verificación de la captura de datos ..................................... 67

2.8.5. Validación y consistencia ................................................... 67

2.9. Control de calidad ................................................................. 68

2.9.1. Control de calidad de la adaptación de los instrumentos ....... 68

2.9.2. Control de calidad de la capacitación a encuestadores y supervisores ...................................................................................... 68

2.9.3. Control de calidad de la muestra ........................................ 68

2.9.4. Control de calidad de recolección de datos .......................... 69

2.9.5. Control de calidad del procesamiento de datos .................... 70

2.9.5.1. Corrección y codificación ................................................... 70

2.9.5.2. Programa de consistencia de datos de los instrumentos ...... 70

2.10. Estudio etnográfico ............................................................... 71

3. PRINCIPALES RESULTADOS ................................................. 72

3.1. Evaluación del marco muestral ............................................... 72

3.2. Funcionamiento del CA y de los instrumentos cognitivos .......... 76

3.3. Capacitaciones, recolección y procesamiento de datos ............. 78

3.3.1. Capacitaciones ................................................................. 78

3.3.2. Recolección de datos ........................................................ 79

3.3.3. Procesamiento de los datos ............................................... 80

3.3.4. Aspectos relacionados al costo ........................................... 80

3.3.5. Capacidades nacionales para la implementación de la encuesta principal …………………………………………………………………………………….81

3.3.6. Difusión de los resultados de la prueba piloto ...................... 82

4. SUGERENCIAS ....................................................................... 83

4.1. Población y muestra ............................................................. 83

4.2. Adaptación ........................................................................... 84

4.3. Capacitación ........................................................................ 84

4.3.1. Personal de campo ........................................................... 84

4.3.2. Correctores ...................................................................... 85

4.3.3. Digitadores y codificadores ................................................ 86

4.4. Recolección de datos ............................................................ 86

4.4.1. Operativo de campo.......................................................... 86

4.4.2. Entrevista e instrumentos .................................................. 87

4.4.2.1. Secuencia de la entrevista ................................................. 87

4.4.2.2. Instrumentos ................................................................... 87

4.5. Codificación ......................................................................... 89

4.6. Procesamiento de datos ........................................................ 89

BIBLIOGRAFÍA ................................................................................. 90

Índice de tablas y anexos TABLAS

Tabla 1. Muestra del estudio piloto………………………………………………………………….30

Tabla 2. Número y porcentaje de consistencias e inconsistencias entre

correctores……………………………………………………………………………………………………..64

Tabla 3. Resultado final de la muestra por nivel educativo según Módulos A y B y

Cuadernillos 1 y 2 ……………………………………………………………………..…………….…….72

Tabla 4. Cantidad de entrevistas según código de situación final en la

encuesta…………………………………………………………………………………………………………73

Tabla 5. Distribución de encuestados por sexo y edad ………………………………………75

ANEXOS

Anexo A. Perfiles y responsabilidades de supervisores y

encuestadores…………………………………………………………………………………………………92

Anexo B. Tiempo de aplicación de instrumentos según código de situación

final……………………………………………………………………………………………………………….96

Anexo C. Perfiles y responsabilidades de correctores.............…………………………….98

Anexo D. Duración media de la entrevista.............………………………………….………100

Agradecimientos

La concreción del estudio piloto del Programa de Evaluación y Monitoreo de

la Alfabetización (LAMP), reflejada en el presente Informe, ha sido factible

gracias al trabajo interinstitucional y multidisciplinario de los directivos, funcionarios y técnicos de las instituciones nacionales responsables de

coordinar el estudio, quienes aportaron su conocimiento, experiencia y tiempo, sumados al entusiasmo y compromiso, para llevar a cabo esta

experiencia.

Al apoyo y orientaciones otorgados por los Especialistas del Instituto de

Estadística de la Unesco a lo largo de todo el desarrollo del proceso.

Especialmente a las personas encuestadas por brindar su mejor predisposición y tiempo para la aplicación de las entrevistas del LAMP en

Paraguay.

LISTA DE SIGLAS Y ACRÓNIMOS UTILIZADOS

CINE: Clasificación Internacional Normalizada de la Educación

CIUO: Clasificación Internacional Uniforme de Ocupaciones

CIIU: Clasificación Internacional Industrial Uniforme CMI: Comisión Mixta Interinstitucional

DECE: Dirección de Evaluación de la Calidad Educativa DGPE: Dirección General de Planificación Educativa

DGEEC: Dirección General de Estadística, Encuestas y Censos

DGEP: Dirección General de Educación Permanente DIEE: Dirección de Estadística Educativa

EEB: Educación Escolar Básica EJA: Educación de Jóvenes y Adultos

EPH: Encuesta Permanente de Hogares ETN: Equipo Técnico Nacional

IDIE: Instituto para el Desarrollo y la Innovación Educativa

INP: Informe Nacional de Planeación IPG: Índice de Priorización Geográfica

IRL: International Record Layout, Formato Internacional de Registros LAMP: Programa de Evaluación y Monitoreo de la Alfabetización

MEC: Ministerio de Educación y Cultura

MoU: Memorándum de Entendimiento Mercosur: Mercado Común del Sur

NBI: Necesidades Básicas Insatisfechas OEI: Organización de Estados Iberoamericanos para la Educación, la Ciencia

y la Cultura PAPI: Entrevista Papel y Lápiz

PDN: Prosa, Documentos y Números

PIA: Plan Iberoamericano de Alfabetización y Educación Básica de Personas Jóvenes y Adultas

RI: Regla de Interrupción UIS: Instituto de Estadística de la Unesco

Unesco: Organización de las Naciones Unidas para la Educación, la Ciencia y

la Cultura USM: Unidad Secundaria de Muestreo

Nota: En el presente documento, se utiliza el género masculino sin

implicancias discriminatorias y con el solo propósito de facilitar la lectura.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa 11

Presentación

La cooperación en materia educativa requiere, entre otros aspectos, conocer, valorar, registrar, evaluar y sistematizar diversas experiencias que

dan respuesta a múltiples necesidades; así como también profundizar el

estudio de los campos del conocimiento.

De este modo y en cumplimiento de los objetivos Institucionales de la OEI, del Plan Iberoamericano de Alfabetización y en el marco de “Metas

Educativas 2021: La educación que queremos para la generación del Bicentenario”, el Instituto para el Desarrollo y la Innovación Educativa (IDIE

MERCOSUR), especializado en alfabetización y educación de personas

jóvenes y adultas, con Sede en Asunción realiza desde 2008 estudios, investigaciones y sistematizaciones destinadas a identificar buenas prácticas,

así como a favorecer el intercambio de experiencias entre los países del Mercosur.

Si bien todas las publicaciones y actividades del IDIE se encuentran en su página web www.oei.org.py/idie, valoramos la necesidad de establecer una

línea de publicaciones impresas “Colección IDIE MERCOSUR” que tengo el placer de presentar, cuyo tamaño y diseño favoreciera su uso como

elemento de estudio, trabajo o consulta.

Para el desarrollo de las investigaciones y su publicación contamos con el

inestimable apoyo del Ministerio de Educación de Paraguay y del Ministerio de Educación de España, así como con la colaboración de los Ministerios de

Educación de los países del Mercosur.

Agradecemos a todos quienes apoyan esta iniciativa y deseamos que estos

recursos sean de vuestro interés y utilidad para mejorar la educación de nuestros jóvenes y adultos.

Luis Scasso Director General

Cooperación y Educación Permanente Organización de Estados Iberoamericanos

http://www.oei.org.py/idie


RESUMEN EJECUTIVO

El Programa de Monitoreo y Evaluación de la Alfabetización (LAMP) propone una medición directa de los niveles de alfabetismo de la población joven y

adulta de 15 años y más, y se realiza a través de la aplicación de un

cuestionario de contexto y de pruebas cognitivas a un miembro seleccionado aleatoriamente dentro de un hogar. Las viviendas y los hogares, medios

para llegar a los individuos, son también elegidos de forma aleatoria. La necesidad de contar con datos válidos, confiables y pertinentes en el

contexto sociocultural nacional y comparables en el plano internacional para

el desarrollo, ejecución, monitoreo y evaluación de políticas y programas no solo educativos sino también intersectoriales, ha llevado al Ministerio de

Educación y Cultura (MEC) conjuntamente con la cooperación de la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la

Cultura y de la Dirección General de Estadística, Encuestas y Censos, a la

implementación del LAMP. En el primer semestre del año 2010, se realizó el Estudio Piloto LAMP en

Paraguay, cuyas metas principales han sido probar en terreno las diferentes etapas de la encuesta, la batería de instrumentos proporcionados por el

Instituto de Estadística de la Unesco (UIS) y adaptados al contexto local por los equipos técnicos nacionales, ensayar tanto el proceso de capacitación

como la capacidad operacional instalada en términos de recursos humanos,

logística, tiempo, costo, entre otros aspectos, y analizar a lo largo del estudio piloto las modificaciones necesarias y pertinentes para garantizar la

calidad de la aplicación de la encuesta principal y consecuentemente de sus resultados.

Para llevar adelante el estudio piloto, se han desarrollado procesos

fundamentales como la definición de la población y de la muestra; la adaptación y revisión de los instrumentos y manuales LAMP; la capacitación

del personal técnico involucrado; la recolección de datos; la asignación de puntajes; la crítica y codificación del Cuestionario de Antecedentes; el

procesamiento de datos; el control de calidad; y finalmente la implementación del estudio etnográfico.

El operativo de campo se llevó a cabo del 17 de marzo al 9 de abril de 2010

en los distritos de Juan de Mena, José Falcón, Itauguá, Limpio, Asunción, Itá, San Lorenzo y Villa Elisa. Todo el trabajo de campo fue monitoreado por

la Coordinación Técnica, con el asesoramiento de especialistas del UIS Montreal, a efectos de asegurar el cumplimiento de las normas y pautas

estandarizadas y definidas en el marco del LAMP.


Finalmente, es preciso poner énfasis en los logros de la encuesta piloto que

permitieron dimensionar los esfuerzos y ajustes necesarios para la implementación exitosa de la encuesta principal.

La implementación de cada etapa permitió derivar los siguientes hallazgos:

La tasa de no respuesta constituida por rechazos, casos

incompletos, interrupciones, etc. fue mayor a la esperada, particularmente en los estratos socioeconómicos altos. Asimismo, el

diseño y tamaño de la muestra serán redefinidos para la implementación del estudio principal.

Los datos del estudio piloto muestran una sobrerrepresentación de

las mujeres, situación que deberá ser monitoreada sistemáticamente en la encuesta principal para evitar sesgos en los resultados finales.

Los instrumentos cognitivos tendrán ajustes mínimos conforme a los resultados del estudio piloto. La adaptación del Cuestionario de

Antecedentes constituye un reto para el equipo técnico nacional que revisará su estructura así como su adecuación al contexto local.

La ampliación de la capacitación a todos los actores involucrados

representa un desafío de primer orden por su impacto directo en la recolección y procesamiento de datos (acopio, codificación,

corrección, digitación), así como el reclutamiento y selección de los recursos humanos para las diversas funciones.

En general, la duración promedio de la entrevista tuvo una

extensión mayor a lo planificado, lo que incidió negativamente en algunos aspectos de la aplicación de las pruebas.

Algunos procedimientos puestos a prueba necesitan ser ajustados y fortalecidos para garantizar el buen desarrollo de todas las etapas y

asegurar la cobertura, validez y precisión de la investigación. El presupuesto de la Encuesta Principal necesita ser revisado y

adecuado teniendo en cuenta las diversas situaciones emergentes

en el trabajo de campo del estudio piloto que permitió dimensionar en su justa medida la envergadura del operativo.

Se destaca como valor agregado el trabajo interinstitucional e interdisciplinario llevado a cabo durante el estudio, promoviendo el

trabajo cooperativo.

La experiencia piloto instaló capacidades técnicas en las instituciones involucradas en diferentes áreas de investigación, que

serán aprovechadas en la aplicación principal.

Palabras claves: Estudio piloto, Paraguay, Programa de Monitoreo y

Evaluación de la Alfabetización (LAMP).


INTRODUCCIÓN

Antecedentes y fundamentación de la participación de Paraguay en

el LAMP

En marzo de 2007 se suscribió la Ayuda Memoria entre el Gobierno de la

República del Paraguay y la Unesco, destacándose principalmente la

necesidad de contar con la cooperación de ese organismo para dotar al país de sistemas de información que permitan mejorar la planificación y el

monitoreo de políticas más efectivas de Educación de Jóvenes y Adultos (EJA), y además la posibilidad de la participación de Paraguay en la

implementación del Programa de Evaluación y Monitoreo de la Alfabetización

(LAMP). De esta manera se inició la etapa exploratoria para la implementación del LAMP en Paraguay.

Posteriormente, en diciembre de 2007, el Ministerio de Educación y Cultura de Paraguay declaró oficialmente su interés para la implementación del

LAMP.

En julio de 2008 se organizó en Asunción una reunión técnica con la presencia del Especialista Principal del LAMP. El 6 de octubre de 2008 se

firmó el “Convenio Específico de Cooperación Interinstitucional entre el Ministerio de Educación y Cultura (MEC), la Organización de Estados

Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) y la Dirección General de Estadística, Encuestas y Censos (DGEEC), para la

implementación del Programa de Evaluación y Monitoreo de la

Alfabetización”. En el marco del Plan Iberoamericano de Alfabetización y Educación de Jóvenes y Adultos 2007-2015 (PIA) con apoyo de la Agencia

Española de Cooperación Internacional y de Desarrollo (AECID), la OEI ofreció un apoyo financiero y técnico para la realización del estudio piloto del

LAMP, y el MEC y la DGEEC se comprometieron a aportar las contrapartidas

nacionales respectivas. Asimismo, se constituyeron formalmente la Comisión Mixta Interinstitucional (CMI) y el Equipo Técnico Nacional (ETN),

responsables de la elaboración del Informe Nacional de Planeación y de la ejecución de las actividades del estudio, integrado por representantes de

cada una de las instituciones mencionadas.

La participación de Paraguay en el LAMP se formalizó con la aprobación del

Informe Nacional de Planeación, en agosto de 2009, y la suscripción del


Memorándum de Entendimiento (MoU) entre el Instituto de Estadística de la

Unesco (UIS) y la República del Paraguay.

El actual sistema de medición de la alfabetización en Paraguay presenta limitaciones pues, por un lado, no da cuenta de las competencias en lectura

de las personas, ya que se sustenta en indicadores indirectos1. Por otro lado, la información disponible actualmente es insuficiente para monitorear y

evaluar las políticas educativas implementadas. Por ello, el MEC consideró

indispensable llevar a cabo un estudio de medición directa de las competencias en alfabetismo en la población joven y adulta, para disponer

de datos confiables sobre la distribución real de las competencias en lectura y manejo de números, con vistas a diseñar políticas de educación

permanente más pertinentes, revisar y ajustar la oferta educativa del

sistema escolar, cuyos déficits configuran el telón de fondo del problema de los bajos niveles de alfabetismo acumulado.

Mediante la información obtenida a través del estudio LAMP se pretende contribuir a la definición de planes, programas y proyectos sociales e

intersectoriales más pertinentes, que posibiliten mejorar la calidad de vida de la población del país.

Trabajo interinstitucional

El proceso de implementación de la prueba piloto contó con una coordinación nacional encargada de las actividades del LAMP y se constituyó

un Equipo Técnico Nacional (ETN), responsable de la coordinación técnica

de las actividades de la prueba piloto, integrado por representantes del MEC, DGEEC y OEI.

Durante todo el proceso, el ETN presentó los alcances, las dificultades y las propuestas técnicas a la Comisión Mixta Interinstitucional (CMI), instancia

constituida por las máximas autoridades de las instituciones involucradas en la implementación del LAMP, responsable del seguimiento de las actividades

del ETN así como de la aprobación de las propuestas técnicas acordadas

entre las instituciones, o de tomar decisiones respecto a las modificaciones correspondientes.

Se constituyeron equipos técnicos ad hoc integrados por funcionarios de las diferentes instituciones involucradas, principalmente de las dependencias del

MEC (Dirección General de Planificación Educativa, Dirección General de

Educación Permanente, Dirección General de Currículum, Orientación y Evaluación Educativa) para las diferentes etapas del proceso.

Vale la pena destacar que en el marco de todo este proceso, el trabajo interinstitucional e interdisciplinario llevado a cabo constituyó un valor

1 Actualmente, en Paraguay, se determina si una persona es alfabeta o analfabeta a partir de la

autodeclaración y en función de su nivel educativo.


agregado teniendo en cuenta que contribuyó a fomentar el desarrollo de

actividades de manera cooperativa complementando criterios y estrategias a

partir de aportes de cada integrante, lo cual enriqueció esta experiencia.

Por otro lado, el trabajo interinstitucional representó un desafío importante para las instituciones involucradas considerando la necesidad de poner a

disposición, a tiempo completo, los recursos humanos comprometidos en las

actividades del LAMP.

Situación sociolingüística de Paraguay

La situación sociolingüística de Paraguay se caracteriza esencialmente por

un contacto histórico de las dos lenguas oficiales del país, el castellano y el guaraní, estableciéndose entre ambas una constante interacción en la vida

cotidiana de las personas, especialmente en el ámbito de la comunicación oral.

En Paraguay se han acuñado dos conceptos lingüísticos en guaraní para

explicar fenómenos usuales que se presentan debido al contacto de sus dos lenguas oficiales: jopara y jehe’a. En el uso común de estos dos términos

guaraníes, el primero hace alusión literalmente a una mezcla donde se observa heterogeneidad; la segunda, a una mezcla mucho más homogénea

(Ministerio de Educación y Cultura, 2006).

Sin embargo, en el plano escrito, esta realidad presenta diferencias importantes. En primer lugar, se evidencia que la mayor parte de los

materiales escritos formales y no formales disponibles se encuentran en castellano y que a pesar de los esfuerzos realizados por el sistema educativo

paraguayo en los últimos años, existe muy poco uso del guaraní en forma escrita, por lo que la población en general utiliza escasamente los códigos

escritos de esta lengua en su vida cotidiana.

En este contexto, Paraguay aplicó la encuesta LAMP en idioma castellano, aunque el guaraní fue utilizado para establecer los primeros contactos y

minimizar los casos de rechazo, alentar al encuestado durante la aplicación de la prueba; y en algunos casos para administrar el Cuestionario de

Antecedentes (único instrumento para el que se consideró necesario realizar

una traducción al guaraní).

Estudio etnográfico

Las particularidades socioculturales de Paraguay hacen que la recolección de

los datos de la encuesta LAMP en este contexto difiera cualitativamente de la realizada en otros países. El UIS, teniendo presente la importancia de

considerar las características socioculturales de cada país, ha recomendado


incluir un estudio etnográfico durante el desarrollo de la recolección de

datos.

Se realizó un estudio etnográfico del trabajo de campo de la Encuesta LAMP en su etapa piloto, cuyo objetivo consistió en “acompañar, observar y

analizar la experiencia de aplicación de la prueba en diferentes contextos y la relación entre entrevistador y entrevistado” (Guttandin, Riquelme, 2009),

con el fin de aportar una mirada cualitativa al proceso de recolección de

datos, aspecto fundamental para poder evaluar el alcance de la encuesta LAMP en el contexto de Paraguay. Los resultados obtenidos forman parte

de un informe etnográfico independiente, sin embargo, es mencionado brevemente en el capítulo 2 “Estudio Piloto en Paraguay” atendiendo que

forma parte integral del estudio.


1. MARCO CONCEPTUAL Y METODOLÓGICO DEL LAMP2

Las sociedades contemporáneas tienen la visión de la educación como un derecho humano fundamental, desde que se proclamara formalmente la

Declaración Universal de los Derechos Humanos (1948) tras la devastadora experiencia de la Segunda Guerra Mundial.

A partir de entonces, el alcance y las especificaciones de este derecho no cesaron de crecer, basados en sucesivas redefiniciones de la problemática

educativa.

En este sentido, el concepto de educación propugnado por la UNESCO se basa en los cuatro pilares de la educación presentados en 1996 por el Grupo

de Trabajo sobre Educación para el Siglo XXI (UNESCO, 1996), vale decir, que la educación cumple una función esencial en el desarrollo de la

identidad personal (aprender a ser), dentro de un entorno colectivo donde

los seres humanos comparten sus experiencias de vida con otros (aprender a vivir juntos), mientras potencia a las personas para mejorar y expandir sus

capacidades en forma continua (aprender a conocer), hecho que se traduce en su capacidad de actuación en el mundo en sus diferentes ámbitos

(aprender a hacer).

Más tarde cobró fuerza la idea de una educación a lo largo de toda la vida,

“de la cuna hasta la tumba”, como un “marco filosófico y conceptual y un

principio organizativo de todas las formas de educación”3, donde la educación de adultos se reconoce como un componente esencial de este

derecho. Esto ante la constatación de que una población humana cada vez más numerosa se encuentra limitada en sus oportunidades de participación

en la perspectiva de una sociedad basada en la información y el

conocimiento, por su limitado acceso a la educación formal o no formal, especialmente en los países en desarrollo.

Por consiguiente, la educación se entiende como intrínsecamente importante para el desarrollo humano, ya que se encuentra inserta en el proceso de

mejoramiento de las oportunidades y libertades de cada individuo, que le

permitirán llevar adelante la clase de vida que valora, respetando los

2 Extraído del Documento técnico nº1 del Instituto Estadístico de la UNESCO, “La Nueva Generación

de Estadísticas sobre Competencias en Alfabetismo: Implementando el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP)”, UNESCO-UIS, 2009, Montreal, Canadá.

3 Marco de Acción de Belém. Aprovechar el poder y el potencial del aprendizaje y la educación de

adultos para un futuro viable. CONFINTEA VI, Belem, 2009.


derechos de los demás. Por lo tanto, la educación representa un elemento

clave en la realización de la condición humana.

Por su parte, la alfabetización es un componente central de la educación en general, particularmente con relación a la operación de los sistemas

educativos nacionales que fueron originalmente concebidos como una forma de garantizar que cada ciudadano esté dotado de las competencias básicas

en alfabetismo. Asegurar estas competencias para todas las personas es un

objetivo central de todo sistema educativo.

Sin embargo, es importante tener en cuenta que las visiones de la

alfabetización han evolucionado con el pasar del tiempo. En este sentido, la UNESCO, luego de sucesivas redefiniciones ha declarado lo siguiente:

a) El alfabetismo es la habilidad de identificar, comprender, interpretar, crear, comunicar y calcular, utilizando materiales impresos y escritos asociados con diversos contextos. El alfabetismo involucra un continuo aprendizaje que habilita a las personas a alcanzar sus objetivos, desarrollar sus conocimientos y potenciales y participar plenamente en la comunidad y en la sociedad ampliada. (Reunión

de expertos de 2003 y publicada en UNESCO, 2005); y

b) Adicionalmente, la noción de “pluralidad de la alfabetización” (2004) enfatiza su dimensión social tanto con relación a su adquisición

como aplicación. En consecuencia, la alfabetización se concibe como un conjunto que abarca prácticas diversas insertas en contextos

socioeconómicos, políticos, culturales y lingüísticos, y adquiridas

dentro y fuera de la escuela. También involucra el contexto de la familia y comunidad, los medios de comunicación a través de

distintas tecnologías, las competencias para seguir aprendiendo, el mundo laboral y la vida en general. Por ende, este concepto de

alfabetización enfatiza que los desafíos implican alfabetizar no solamente a los individuos sino también a las sociedades (UNESCO,

2004).

La evolución de estos conceptos tiende a enfatizar ciertos elementos

esenciales que deben ser tomados en cuenta en cualquier discusión sobre la alfabetización y su medición: i) la importancia de utilizar textos; ii) la

necesidad de hacerlo con comprensión, es decir, en forma competente; iii)

no restringirse a los textos, sino incluir la utilización de números (numeracy); iv) la necesidad de examinar estos temas en función de

experiencias de la vida diaria donde los múltiples y diversos aspectos de la vida social se concretan; y v) comprender que, en cualquier entorno, la vida

cotidiana nunca será una realidad aislada que sólo afecta a las personas a

nivel individual.


Esta definición hace hincapié en dos elementos: las competencias (lectura,

escritura y utilización de números [numeracy]) y los distintos escenarios de

la vida social donde las competencias de alfabetismo se manifiestan. Por consiguiente, los autores desean enfatizar que las competencias y su

utilización se encuentran inextricablemente entrelazadas.

LAMP representa un intento por proporcionar un enfoque viable que permita

generar información sobre elementos clave del fenómeno de la

alfabetización. Su principal objetivo es contribuir a la generación sostenible de evidencia acerca de un tema fundamental de la alfabetización: las

competencias de alfabetismo. De hecho, la intención del LAMP es generar información sobre lo que las personas saben y son capaces de hacer, con

relación a un conjunto definido de aspectos críticos asociados con el manejo

de textos en situaciones de la vida cotidiana.

De esta manera, LAMP se enfoca en los elementos relativos a la lectura y no

aborda la escritura. La medición confiable de las habilidades de lectura es una tarea que demanda mucho de los entrevistados dada la batería de

instrumentos requerida. Incluir un módulo sobre escritura añadiría complejidad en una manera que puede comprometer todo el esfuerzo.

LAMP intenta entregar una imagen sólida de los elementos clave que deben

tenerse en cuenta en el diseño, implementación y evaluación de las políticas. Entrega una visión detallada de la distribución de competencias en

alfabetismo (textos continuos [prose], textos esquemáticos [document] y utilización de números [numeracy]) y examina los factores que podrían estar

asociados con los bajos desempeños (componentes de lectura). Esta

información es interpretada en función del contexto socioeconómico.

¿Qué es LAMP?

El Instituto Estadístico de la UNESCO (UIS) inició el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP) en 2003 mediante un trabajo

conjunto con un número de países y organizaciones a efectos de desarrollar

un enfoque metodológico para la medición de las habilidades de lectura y uso de número entre los jóvenes y adultos, de modo a que se mejore el

cuerpo de evidencia estadística existente. Su diseño se inspiró en encuestas conducidas en países de la Organización para la Cooperación y el

Desarrollo Económico (OCDE). La Encuesta internacional de Alfabetización

de Adultos (IALS por sus siglas en inglés) y la Encuesta sobre Alfabetización de Adultos y Habilidades para Vida (ALL por sus siglas en inglés). Estas

representaron los esfuerzos más importantes en la medición de competencias de alfabetismo y uso de números a nivel internacional.

Aprender de sus fortalezas y debilidades contribuyó a definir LAMP en sus

primeros años.


LAMP tiene como propósito brindar a los tomadores de decisión información

robusta sobre el perfil de la población adulta con relación a habilidades de

lectura y de uso de números a los efectos de alimentar los debates públicos y el diseño de programas de alfabetización y educación de adultos que

ayuden a ampliar las oportunidades de los individuos, sus familias, comunidades y países. LAMP ha sido diseñado tomando en cuenta la noción

de “pluralidad de la alfabetización” propuesta por la UNESCO. Esta idea

enfatiza el entronque del alfabetismo con los aspectos sociales, económicos y culturales. LAMP explora la distribución de diferentes habilidades entre la

población y la necesidad de usar esas habilidades para operar en situaciones de la vida diaria. Por lo tanto, LAMP puede informar de modo significativo

acerca de elementos centrales relativos a los derechos de las personas a la

educación.

LAMP es un esfuerzo para equipar a los países con las herramientas

metodológicos que requieren para conducir evaluaciones directas de las habilidades de alfabetismo y uso de números y por fortalecer las

capacidades nacionales. Al combinar estos dos elementos, LAMP busca asegurar que los países que lo implementen lleguen a producir información

sobre el alfabetismo de modo robusto y sostenido. La información así

generada será parte del acervo internacional de información, del que UIS es responsable de monitorear y mejorar de modo continuo.

¿Qué mide el LAMP?

LAMP examina el alfabetismo en tres dominios diferentes: la lectura de textos continuos (prosa); la lectura de textos discontinuos o esquemáticos

(documentos); y el uso de números. Las habilidades vinculadas a la prosa son definidas como la capacidad para tratar textos organizados en párrafos,

con sangrías y encabezados, que revelan su estructura y propósito. Las habilidades vinculadas a los documentos son definidas como la capacidad

para usar textos no continuos en diferentes formatos (tablas, horarios,

gráficos, mapas, etc.) que permite al lector usar diferentes estrategias para ingresar y extraer información de éstos. Finalmente, las habilidades

vinculadas al uso de números envuelven completar tareas breves con contenido matemático. Éstas pueden demandar el uso de ciertas funciones

como calcular, estimar y entender nociones de forma, longitud, volumen,

unidades monetarias y otras funciones de medida. Se busca que las tareas usadas para la evaluación sean significativas para los entrevistados en

términos de su relación con situaciones diarias como: el hogar y la familia, salud y seguridad, comunidad y ciudadanía, consumo, trabajo, ocio y

recreación.

Adicionalmente, LAMP explora factores vinculados con el bajo desempeño lector, brindando información clave para el diseño de intervenciones


vinculadas a la alfabetización. De hecho, el UIS encargó un esfuerzo

adicional a los efectos de establecer los marcos para la evaluación de los

componentes de lectura. Asumiendo que leer implica tanto el reconocimiento de las palabras como su comprensión, este módulo evalúa

cómo las personas aplican estas habilidades a efectos de procesar textos escritos. La capacidad para nombrar letras y números, para procesar frases

y no sólo decodificar palabras, y la lectura fluida de párrafos, son

indicadores que ayudan a describir a la población de acuerdo a su capacidad lectora.

Finalmente, LAMP genera información sobre las características socioeconómicas de los entrevistados y su uso de materiales escritos en

diferentes ámbitos de la vida diaria, de modo que se cuente con elementos

analíticos clave para caracterizar a la población. El UIS explora de modo continuo formas de mejorar los aspectos metodológicos y presta atención

cercana a los desarrollo en ciencia cognitiva, metodología de encuestas y evaluación educativa.

Más aún, la información reportada busca ser usada para comparaciones internacionales dada la necesidad de monitorear el progreso tanto a nivel

nacional como internacional. Por esta razón, niveles comparables de

habilidades son usados para el reporte de información. Estos niveles son definidos mediante afirmaciones conceptuales claras que los hacen precisos

y relevantes.

Los objetivos centrales de LAMP son informar a los tomadores de decisión y

proveer evidencia crítica para el diseño de programas de alfabetización en el

marco de las políticas educativas y los programas sociales. LAMP también beneficia las políticas públicas en otros sectores ya que les permite mejorar

sus formas de comunicación, así como impacta en una mayor conciencia pública con relación a temas que afectan diferentes ámbitos de la vida

diaria.

LAMP está particularmente interesado en asegurar la apropiación nacional.

Así, éste no es un estudio que se conduce una vez según su propio interés y

agenda, sino que ha sido diseñado para contribuir al desarrollo de capacidades nacionales, reposando en la experiencia ya existente y

promoviéndola como el mejor mecanismo para respaldar iniciativas nacionales. Esto, por su parte, significa que los Estados Miembros deben

asegurar un adecuado entorno institucional en respuesta a sus propias

necesidades. En adición a esto, el UIS está estableciendo grupos técnicos asesores en cada región del mundo a efectos de movilizar apoyo técnico a

los países.


¿Cuáles son los instrumentos usados por LAMP?

Un cuestionario de antecedentes que genera información sobre las

características socioeconómicas de los entrevistados incluyendo su uso de materiales escritos. Esto es clave para el análisis de la información generada

por las herramientas cognitivas.

Una prueba filtro orientada a brindar una primera aproximación al desempeño esperado de cada respondiente de modo que se pueda decidir

qué conjunto de instrumentos deben ser usados para lograr una imagen más detallada de sus habilidades.

Un módulo para aquéllos con menor desempeño esperado que

establecerá con mayor precisión la ubicación del respondiente y explora los elementos que pueden estar impidiendo que tenga un mejor desempeño

(componentes de lectura).

Un módulo para aquéllos con mayor desempeño esperado que

establecerá, nuevamente, con mayor precisión la ubicación del respondiente.

Estos instrumentos están acompañados por una documentación detallada

que brinda suficiente guía acerca de las diferentes fases de implementación.


2. ESTUDIO PILOTO LAMP EN PARAGUAY

La organización del presente capítulo propone una descripción de los procesos llevados a cabo durante la prueba piloto, así como las

observaciones surgidas durante su implementación, considerando los siguientes aspectos:

- Objetivos del estudio piloto

- Definición de la población y de la muestra.

- Adaptación y revisión de los instrumentos y manuales LAMP. - Capacitación del personal.

- Recolección de datos. - Asignación de puntajes.

- Crítica y codificación del Cuestionario de Antecedentes.

- Procesamiento de datos. - Control de calidad.

- Estudio etnográfico.

2.1. Objetivos del estudio Piloto

La prueba piloto constituye una etapa esencial del LAMP ya que permite corroborar la validez del estudio y sus resultados, identificar los elementos,

en términos de instrumentos, procedimientos, capacitación, que deberán

ajustarse, determinar las dificultades operacionales y logísticas que requieran solución, entre otros aspectos.

El objetivo general del estudio piloto del LAMP en Paraguay buscó ensayar las diferentes etapas de la encuesta LAMP, para ello se trazaron los

siguientes objetivos específicos:

- Evaluar el marco muestral y la muestra adoptada.

- Comprobar la tasa de respuesta esperada.

- Verificar el desempeño de las preguntas del Cuestionario de Antecedentes

(CA), evaluar el funcionamiento de los ítems de los instrumentos cognitivos y revisar los manuales operativos.

- Identificar los problemas operacionales y logísticos a partir

de la aplicación de los procedimientos adoptados en las


distintas etapas de la recolección y captura de datos, así

como en la adaptación de instrumentos, capacitación y

selección del personal.

- Comprobar las previsiones en materia de diseño y costos

(presupuesto inicial) para el estudio principal.

- Evaluar la factibilidad de la implementación del estudio

principal a partir de la formación de capacidades técnicas

nacionales.

2.2. Población y Muestra

2.2.1. Consideraciones sobre población objetivo

La encuesta estuvo dirigida a la población de 15 años y más de edad que residen habitualmente o en forma permanente en viviendas particulares la

mayor parte del año, según el marco del Censo Nacional de Población y Viviendas 2002, y actualizado conforme a las encuestas de hogares de la

DGEEC. Las normas y pautas no establecen un límite superior de edad para la población objetivo. En terreno se constató que la selección de personas

de edad muy avanzada, aumenta la probabilidad de rechazos o encuestas

incompletas no siempre por falta de predisposición, sino más bien por diversas limitaciones, tales como: disminución de la audición y de la agudeza

visual, disminución de la memoria de fijación reciente y de la capacidad de concentración, enfermedades, etc., o por la facilidad con la que se fatigan

durante el desarrollo de la prueba. Este tipo de casos constituyó la segunda

causa de no respuesta (interrupciones o rechazos) durante el estudio piloto, además de que el segmento de los adultos mayores se vio ligeramente

sobrerrepresentado en la muestra, en comparación con los parámetros demográficos publicados por la DGEEC.

2.2.2. Consideraciones sobre unidades muestrales

La determinación de la población objetivo del estudio piloto LAMP estuvo

definida por las unidades muestrales de vivienda, hogar y residencia habitual conforme a lo establecido en el INP.

Se asumieron los conceptos nacionales utilizados por la DGEEC para definir

“vivienda”, “hogar” y “residencia habitual”. Sin embargo, la determinación de los miembros del hogar para el propósito del LAMP no coincide

estrictamente con los criterios utilizados en los operativos nacionales, una dificultad detectada fue la ambigüedad conceptual de “residencia habitual”

tanto en los documentos operativos del LAMP como a nivel nacional,


sumado a ello la amplia gama de situaciones encontradas en campo que

requirieron un análisis particular para cada caso.

2.2.3. Marco muestral utilizado

La información más completa sobre población y viviendas surge de los

censos nacionales de población y viviendas que se realizan en Paraguay cada 10 años. El último censo se llevó a cabo en el 2002 y sus resultados

están georreferenciados, por lo que constituye la mejor fuente de información para construir el marco muestral, tanto para las encuestas de

hogares realizadas anualmente por la DGEEC, como para otras encuestas

que tengan como unidad de selección las viviendas de todo el país.

Considerando la antigüedad de los datos relativos a la ubicación geográfica

de las viviendas, para el estudio piloto se requirió de una actualización cartográfica para disponer de registros más confiables y válidos al momento

de seleccionar las viviendas. Estas actualizaciones se realizaron en las áreas geográficas seleccionadas, conformadas por unidades primarias de muestreo

(USM) a partir de las áreas de empadronamiento (AE) del Censo 2002. Así

cada mapa proveído contaba con 30 viviendas con sus respectivas ubicaciones y delimitaciones, la identificación de las 10 viviendas

seleccionadas aleatoriamente en cada USM que formaron parte de la muestra. Durante el trabajo de actualización se ajustaron los planos

cartográficos de las USM, en las que se registraron los cambios encontrados

en relación al marco inicial en cuanto a la cantidad y ubicación de viviendas, y sus características ocupadas, desocupadas o desaparecidas, entre otras,

así como las referencias para ubicar la zona y las viviendas.

La última fase del muestreo consistió en la aplicación de la tabla de números

aleatorios para seleccionar a una persona dentro de la lista de los miembros del hogar ordenada por orden decreciente de edad. Se reenumeró a las

personas elegibles del hogar, de mayor a menor edad, excepto al jefe de

hogar, a quien correspondió el número 1 en dicha lista. Es preciso reconocer que en algunos casos la persona entrevistada no brindaba los nombres de

los miembros del hogar de manera ordenada (de mayor a menor edad) y se encontraron falencias por parte de los encuestadores al realizar la

enumeración y, por ende, en la confección de la lista de miembros elegibles

del hogar, lo que condujo en algunos casos a una selección inadecuada de la persona a ser entrevistada. En este sentido, sería oportuno incluir una

columna adicional en la parte INTRO 1-5 del Cuestionario de Antecedentes (CA) para reenumerar a los miembros del hogar en orden decreciente de

edad incluyendo al jefe de hogar con el fin de evitar las falencias en la

selección de la persona a ser encuestada.


2.2.4. Tamaño de la muestra

El estudio piloto del LAMP en Paraguay incluyó una muestra de 750 viviendas, con la expectativa de concretar al menos 500 entrevistas

completas a individuos seleccionados aleatoriamente, previendo una tasa de no respuesta del 30%. Durante el operativo de campo, sin embargo, se tuvo

que ampliar este tamaño muestral, con el fin de ajustar la distribución

interna de la muestra a lo establecido en el documento “Normas y pautas del LAMP” especialmente en lo concerniente a la distribución por niveles

educativos, ante la constatación de que había una clara tendencia hacia el predominio de niveles medios y altos sobre los niveles bajos de estudios. Por

este motivo, el tamaño muestral se extendió finalmente a 820 viviendas,

cargando todas las viviendas adicionales (70 viviendas) en la ciudad de Asunción.

Con el fin de adoptar una muestra inicial ajustada al diseño previsto para el estudio principal, fueron seleccionados los distritos de acuerdo con una

estratificación según pobreza crónica. Esta decisión estuvo sujeta a modificaciones en el curso del trabajo de campo, conforme a las

necesidades y avances del trabajo de recolección de datos.

2.2.5. Diseño de la muestra

Se utilizó un muestreo intencional, si bien se había previsto un muestreo

probabilístico en la planeación. Este fue evolucionando teniendo en cuenta

las dificultades encontradas en terreno y los requisitos de la muestra de la prueba piloto. Esta evolución se dio de la siguiente manera:

a. Para el estudio piloto se decidió utilizar, en una primera etapa de la recolección de datos, el muestreo probabilístico, estratificado, de

cuatro etapas4, similar al que será aplicado para el estudio principal. Esta decisión respondió a la necesidad de poner a prueba los

supuestos adoptados para el diseño muestral y aplicar los

instrumentos en los diversos contextos socioeconómicos a ser cubiertos en el estudio principal.

b. Los estratos estuvieron determinados, tal como se indica en el INP, a partir de los puntajes del Índice de Priorización Geográfica (IPG)

utilizado por la Secretaría de Acción Social (SAS) para sus políticas

sociales5.

4 Las etapas previstas en el INP consideraban las siguientes unidades muestrales por cada etapa: distrito,

USM, hogares, personas. 5 El IPG es una lista de todos los distritos del país que resulta de la combinación del mapa de pobreza con

la incidencia de las NBI a nivel de distritos. El mapa está basado en el Censo de Población y Viviendas

del 2002 y en la Encuesta Permanentes de Hogares del 2003; y las NBI están basadas en los datos del


c. Los estratos fueron definidos de acuerdo con los niveles

socioeconómicos alto, medio y bajo imputados a los distritos adoptando los siguientes criterios:

- Los distritos que forman parte del estrato bajo (los más pobres) presentan una gran dispersión geográfica y factores

de contexto que pueden influir sobre las competencias y

habilidades de las personas. De estos distritos fueron seleccionados para la prueba piloto, uno del área urbana

(José Falcón) y otro del área rural (Juan de Mena). - De los distritos que forman parte del estrato medio, para el

estudio piloto, fueron seleccionados Limpio, Itá e Itauguá

que comprenden áreas rurales y urbanas. - Atendiendo a la heterogeneidad de Asunción, se distribuyó la

muestra de Asunción en estratos socioeconómicos según criterios establecidos por la DGEEC, en estratos alto, medio y

bajo, en función a las cuales fueron seleccionadas las USM de Capital.

d. Se realizó la distribución de las unidades finales de la muestra por afijación proporcional a la población de los distritos seleccionados,

por lo cual la mayor parte de la muestra correspondía a Asunción, tal como se puede observar en la Tabla 1. Previendo que las

dificultades de aplicación de encuestas en las viviendas de las

ciudades tuvieran como efecto retrasar en exceso la recolección de datos y tener una mayor tasa de rechazo, se decidió redistribuir la

mitad de la muestra de Asunción entre otros distritos aledaños: San Lorenzo, Villa Elisa e Itá, pertenecientes a los mismos estratos

socioeconómicos (bajo, medio y alto).

Censo del 2002. De acuerdo con este criterio, se agruparon los distritos en tres estratos, según el puntaje

IPG correspondiente.


Tabla 1. Muestra del estudio piloto

Distritos Muestra

Propuesta

Redistribución de la muestra

Asunción

Configuración de la muestra

final

Casos completos

Juan de Mena 50 50 30

José Falcón 40 40 27

Itauguá 100 100 81

Limpio 150 150 109

Asunción 410 270 270 170

Itá 70 70 38

San Lorenzo 70 70 49

Villa Elisa 70 70 51

Total 750 480 820 555

Fuente: Base de datos Estudio Piloto LAMP Paraguay. Elaboración propia

El operativo de campo siguió una trayectoria de afuera hacia adentro con

respecto a Asunción, en el sentido de que se inició el trabajo de campo en los distritos más distantes (José Falcón, Limpio, Juan de Mena e Itauguá),

siguiendo la distribución aleatoria adoptada inicialmente, para luego cubrir

los distritos de Asunción y aledaños.

Una vez completados los distritos periféricos, se decidió, en presencia del

representante del UIS, modificar el criterio de asignación muestral, y pasar a una muestra intencional, de manera de garantizar el número de casos

requeridos para el estudio piloto. La modificación consistió en incorporar la posibilidad de remplazar las viviendas en las que no se pudo concretar la

entrevista, por otras de la misma USM, a fin de aumentar la cantidad de

entrevistas concretadas por USM. Esto exigió realizar un barrido de las USM en busca de hogares ocupados. El nuevo criterio entró en vigencia en los

distritos de Asunción, San Lorenzo y Villa Elisa.

Más adelante, y ante la constatación de un sesgo sistemático a favor de los

niveles educativos medios y altos, que conduciría, además, a que no se

logre completar la distribución submuestral correspondiente a niveles educativos bajos, se decidió en los últimos días del trabajo de campo,

modificar la pauta de selección de la persona a ser encuestada, favoreciendo a las personas con nivel educativo bajo.

2.3. Adaptación y revisión de instrumentos y manuales LAMP

La adaptación de los instrumentos y manuales se inició una vez que el ETN

tuvo acceso a los instrumentos, manuales y formularios de adaptación, en


inglés, con traducciones referenciales al español y francés, a través del sitio

ftp6.

Los objetivos generales de este proceso fueron:

- Adaptar los instrumentos y manuales atendiendo al contexto

sociocultural de Paraguay. - Garantizar la comparabilidad internacional de los instrumentos y

manuales respetando los estándares técnicos del Programa LAMP.

2.3.1. Conformación y capacitación de los equipos de trabajo de

adaptación Para la etapa de adaptación de instrumentos, se conformaron los primeros

equipos técnicos interdisciplinarios con el fin de dejar capacidad instalada en

las diferentes instituciones participantes de cara al estudio principal.

Todas las personas que integraron el equipo LAMP suscribieron un acuerdo

de confidencialidad que los habilitó a trabajar con los documentos protegidos por los derechos de autor. Cada integrante recibió los

documentos operativos del estudio: Informe Nacional de Planeación, “Procedimientos de traducción y adaptación”, “Reglas generales para la

traducción y adaptación de materiales LAMP”, “Pautas de traducción y

adaptación de los instrumentos”.

Durante la capacitación para la adaptación de los instrumentos fueron

expuestos los marcos conceptuales del estudio, los principios y metodología de adaptación, la descripción y especificación de las tareas a ser

desarrolladas. Además se conformaron grupos de trabajo para el análisis y la

revisión del Módulo Filtro adaptado previamente por el ETN. Este ejercicio facilitó la apropiación de la metodología de adaptación por parte de los

equipos de trabajo que realizaron aportes significativos.

Se elaboró un calendario de trabajo para realizar la adaptación de los

diferentes instrumentos, actividad que estuvo supervisada por la coordinación técnica del estudio.

2.3.2. Proceso de adaptación de los instrumentos El proceso de adaptación se realizó siguiendo los procedimientos del

Programa con base en los documentos “Procedimientos de traducción y adaptación”, “Pautas generales de traducción y adaptación”, y “Reglas

generales para la traducción y adaptación de materiales LAMP”7; que

consistió en:

6 El servidor “ftp” o protocolo de transferencia de archivos es un sitio proporcionado por el UIS para

acceder y descargar archivos del UIS y colocar archivos del país. 7 Esos tres documentos fueron actualizados por el UIS luego del proceso de adaptación de Paraguay, con

base en los resultados de la implementación del estudio piloto en otros países. El formato actual cuenta

con dos documentos : las guías generales y las guías específicas para PDN.


- Adaptar los instrumentos LAMP, las guías y manuales al contexto

sociocultural-lingüístico de Paraguay.

- Documentar los procedimientos realizados para la verificación internacional de los ítems adaptados por parte del UIS en los

formularios respectivos.

Dicho proceso de adaptación estuvo condicionado por la disponibilidad de

las versiones actualizadas de los instrumentos en español enviadas por el UIS, motivo por el cual fue desarrollado en cuatro etapas:

- Adaptación de los instrumentos cognitivos dirigidos a medir los niveles de competencia en prosa (texto continuo), documento

esquemático y manejo de números (PDN), es decir, los módulos Filtro,

Localizador y Cuadernillos 1 y 2, con las Hojas de asignación de puntaje respectivas.

- Adaptación de los Componentes de Lectura (Rotafolio, Cuadernillo de Registro, Cuadernillo del Encuestado), con sus respectivas Hojas

de asignación de puntaje. - Adaptación del Cuestionario de Antecedentes.

- Ajuste de los manuales, guías de asignación de puntajes y

procedimientos, y kits de capacitación.

Los instrumentos adaptados durante las tres primeras etapas fueron sometidos a un pre-test con personas de diferentes niveles educativos; y

verificados y aprobados por el UIS.

Para la adaptación de los instrumentos, se tomó como base la versión original en inglés y los instrumentos ya traducidos al castellano que fueron

proveídos por el UIS. Se llevó a cabo un examen minucioso de los ítems con el objeto de asegurar su claridad y precisión en el contexto local. En caso de

ambigüedades en la formulación, se recurrió a la versión original en inglés y por último, si lo ameritaba, se procedió a elaborar los ajustes lexicales y

sintácticos en los ítems que el equipo consideraba pertinentes. Para

garantizar la consistencia en el conjunto de instrumentos y respetar la versión original en inglés, se elaboró una lista de términos traducidos a ser

utilizados en las instrucciones y preguntas para unificar el vocabulario.

Cuando el contenido de los estímulos presentaba incoherencias o eran poco

inteligibles en el contexto local, se procedía a reemplazarlos por otros más

familiares con la vida cotidiana de la población, por ejemplo, los precios de artículos comerciales.

Por último, los cambios incorporados en los instrumentos y aprobados por el UIS se plasmaban en las Hojas y guías de asignación de puntajes, manuales

operativos de los instrumentos y kits de capacitación.


2.3.3. Talleres de adaptación

a. Etapa 1: Adaptación de instrumentos cognitivos-PDN

En esta etapa, se realizó la adaptación de las pruebas cognitivas PDN

constituidas por los siguientes instrumentos: Módulo Filtro, Localizador, Cuadernillos 1 y 2 del Módulo B y las respectivas Hojas y guías de asignación

de puntajes.

Sobre la base de las adaptaciones propuestas por los diferentes grupos de trabajo, la coordinación técnica analizó los trabajos presentados a fin de

aportar sugerencias y unificar la redacción de las justificaciones incorporadas en los formularios de adaptación.

Una de las principales dificultades residió en la adaptación de los aspectos

numéricos relacionados con los precios, que supuso la necesidad de aumentar la cantidad de dígitos y en algunos casos cambiar el estímulo para

hacerlo consistente con los precios locales.

La última fase de la adaptación de estos instrumentos consistió en la

aplicación del pre-test a un total de 15 personas de niveles educativos bajos, medios y altos a efectos de probar la batería de instrumentos cognitivos

adaptados al contexto nacional. A continuación, se realizó en plenaria el

análisis de los resultados obtenidos y las dificultades encontradas; y se procedió a incorporar los últimos ajustes de los instrumentos.

b. Etapa 2: Adaptación de instrumentos cognitivos-Componentes de lectura

La adaptación de los Componentes de lectura se realizó en una segunda

etapa, por los siguientes motivos:

- Los instrumentos se encontraban aún en proceso de

modificación por parte del UIS.8 - La extensión y complejidad de la batería de instrumentos de

los Componentes de lectura: Rotafolio, Cuadernillo de Registro y Cuadernillo del Encuestado.

- Pautas de adaptación muy generales.

El asesoramiento in situ de un representante del equipo LAMP del UIS permitió introducir los cambios estructurales al Rotafolio propuestos por el

equipo técnico, a saber: reordenamiento y supresión de secciones, racionalización de las instrucciones por principio de parsimonia, cambios de

8 Es importante señalar que Paraguay decidió aplicar la Prueba Piloto LAMP antes de que el UIS haya finalizado el proceso de revisión de los instrumentos originales, resultante de la aplicación de los estudios

pilotos realizados en otros paises, .Esta situación podría explicar en parte la complejidad y extensión del

proceso de adaptación en Paraguay.


imágenes y reorganización de las hojas y códigos de asignación de puntajes.

Asimismo, se ajustaron las instrucciones del Rotafolio y del Cuadernillo de

Registro a nivel lexical y sintáctico; y posteriormente se realizó el control de calidad de consistencia interna en cuanto a la uniformidad del vocabulario,

modos verbales y consignas.

Con el propósito de asegurar la calidad de estos instrumentos, se realizó a

fines de noviembre un pre-test de los Componentes de lectura cuya

metodología se describe a continuación:

- Se seleccionaron 8 encuestados con nivel bajo de educación. 9

- Se conformaron equipos de dos personas para administrar la encuesta: un encuestador y un observador.

- El observador tomó nota de los errores y dificultades durante la

administración de los instrumentos.

- Posteriormente se realizó una reunión, entre el representante LAMP

del UIS, los encuestadores y observadores, para analizar los resultados del pre-test. Las observaciones y ajustes acordados se

mencionan a continuación:

Se sugirió, por principio de parsimonia, eliminar del

Rotafolio las Instrucciones contenidas en el Cuadernillo de

Registro.

Se decidió agregar en las instrucciones generales al inicio

del Rotafolio una exhortación: “Le pedimos que responda solamente en castellano durante toda la prueba”, para evitar

que el encuestado responda en forma espontánea en guaraní durante la sección de Vocabulario.

Se pasó la Sección 10 Vocabulario de la versión original, a la

Sección 1.

El ETN decidió no incluir las Secciones 7 y 8: Decodificación

de Palabras y Decodificación Rápida de Palabras, por ser secciones opcionales y considerando que no era necesario

medir esta competencia pues el español es una lengua que presenta mayormente correspondencias regulares y predecibles

grafema-fonema. Estos cambios han exigido la reenumeración de las secciones del Rotafolio y de sus respectivos Cuadernillos

de Registro y del Encuestado.

Finalmente, considerando la recolección y carga de datos, se tomaron otras

decisiones importantes referentes a la estructura del Cuadernillo de Registro

9 Paraguay consideró, para el estudio piloto, como niveles bajos de educación a las personas que han

cursado seis años de educación o menos.


y de las Hojas de asignación de puntajes de los Componentes de Lectura,

pues se decidió suprimir la Hoja de asignación de puntaje Nº 1, e introducir

las opciones de respuestas 1/7/0 a ser asignadas directamente en el Cuadernillo de Registro.

Se insertaron las burbujas para el registro de las respuestas al lado de los códigos 1/7/0 en las Hojas de asignación de puntajes y en la sección

Vocabulario del Cuadernillo de Registro para facilitar su llenado y evitar

confusiones entre las cifras 1 y 7 al ser escritas por el encuestador y el corrector.

c. Etapa 3: Adaptación del Cuestionario de Antecedentes (CA)

El CA fue el último cuestionario adaptado por encontrarse en proceso de revisión por parte del UIS. La adaptación consistió en la revisión y análisis

exhaustivo de cada pregunta del cuestionario, examinándose aspectos conceptuales, comprensión de la pregunta por parte del encuestador y del

encuestado, correspondencia de los saltos de preguntas y la la formulación de las preguntas al contexto nacional.

En una primera instancia, las preguntas del CA fueron analizadas y

comparadas con otros instrumentos de acopio de datos utilizados en los diversos operativos nacionales de relevamiento de datos, tales como: Censo

Nacional de Población y Viviendas, Encuesta Permanente de Hogares y la Encuesta Continua de Empleo, a fin de garantizar la comparabilidad nacional

y redactar preguntas adaptadas al contexto local.

Es importante mencionar que se tuvo especial atención en las variables relevantes para la construcción del marco muestral y para los factores de

expansión de la muestra.

Además, fueron incluidas preguntas nacionales consideradas fundamentales

para combinar los datos recabados con las condiciones de vida de la población y su localización geográfica; se incorporaron preguntas

relacionadas a la interacción encuestador-encuestado en guaraní, así como

aspectos vinculados a la vivienda y empleo. Se realizó la justificación correspondiente en el Formulario de Adaptación. Una vez que el UIS aprobó

las adaptaciones del CA, se procedió a su rediseño con el fin de optimizar los espacios y reducir la extensión del instrumento. Las categorías y opciones de

respuesta fueron pre codificadas para facilitar el llenado del cuestionario en

el momento de la aplicación, así como el procesamiento de datos (crítica, codificación y digitación).

Posteriormente se realizó el pre-test para probar la aplicabilidad del CA. Este instrumento fue aplicado a una muestra intencional pequeña de la población

objetivo con el fin de comprobar la pertinencia de las adaptaciones,


identificar y cambiar algunos saltos de pregunta, y evaluar la duración de la

aplicación.

Es importante mencionar que el UIS aceptó que Paraguay, como país bilingüe utilice el idioma guaraní para aclarar las preguntas del CA en los

casos requeridos. Para ello fue elaborado un material de referencia que sirvió de guía para la aplicación.

d. Etapa 4: Adaptación de guías, manuales y materiales de capacitación

Esta etapa requirió mucho tiempo debido a la cantidad y extensión de

manuales y guías. El ETN realizó primeramente la adaptación de las guías y

manuales operativos correspondiente a los instrumentos cognitivos cuya versión nacional había sido aprobada por el UIS.

El Manual del Encuestador, que constituye uno de los materiales de referencia para el personal de campo, fue el último documento elaborado

dado que no se disponía de la versión actualizada del manual conforme al nuevo instrumento de recolección. Esta tarea demandó una inversión de

tiempo considerable por la extensión del material y por la falta de

correspondencia entre las preguntas incluidas en la versión nacional del CA.

Además, se incorporaron instrucciones especiales referentes al uso de la

grabadora digital y el cronómetro, elementos empleados en la aplicación del Módulo A en Paraguay.

Adicionalmente se realizó la revisión y análisis de las planillas y formularios

de trabajo de campo (listado de control de tareas, informe de avances y costos, etc.). La funcionalidad de estos materiales fue evaluada por los

supervisores, teniendo como resultado una disminución del número de formularios y su rediseño.

Los materiales de capacitación proveídos por el UIS se componían de varias presentaciones en formato power point, en inglés; y de sus

correspondientes guías para el instructor en castellano.

La tarea de adaptación de los materiales de capacitación fue distribuida entre los miembros del equipo técnico responsable de la adaptación de

instrumentos, quienes debían impartir la capacitación y elaborar presentaciones adicionales.

2.3.4. Aspectos positivos del proceso de adaptación

La etapa de adaptación y la metodología adoptada permitieron:

- Propiciar el trabajo interdisciplinario dentro del Ministerio de

Educación y Cultura en torno a un proyecto común.


- Fortalecer el trabajo interinstitucional entre el MEC, la DGEEC, y la

OEI.

- Enfatizar el carácter participativo del trabajo fomentando la mirada crítica y analítica sobre el conjunto de los instrumentos.

- Involucrar a los funcionarios que hayan participado de este proceso más allá de la etapa de adaptación de los instrumentos.

- Dejar capacidades metodológicas y técnicas instaladas en las

diferentes instituciones participantes. - Desarrollar habilidades para el trabajo en equipo dentro de un grupo

profesional con formación y experiencia heterogénea. - Reflexionar sobre la importancia y complejidad de temas vinculados

con la alfabetización.

- Sistematizar todo el proceso de adaptación a través de una documentación técnica disponible para todos.

2.3.5. Dificultades encontradas durante el proceso de adaptación

Si bien esta primera etapa generó resultados relevantes, se señalan ciertos

puntos que dificultaron el desarrollo de este proceso:

- Disponibilidad de versiones no actualizadas de algunos instrumentos

y manuales. - Gran cantidad y extensión de manuales a ser adaptados.

- Tiempo limitado para realizar un control de calidad final entre

manuales y materiales de capacitación. - El pre-test de cada instrumento se realizó de manera individual

perdiendo de vista el flujo completo de la aplicación de una entrevista. - Disponibilidad real de tiempo de los representantes de las diferentes

instituciones, pues LAMP constituía una actividad adicional. Este hecho dificultó el cumplimiento oportuno del cronograma propuesto

inicialmente, dado que se priorizaban las actividades institucionales

propias.

2.4. Capacitación

2.4.1. Capacitación a supervisores y encuestadores

La capacitación como componente importante de todo el proceso de la

encuesta refleja aspectos relacionados a la efectividad de esta etapa en el operativo de campo. En este sentido, el trabajo de campo de la prueba

piloto permitió identificar las dificultades encontradas en terreno y reconsiderar ciertos aspectos que deberán ser reforzados en la capacitación

para mejorar el desempeño del personal de campo con miras a la encuesta

principal (véase capítulo Sugerencias).


2.4.1.1. Objetivos generales y organización de las

capacitaciones a supervisores y encuestadores

La capacitación de los encuestadores y supervisores10 tuvo como propósitos:

- Garantizar que el personal de campo estuviera bien familiarizado con los métodos de la entrevista, los conceptos y procedimientos de

LAMP en particular, los aspectos relacionados a la selección del encuestado y del módulo a aplicar, el llenado correcto del CA, la

administración de los instrumentos cognitivos y la asignación de

puntajes correspondiente.

- Concienciar al personal sobre sus funciones, responsabilidades y los

procedimientos a ser empleados en campo.

- Organizar el desarrollo del trabajo de campo y formar una masa

crítica de personal con los conocimientos, habilidades y experiencia en el manejo y aplicación de la encuesta LAMP.

Para asegurar un conocimiento más detallado y mejor manejo de los instrumentos, la capacitación se desarrolló en tres fases:

- una fase a distancia de autoaprendizaje precedida de una media jornada de presentación del LAMP y de los materiales a ser estudiados

antes de la capacitación presencial teórico-práctica;

- una fase presencial de 7 (siete) jornadas a tiempo completo, y

- una fase de simulaciones y prácticas de campo de 2 (dos) días.

Cabe mencionar que se organizó una jornada exclusiva de capacitación

dirigida a los supervisores de campo.

Participaron de la primera jornada de presentación 40 candidatos,

encuestadores y supervisores sin distinción, de los cuales 33 siguieron todo

el proceso de capacitación. Los 8 supervisores fueron designados con anterioridad mediante la evaluación de sus currículum vitae, cuyas

experiencias vinculadas a actividades en trabajo de campo, encuestas, educación y evaluación fueron empleadas como criterio de calificación;

fueron seleccionados 24 encuestadores con perfiles diferenciados e

integrados en los diferentes equipos.

La capacitación estuvo a cargo de 8 instructores que habían participado en

el proceso de elaboración del Informe Nacional de Planeación (INP) y en la adaptación de los instrumentos LAMP, cada uno fue responsable de un

10 Todos los actores intervinientes en la capacitación firmaron el acuerdo de confidencialidad

correspondiente.


aspecto específico del programa de acuerdo con su especialidad. Para el

desarrollo de algunos temas, los instructores trabajaron en equipo según la

complejidad del tema abordado y atendiendo a la dinámica del taller.

2.4.1.2. Desarrollo de la capacitación a supervisores y

encuestadores

a. Fase I. Actividades de autoaprendizaje

La fase de autoaprendizaje fue precedida de una presentación general del

LAMP donde se entregaron los materiales a ser revisados y analizados antes de la capacitación presencial. Durante esta fase, los postulantes dispusieron

de 6 días para la lectura sistemática de los manuales e instrumentos del LAMP. Se entregó una serie de ejercicios de repaso en casa para facilitar la

lectura de los materiales y para evaluar los conocimientos teóricos

adquiridos durante esta fase. Sin embargo, cabe destacar que la cantidad de manuales, su extensión, sumadas a las ambigüedades internas dificultaron

la fase de auto aprendizaje del personal de campo, pues no les permitieron tener una visión práctica del trabajo de campo.

b. Fase II. Actividades presenciales

El primer día de la capacitación, los postulantes a encuestadores entregaron los ejercicios de repaso en casa. Estos ejercicios permitieron identificar las

falencias recurrentes de los candidatos y definir los puntos sobre los cuales insistir durante la capacitación.

Las actividades presenciales de capacitación se desarrollaron durante 8 días

hábiles en jornadas de 9 horas diarias y se abordaron aspectos metodológicos relacionados al manejo de técnicas de entrevista,

procedimientos de selección del encuestado, módulos a ser administrados, criterios de inclusión/exclusión de miembros del hogar, llenado correcto del

CA, administración de instrumentos cognitivos y asignación de puntajes,

además se presentaron las funciones y responsabilidades de los encuestadores y supervisores, y algunas consideraciones generales sobre el

muestreo.

Del mismo modo se procedió a analizar situaciones especiales que pueden

presentarse en el terreno, especialmente referidos a la aplicación del CA y a las asignaciones de puntajes.

A fin de garantizar que los participantes conocieran, aplicaran y sea posible

la retroalimentación y perfeccionamiento de sus habilidades, se desarrollaron tres momentos importantes durante la capacitación presencial: i) la

adquisición conceptual y teórica con el contenido de la encuesta; ii) la simulación, juego de roles y práctica en terreno, y iii) la discusión de dudas


y dificultades para poder mejorar la comprensión y la habilidad referida a la

aplicación.

2.4.2. Capacitación a correctores

2.4.2.1. Objetivos generales y organización de la capacitación

a correctores

La capacitación de los correctores constituye un proceso fundamental para lograr un alto nivel de consistencia en términos de interpretación y

aplicación de las reglas de asignación de puntaje durante el operativo.

Asimismo, este proceso es determinante para garantizar la calidad de los puntajes asignados e investigar de forma confiable sobre el comportamiento

de los ítems, en el marco del estudio piloto.

La capacitación a correctores tuvo como propósitos: - Brindar información suficiente acerca de los objetivos,

actividades y resultados esperados del LAMP, procedimientos

generales y herramientas de asignación de puntaje. - Dominar las reglas de asignación de puntajes del LAMP.

- Adquirir un buen nivel de desempeño en la interpretación y corrección de ítems.

La actividad de capacitación se desarrolló en 2 fases:

a. Fase de autoaprendizaje a distancia.

b. Fase presencial de 2 días.

2.4.2.2. Desarrollo de la capacitación a correctores

a. Fase I. Actividades de autoaprendizaje Se entregaron el Manual de procedimiento operacional de asignación de

puntajes, la Guía para la administración de los componentes de lectura y los instrumentos cognitivos para una lectura previa del material.

Cabe mencionar que los correctores tenían un conocimiento previo de los

instrumentos puesto que participaron de la adaptación de instrumentos y manuales, lo que permitió llevar a cabo la capacitación presencial en 2 días.

Por otra parte, la capacitación de cada instrumento estaba a cargo de un integrante del equipo corrector por lo cual el proceso fue fluido y muy

interactivo.

b. Fase II. Actividades presenciales

La primera parte de la capacitación, a cargo de la jefa correctora, consistió en presentar:


- El LAMP y la dimensión internacional de la encuesta.

- Las prácticas estandarizadas de asignación de puntajes, los

objetivos y responsabilidades de los correctores. - La metodología de trabajo para la corrección durante el operativo.

Seguidamente, se procedió a una revisión y análisis en grupo de las reglas de asignación de puntaje del UIS.

Durante la segunda parte de la capacitación se presentaron casos prácticos

de asignación de puntajes. Se adoptó la misma metodología para el Cuadernillo Filtro, Localizador, Cuadernillos 1 y 2, tal como se describe a

continuación:

- Lectura y análisis exhaustivo de los ítems del Cuadernillo y de la

Guía de asignación de puntajes correspondiente.

- Proyección de ejemplos de ejercicios completados, análisis y justificación del puntaje asignado.

- Proyección de ejercicios de corrección a realizar individualmente. - Socialización de los resultados en grupo.

El abordaje de la capacitación de los Componentes de lectura (Cuadernillo de Registro y Cuadernillo del Encuestado) se hizo de manera diferente, dado

la especificidad de la prueba.

La presentación en formato power point de los Componentes de Lectura sirvió tanto para los encuestadores como para los correctores. Sin embargo,

en el caso de la capacitación a correctores, se contemplaba además los aspectos relativos a la asignación de puntaje del Cuadernillo del Encuestado,

instrumento corregido exclusivamente en gabinete.

La capacitación de Componentes de lectura abarcó las siguientes actividades:

- Revisión de los instrumentos.

- Presentación de las reglas generales de asignación de puntajes y

ejemplos correspondientes.

- Simulación de la administración sección por sección por parte de los

instructores frente al grupo que asignaba puntaje en tiempo real.

- Retroalimentación y sesión de preguntas.

- Simulación de la administración del Rotafolio en su integralidad por

parte de los instructores frente al grupo que asignaba puntaje en tiempo real.

- Retroalimentación y sesión de preguntas.


- Cabe destacar que la capacitación a correctores se realizó

previamente a la de los encuestadores, lo que permitió reajustar ciertos

aspectos de la capacitación y de la presentación en power point.

2.4.3. Capacitación a digitadores

La capacitación a digitadores se realizó en el centro de Operaciones LAMP paralelamente a la recolección de datos, con una duración de dos días y

participaron de ella 6 digitadores, funcionarios del MEC. La capacitación estuvo a cargo de los programadores de la aplicación informática LAMP y se

desarrolló en dos fases:

a. Fase I. Actividades teóricas, consistieron en:

- Analizar los manuales de todos los instrumentos. Cada manual

proveía una descripción de la utilización y del funcionamiento del software de captura de datos, con las diferentes opciones y

explicaciones para la resolución de errores según pantalla de

instrumento. - Familiarizar a los digitadores en la utilización práctica del

software y diferentes pantallas de los instrumentos. Además, a modo de soporte, cada uno disponía de los manuales, hojas de

asignación de puntaje o cuadernillo de registro correspondiente.

- Realizar una lectura previa y exhaustiva del Cuestionario de Antecedentes, así como prestar una atención particular a los saltos y

consistencias entre una pregunta y otra. - Analizar las diferentes secciones del Cuadernillo de Registro para

poder detectar los errores de relevamiento de datos y agilizar la digitación del instrumento.

b. Fase II. Actividades prácticas, consistieron en:

- Practicar la captura de datos del Cuestionario de Antecedentes, con CA completados durante los pre-test.

- Practicar la captura de datos de los instrumentos cognitivos

directamente con las hojas de asignación de puntaje de los primeros días del operativo.

2.4.4. Capacitación a codificadores

La capacitación de los críticos codificadores a cargo de la Jefa Codificadora

se desarrolló en dos días.


Se proporcionó a la Jefa Codificadora indicaciones previas sobre el manejo y

llenado del instrumento así como un ejemplar del Manual del Encuestador

que presentaba en forma detallada las diferentes secciones del CA.

Durante la capacitación de los codificadores, se revisó en un primer tiempo

el manual del crítico-codificador, explicando los diferentes pasos a seguir en esta etapa del proceso LAMP. A continuación se procedió al análisis del CA,

enfatizando los siguientes campos:

- Selección de personas, módulo y cuadernillo.

- Fecha de nacimiento.

- Nivel educativo.

- Ocupación principal y rama de actividad del encuestado/a.

Se examinaron también las preguntas y los saltos donde prestar una

particular atención para poder detectar las eventuales inconsistencias.

Posteriormente, se propusieron ejercicios de crítica y codificación de CA

completados de manera a agilizar su práctica en el manejo del instrumento, del manual del crítico-codificador, de las listas de códigos a ser empleados, y

de los clasificadores internacionales: Clasificación Internacional Uniforme de Ocupaciones (CIUO-08) y la Clasificación Internacional Industrial Uniforme

(CIIU-Revisión 4). Respecto a este último punto, las actividades de práctica

del taller permitieron problematizar los distintos casos a ser encontrados en la parte relativa a ocupación principal y rama de actividad.

2.5. Recolección de datos

El operativo de campo se llevó a cabo del 17 de marzo al 9 de abril del 2010

(19 días incluyendo algunos sábados y domingos). La recolección de datos fue realizada por equipos, cada uno compuesto por 1 supervisor, 3

encuestadores (24 en total) y un chofer. En el Anexo A se describen las tareas y responsabilidades de los supervisores y encuestadores encargados

del operativo de la prueba piloto.

Cada equipo de trabajo tuvo a su cargo 9 ó 10 USM y cada encuestador

debía completar 23 casos aproximadamente. Se estimó 1,5 días por USM

según el cronograma acordado.

El desarrollo de todo el trabajo de campo fue monitoreado por la

Coordinación Técnica Nacional en concordancia con el diseño establecido en el INP, a efectos de asegurar el cumplimiento de las normas y pautas

estandarizadas en los manuales y guías.

Cabe mencionar que el personal de campo estaba constituido en su gran mayoría por funcionarios del MEC, por lo cual se decidió aumentar el


número de equipos para disminuir el periodo de recolección de datos frente

a la necesidad de disponer de los recursos humanos en sus respectivos

lugares de trabajo. Esto aceleró el proceso del trabajo de campo, sin embargo, la corta duración de la recolección de datos dificultó el monitoreo

y la retroalimentación. Es así que cuando los encuestadores y supervisores afianzaron sus competencias, la prueba piloto ya estaba en su etapa final.

2.5.1. Organización y logística del trabajo de campo

a. Centro de Operaciones

El Centro de Operaciones LAMP se instaló en la Dirección General de Educación Permanente de Adultos del MEC, un mes antes del inicio del

trabajo de campo. En este espacio se llevaron a cabo las siguientes actividades:

- Capacitación de los diferentes equipos del LAMP.

- Instalación de los equipos de correctores, codificadores y

digitadores, así como la oficina de la Coordinación Central.

- Organización de aspectos logísticos y administrativos relativos a la

recolección de datos: entrega de viáticos y combustibles, reposición de materiales e instrumentos faltantes, entrega y recepción de sobres

de casos por parte de los supervisores, etc.

- Organización de las respectivas retroalimentaciones al personal de campo.

- Resolución de asuntos inherentes a la aplicación de la encuesta: toma de decisiones respecto a la elección de estrategias alternas para

obtener la tasa de participación esperada, opciones para llegar a los lugares geográficos de difícil acceso, medidas de seguridad en los

barrios de mayor riesgo, coordinación con las instituciones locales

(comisarías, iglesias, municipalidad, entre otros).

El trabajo de campo implicó un importante esfuerzo de logística y organización, como preparación de planillas de control, de sobres de casos11,

de materiales y útiles, asignación de vehículos, distribución de cupos de

combustibles, pago de viáticos al personal de campo, etc.

11 Cada sobre de casos contenía los siguientes documentos oficiales: una carta de presentación firmada

por el Ministro de Educación y Cultura, un tríptico, una calcomanía “Vivienda encuestada”, dos

notificaciones de visita, un CA, un módulo filtro con su hoja de asignación de puntaje.


b. Comunicación telefónica

Se entregó a cada participante interviniente en el trabajo de campo un chip telefónico y tarjetas prepagas. La suscripción nueva permitía elegir un

número de teléfono para comunicarse una hora por día de forma gratuita.

- Los encuestadores eligieron el número de su supervisor/a.

- Los supervisores eligieron el número de su fiscalizador/a.

Este procedimiento resultó satisfactorio, aunque la compañía telefónica no tenía cobertura en ciertas zonas del país. Tomando en cuenta que la

encuesta principal cubrirá zonas más alejadas, resulta fundamental asegurarse del alcance de la cobertura proveída por la empresa telefónica a

fin de poder monitorear correctamente el trabajo de campo y atender

cualquier necesidad que surja.

c. Cartografía y sobre de casos

Los supervisores se reunieron con su equipo de encuestadores para preparar las carpetas de los diferentes planos cartográficos y todos los sobres de

casos por USM. En cada sobre, se adhirió una etiqueta que se completó con

las informaciones pertinentes del Resumen de Aplicación del Cuestionario de Antecedentes (ID del equipo, del supervisor, del Encuestador, localización de

la vivienda, Cuadro de códigos de situación final de los instrumentos, etc.)

d. Vehículos y choferes

Como contraparte institucional, el MEC y la DGEEC pusieron a disponibilidad

del operativo de campo 5 y 3 vehículos con chóferes, respectivamente. Además, se contó con 2 vehículos adicionales del MEC durante la primera

semana para los fiscalizadores y observadores. Los supervisores fueron responsables de la administración de los cupos de combustible que se les

entregaba en función de la hoja de ruta presentada y conforme a las

distancias a ser recorridas.

Puesto que la movilidad de los equipos de trabajo hasta las viviendas

seleccionadas garantiza que el relevamiento de datos pueda efectuarse en los tiempos planificados, resulta imprescindible poder contar con un vehículo

en buen estado por equipo durante todo el operativo de campo, en

particular para las zonas de más difícil acceso. Adicionalmente, se vio la necesidad de contar con el mismo chofer durante todo el operativo para

garantizar su involucramiento y evitar eventuales contingencias.


2.5.2. Estrategia para minimizar la tasa de no respuesta

La estrategia implementada para la minimización de la tasa de no respuesta tuvo como objetivo principal informar a la población sobre la realización del

estudio piloto LAMP y sensibilizarlos positivamente hacia este importante emprendimiento para el país.

La estrategia de difusión y promoción de la encuesta se convirtió en un

aliado decisivo para lograr las metas propuestas por el estudio piloto, teniendo en cuenta que la promoción del estudio buscó propiciar la

participación ciudadana, minimizar la tasa de no respuesta y, sobre todo, concienciar a la sociedad y a los tomadores de decisión acerca de la

importancia de disponer en Paraguay de información y datos confiables

sobre los niveles de alfabetización de la población.

La estrategia de difusión y sensibilización no tuvo una cobertura en todos los

medios de comunicación por los siguientes motivos:

- Carácter piloto de la prueba. Dado que la prueba no pretendía

difundir resultados sobre la distribución de niveles de alfabetización, se prefirió no crear demasiadas expectativas al respecto.

- Recursos financieros disponibles limitados.

Sin embargo, se realizó una serie de acciones que tuvieron un impacto positivo para acceder a los hogares y hacer partícipe a los ciudadanos en

esta iniciativa sin precedentes en el país. Por otra parte, se puso a prueba las estrategias utilizadas, permitiendo evaluar las necesidades en términos

de difusión y comunicación de cara al estudio principal.

a. Campaña de concienciación pública

Se realizaron las siguientes actividades orientadas a concienciar a la

ciudadanía en general:

- Elaboración de afiche y tríptico con información del LAMP,

población destinataria, objetivos nacionales del programa, fechas de realización del estudio piloto, descripción de los niveles de

alfabetismo y de los instrumentos a ser aplicados, informaciones acerca de la utilización de los resultados y tipo de usuarios,

instituciones responsables del Programa. El afiche y el tríptico

proporcionaban también el número telefónico del Centro de Operaciones del LAMP para brindar información al público.

- Distribución de trípticos y afiches en los distritos seleccionados para la aplicación de la prueba piloto en los lugares de mayor

afluencia de personas.


- Habilitación de un número telefónico de atención al público en el

Centro de Operaciones.

- Conferencia de prensa de presentación del LAMP a cargo de las autoridades del MEC, de la OEI y de la DGEEC, y distribución de los

materiales de difusión a los medios de prensa presentes.

- Lanzamiento oficial del trabajo de campo con la presencia de las

autoridades del MEC, de la OEI y de la DGEEC y de los medios de

comunicación (prensa, televisión y radio) el 17 de marzo de 2010. Difusión de la noticia en los diarios de mayor circulación en el país;

en canales televisivos y en diversas emisoras de radio.

- Confección de remeras LAMP para el personal de campo para su

identificación y facilitar así el acceso a los hogares.

- Elaboración de gacetillas a lo largo de la etapa preparatoria, que fueron distribuidas a los medios de masivos de comunicación,

especialmente para el lanzamiento y la clausura oficial del operativo de campo.

- Participación de autoridades del MEC y del Coordinador Nacional en un programa de televisión de gran audiencia durante el operativo

de campo.

- Publicación on line del Informe Nacional de Planeación en las páginas webs del MEC (http://www.mec.gov.py) y de la OEI

(http://www.oei.org.py/idie.v2/html/estudios1.html).

- Presentaciones del Ministro de Educación y Cultura a las

autoridades nacionales de los siguientes estamentos: Presidencia de

la República, Parlamento Nacional, Ministerio de Justicia y Trabajo, y Ministerio de Industria y Comercio.

- Publicación de reseñas en el portal de la OEI-IDIE (http://www.oei.org.py/idie.v2/html/noticias.html) a lo largo del

desarrollo de las actividades previas a la implementación del LAMP para informar de los avances del proceso (reuniones de la CMI, del

ETN, de los talleres de trabajo y resultados de las actividades).

b. Estrategias de contacto inicial e incentivos para la

participación

A continuación se describen las estrategias implementadas para facilitar el

acceso a los hogares y aumentar la probabilidad de participación.

- Envío de una carta oficial dirigida al Comandante de la Policía

Nacional antes del inicio de la recolección de datos para su amplia difusión en las comisarías locales de los distritos a ser visitados y el


acompañamiento correspondiente de la Policía Nacional en caso de

ser necesario, en especial en las zonas consideradas más sensibles y

riesgosas.

- Visita a municipalidades y comisarías durante el operativo: al

llegar al distrito seleccionado, los supervisores y/o fiscalizadores visitaban las respectivas municipalidades y comisarías para entregar

los afiches y trípticos del Programa y brindar información

suplementaria acerca del desarrollo del trabajo de campo. Cabe destacar que si bien no se visitaron todas las municipalidades y

comisarías, esta estrategia resultó interesante para respaldar el trabajo de los encuestadores y brindar más confianza a los

encuestados.

- Provisión de alimentos durante la administración de la entrevista: considerando la duración de la encuesta y el uso de la

grabadora, se ofrecieron golosinas a los niños presentes en el hogar, de modo a disminuir las interferencias durante la entrevista; y otros

comestibles (chipás y galletitas) para los encuestados con el fin de evitar interrupciones.

- Provisión de lentes de lectura para realizar los ejercicios de los

cuadernillos de tareas: durante los primeros días varios encuestados, por lo general personas mayores de edad,

manifestaron tener problemas visuales o cansancio de vista. Por este motivo, se consideró propicio proveer a cada equipo de trabajo

lentes de lectura con graduación estándar en caso de que el

encuestado lo necesitaba y solamente si se sentía cómodo con ellos. Al respecto, se orientó a los encuestadores a tomar las medidas

higiénicas correspondientes.

- Sorteo de computadoras portátiles: los encuestados que

completaban la entrevista recibieron un cupón para participar del sorteo de dos computadoras portátiles.

2.5.3. Desarrollo del trabajo de campo

Durante la recolección de datos, los encuestadores visitaron las viviendas seleccionadas, se presentaron utilizando su credencial, explicaron el motivo

de su visita, entregaron la carta oficial firmada por el Ministro de Educación

y Cultura, así como los materiales informativos LAMP. En caso de que el encuestador no haya logrado contactar con ningún miembro del hogar o con

la persona seleccionada, dejaba en la vivienda un aviso de notificación de visita. Cabe destacar que la entrega de los materiales alusivos a la encuesta

y la credencial del encuestador facilitó el acceso al hogar.


Una vez seleccionada la persona y concretada la entrevista, se administraron

los instrumentos siguiendo el flujo de la entrevista y los estándares de

aplicación.

Cada componente de la encuesta LAMP fue administrado utilizando el

método Entrevista Papel y Lápiz (PAPI) a través de una visita personal, sin intervención de terceros, a excepción del llenado del CA, donde algunos

encuestados recibieron ayuda de un miembro mejor informado del hogar

para los ítems relacionados a las condiciones socioeconómicas.

2.5.3.1. Aspectos positivos del trabajo de campo

Es pertinente mencionar el estado de avance detectado en el desarrollo del trabajo de recolección de datos:

- En la medida en que se ejercitó la aplicación, los encuestadores y

supervisores adquirieron mayor capacidad para el manejo de los

cuestionarios e instrumentos, del cronómetro y de la grabadora.

- Mejor habilidad en la interacción entre encuestador- encuestado, es

decir, que de una aplicación mecánica, estricta, de lectura textual y completa de la batería de instrumentos, se pasó a un intercambio

fluido y contextualizado que permitió ganar la confianza del encuestado y, consecuentemente, obtener información de mayor

calidad. También, se pudo notar que este aspecto permitió acortar el

tiempo de aplicación de la encuesta.

- Adecuación de los encuestadores a las diferentes circunstancias

presentadas durante la realización del trabajo de campo.

- Compromiso de los encuestadores y supervisores, predisposición

hacia el trabajo realizado, confianza para la presentación a los

miembros del hogar seleccionado y creatividad para implementar estrategias de persuasión al encuestado a fin de lograr su

cooperación.

2.5.3.2. Dificultades encontradas durante el trabajo de campo

A continuación se sintetizan los contratiempos y las situaciones surgidas durante el relevamiento de datos que dificultaron alcanzar el número de

casos completos previsto según el INP:

- Dificultades relacionadas con la disponibilidad y cooperación de las personas seleccionadas: específicamente esta situación se presentó

en los distritos de San Lorenzo, Itá y Villa Elisa, que son distritos


aledaños a Asunción, constituidos en su mayoría por hogares

“dormitorios” de los trabajadores del área metropolitana. Los hogares

de estratos socioeconómicos medios y altos también constituyeron una dificultad adicional considerando la alta tasa de rechazo

resultante. De hecho estas circunstancias retrasaron el cronograma de trabajo y obligaron a replantear la estrategia de contacto y obtención

de encuestas completas.

- Problemas para aplicar correctamente la definición operacional de “miembro del hogar” y hacerla comparable con la definición utilizada

en los operativos nacionales: una de las situaciones que confundió tanto a los supervisores como a los encuestadores fue la aplicación

homogénea de los criterios de inclusión/exclusión de miembros del

hogar, por ejemplo, el caso de los trabajadores temporales que no duermen la mayor parte de la semana en sus hogares (camioneros,

peones de estancia, trabajadores de empresas agroganaderas, etc.).

- Problemas climatológicos: debido a las intensas lluvias caídas

durante una semana del trabajo de campo fue necesario reprogramar las visitas a algunos distritos intransitables por vía terrestre, lo cual

alteró el cronograma de trabajo elaborado inicialmente.

2.5.4. Entrevista e instrumentos

La aplicación de la encuesta LAMP se inicia con un Cuestionario de

Antecedentes, seguido por pruebas cognitivas organizadas en subconjuntos

o módulos de aplicación selectiva (Módulos A y B), de acuerdo con un procedimiento de selección aleatoria realizado en el terreno. Esta situación

determina la complejidad para su administración y el nivel de destreza y preparación que debe tener el encuestador, así como la red de controles que

debe ser implementado para asegurar la calidad de la información colectada.

Es preciso diferenciar las actividades concernientes a la entrevista como

conjunto total de aquellas que corresponden a cada instrumento para

manejar adecuadamente las distintas fases del proceso. En este apartado se analizan por separado los aspectos que se relacionan con la entrevista y con

cada instrumentos con base en la experiencia piloto en Paraguay.

2.5.4.1. La entrevista

a. Gestión del flujo

Para gestionar el flujo de la entrevista, se dispuso de soportes de aplicación

destinados a facilitar la administración del conjunto de instrumentos y que


permitieron monitorear y evaluar las distintas etapas de este proceso: la

etiqueta del sobre de casos, el resumen de aplicación contenido en la

portada del CA, la sección INTRO del CA, el manual de procedimientos, entre otros. La experiencia piloto identificó algunos aspectos que serían

oportunos mejorar en estos documentos para mejorar la gestión y el control del flujo de la entrevista.

b. Secuencia de la entrevista

Es necesario examinar la secuencia de la entrevista en su conjunto para poder analizar los fenómenos que surgen durante la aplicación de las

pruebas, tanto en la interacción entre los principales actores como en la

reacción de los encuestados ante el instrumento, y demás factores exógenos y endógenos al proceso.

Respecto a la secuencia de la entrevista en Paraguay se pudo constatar que:

- El inicio de la entrevista con la aplicación del CA representó una

etapa muy prolongada antes de aplicar las pruebas cognitivas.

- Los instrumentos del Módulo A no se organizan por nivel de

dificultad, consecuentemente algunos encuestados con muy bajas

competencias en alfabetización no llegaron a completar el instrumento de menor nivel de dificultad (último de la secuencia) por

interrupciones o rechazo luego de haber intentado administrarles el Filtro y el Localizador.

- La ubicación del Localizador en la secuencia del flujo de la entrevista

correspondiente al Módulo A fue cuestionada por el personal de campo.

- La mezcla de pruebas PDN y Componentes de lectura en un mismo módulo supone un cambio metodológico tanto para el encuestador

como para el encuestado pues los instrumentos PDN son autoadministrados mientras la mayoría de las secciones del Rotafolio

se aplican oralmente. En ese sentido, la interacción entre los actores

se altera.

c. Idioma de aplicación

Pese a que el idioma de aplicación seleccionado en Paraguay era el

castellano, en el trabajo de campo los encuestadores utilizaron el guaraní en varias situaciones durante la aplicación como se describe a continuación:

- Primer contacto con los hogares, presentación del propósito de la

encuesta, interacciones entre el encuestado y encuestador,

despedida, etc.


- Aplicación del CA en guaraní, de acuerdo con la autorización del

UIS, solicitada por la Coordinación Técnica, al considerar la situación

lingüística del país antes descrita. Para ello se preparó una traducción de referencia para el CA que fue distribuida a los encuestadores y

supervisores. Según los registros, sólo el 24% de los encuestados solicitó aclaraciones de las preguntas del CA en guaraní.

- Algunos encuestadores brindaron aclaraciones de las instrucciones y

de las preguntas del Filtro en guaraní cuando los encuestados solicitaban con insistencia, a pesar de que en las capacitaciones, los

manuales, las normas y pautas se establecían que se debía utilizar únicamente el castellano para la administración de los instrumentos

cognitivos.

2.5.4.2. Instrumentos

El análisis que se presenta a continuación apunta a examinar los

instrumentos aplicados durante la prueba piloto en los siguientes términos: - Aplicabilidad y desafíos para el estudio principal,

- Reacción del encuestado ante el ítem y los instrumentos,

- Interacción encuestado/encuestador.

Los aspectos mencionados se basaron por una parte en las observaciones en

terreno y por la otra en la información resultante de un examen descriptivo de los datos obtenidos. Con ello se realizan breves consideraciones de los

aspectos señalados y, en caso necesario, se aportan sugerencias de modificación que presumiblemente podrían facilitar la aplicabilidad de los

instrumentos con el fin de mejorar los niveles de validez y confiabilidad de los datos indagados.

a. Cuestionario de Antecedentes (CA)

Genera información sobre el encuestado, su familia y su entorno. Cumple una función integradora de la entrevista y contiene los siguientes aportes

metodológicos:

- Constituye la plataforma de articulación de la encuesta,

complementada con pruebas directas de evaluación en alfabetismo.

- Contiene indicadores sobre aspectos lingüísticos, trayectorias educacionales y formativas detalladas, contacto con materiales

impresos, acceso a tecnologías de comunicación, aspectos socio-económicos, entre otros.


- Proporciona insumos sobre factores asociados claves para la mejor

interpretación de los resultados de las pruebas.

Observaciones generales sobre la aplicación del CA

- Promedio de duración: 31 minutos (Anexo B).

- Cansancio del encuestado debido a la extensión del instrumento y la

reiteración de las preguntas, específicamente entre las secciones C1/C2, referentes a la experiencia del encuestado con materiales

impresos (excluyendo las actividades de trabajo), y las secciones E7/E8 (incluyendo actividades de trabajo). El equipo técnico nacional

requiere claridad sobre el importancia específica de disponer de

información desagregada de estas variables en el contexto nacional; incluso se ha constatado confusiones por parte del encuestado que en

algunas ocasiones manifestó haber ya contestado a estas preguntas en secciones anteriores del instrumento.

- Respuesta mecánica e inconsistente del encuestado, específicamente en las secciones que contienen preguntas con gran

número de opciones de respuestas.

- Incomodidad del encuestador en la administración de algunos ítems por su falta de pertinencia en ciertos contextos socioculturales.

Se identificaron en terreno dificultades de diversa índole algunas atribuibles al instrumento (saltos, inconsistencias, etc.) y otras a los actores

intervinientes (falta de indagación para consignar la respuesta correcta,

respuestas asumidas, etc.). El formulario de adaptación del CA para la encuesta principal propondrá un análisis exhaustivo de los cambios

propuestos.

b. Módulo Filtro

Es una prueba de 17 preguntas diseñada para discernir entre personas a las

que se les aplicará el módulo A para bajas competencias lectoras, o el

módulo B para competencias medias y altas. En la aplicación piloto el Filtro no cumplió esta función, dado que la selección del Módulo se realizó de

forma aleatoria según el nivel educativo del encuestado, para determinar el criterio de corte del Filtro para la encuesta principal.

Observaciones generales sobre la aplicación del Módulo Filtro

- Promedio de duración: 23 minutos (Anexo B).

- Resultó difícilmente aplicable a personas con fuertes limitaciones de alfabetización, pues su administración supone un mínimo de

competencias lectoras y manejo de números. Además, al poner de


manifiesto las limitaciones lectoras o la exclusión de contextos

letrados del sujeto puede generar una situación incómoda a los

actores intervinientes.

- Es la primera prueba cognitiva aplicada y constituye un cambio en la

interacción entre el encuestador y el encuestado. El encuestado tiende a solicitar orientaciones y ayuda, motivado por el hecho de que en el

CA el encuestador proporcionó ejemplos para que el encuestado

respondiera.

- La administración oral de las instrucciones y de las preguntas abrió

la posibilidad del diálogo y de la inducción de las respuestas por parte del encuestador. También pudo haber tenido incidencias sobre el

proceso de asignación de puntaje por parte del encuestador dado que

ciertos encuestados daban la respuesta correcta oralmente pero la registraban de forma incompleta o incorrecta. Por ejemplo, en una

tabla que contiene nombres de países y cantidades de producción correspondientes de un determinado producto “n”, el encuestado

subrayó la cantidad de producción “n” en vez del nombre del país, aunque mencionó oralmente el nombre del país (Item PF00003).

- Ciertos encuestados manifestaron tener problemas visuales y se

quejaron del tamaño de las letras utilizado en algunos ejercicios.

- La necesidad de realizar correcciones en el terreno plantea una

ruptura en la interacción y supone una responsabilidad adicional a cargo del encuestador.

c. Módulo Localizador – Módulo A

El Localizador, cuya administración se realiza después del Módulo Filtro, constituye el primer instrumento aplicado dentro del Módulo A, comprende

18 preguntas y “permite suplementar en mayor detalle la información obtenida del filtro y determinar con mayor precisión la ubicación del

encuestado respecto a los niveles inferiores de competencias” (UIS, 2009).

Observaciones generales sobre la aplicación del Módulo Localizador

– Módulo A:

- Diferencias en los procedimientos de administración del instrumento

con relación al Filtro, pues el encuestador no lee las preguntas del

Cuadernillo al encuestado.

- Este Cuadernillo, al igual que el Filtro, resultó difícilmente aplicable a

personas con fuertes limitaciones de alfabetización.

- En atención a lo anterior, eso obligó a relajar las condiciones de

aplicación, mencionadas en el GAT, a criterio del encuestador dándole


mucha “libertad”. Asimismo, el encuestador pedía al encuestado ojear

el instrumento y realizar las tareas si podía; y pasaba a continuación a

la administración de los Componentes de lectura.

- Algunos encuestados manifestaron estar cansados o se quejaron de

tener que completar otro instrumento.

Teniendo en cuenta que los ítems del Localizador se corrigieron en gabinete,

primera y segunda corrección, las consideraciones al respecto se desarrollan

más adelante en el capítulo Asignación de puntaje.

d. Componentes de lectura – Módulo A

Los componentes de lectura proponen una indagación detallada de las competencias básicas previas al desarrollo de la lecto-escritura, dimensión

no presente en evaluaciones internacionales anteriores. Su propósito

principal es brindar a los diseñadores de programas y tomadores de decisión, mayor información sobre las habilidades lectoras de partida de las

personas que requieren un mayor grado de intervención para la formulación diferenciada de programas de alfabetización y post alfabetización.

Los Componentes de lectura abordan aspectos no considerados en otros instrumentos de observación nacionales, ni en las demás pruebas PDN del

conjunto LAMP.

La versión nacional adaptada del Rotafolio de Componentes de Lectura contiene ejercicios distribuidos en 10 secciones que pretenden captar con

precisión los elementos que podrían explicar el bajo desempeño lector de los encuestados. Se administra de forma oral con grabación integral de audio y

algunas de las secciones están cronometradas. El encuestador registra todas

las respuestas dadas en voz alta por el encuestado en el Cuadernillo de Registro. Además, otras respuestas se registran en el Cuadernillo del

Encuestado que contiene ejercicios cronometrados a realizar en silencio.

Observaciones generales sobre los Componentes de lectura –

Módulo A

La experiencia en campo, particularmente en la primera semana, puso en

evidencia la complejidad de la administración y de la corrección del

instrumento, tareas a cargo del encuestador.

- Promedio de duración: 31 minutos (incluyendo casos incompletos o

de aplicación parcial).

- La medición oral de los Componentes de lectura que se da con la

administración del Rotafolio, implica un nuevo escenario de


interacción y un cambio metodológico con los demás instrumentos del

conjunto (PDN), en los cuales se espera una respuesta escrita.

- Supone el manejo de una batería de instrumentos y elementos auxiliares que complican el trabajo en el terreno (Rotafolio,

Cuadernillo de Registro, Cuadernillo del Encuestado, grabadora, cronómetro), particularmente en contextos con limitada comodidad.

Por consiguiente, los encuestadores debieron en varias oportunidades

apelar al ingenio y administrar el Módulo de Componentes con el Rotafolio colocado en las rodillas, con la grabadora en el suelo; en la

calle, de pie, encima de una muralla, de un basurero, etc.

- Las interferencias del entorno (presencia de niños y otros miembros

del hogar, animales de granja y domésticos, vecinos, etc.), sumadas a

la atención requerida para desarrollar diversas tareas simultáneas, aumentaron las probabilidades de que tanto el encuestado como el

encuestador cometieran errores durante la administración de este módulo. Asimismo, estas situaciones incidieron en la asignación de

puntajes.

- Supone corrección en campo en tiempo real, con criterios diferentes

a los utilizados en la corrección de los instrumentos PDN.

Adicionalmente, los acentos y las variaciones de lenguaje propias de la influencia del guaraní en el castellano dificultaron la tarea de

asignación de puntajes a las respuestas orales.

- Por todo lo expuesto, los Componentes de lectura representan el

mayor desafío para la encuesta principal tanto para el acopio correcto

y preciso de los datos, como para su procesamiento y posterior análisis estadístico. Se planteó la premisa de que este instrumento

sería quizás más apropiado para un diagnóstico personal o para una evaluación única que para una medición estadística a escala junto con

otras pruebas.

Consideraciones sobre los ejercicios de componentes de lectura

- Utilizan instrucciones que suponen niveles cognitivos más elevados

que los requeridos en los ejercicios de la prueba.

- Algunos encuestadores se apropiaron de las instrucciones y las

reformulaban con sus propias palabras acorde al contexto, para no

romper el clima de confianza creado (a pesar de las normas de aplicación definidas).

- Varios encuestados reaccionaron de forma positiva ante el instrumento, pues la aplicación de la prueba les resultó una actividad

lúdica por la diversidad de los ejercicios propuestos.


- Por ser la última prueba a ser administrada, algunos encuestados

mostraban señales de cansancio y se debían enfrentar a instrucciones

largas, complejas y reiterativas, así como ejercicios cronometrados que presumían exigencias adicionales.

- Así también el encuestador ante el desafío de aplicar la prueba más exigente en atención y dedicación, pudo haber cometido errores

durante la administración y la asignación de puntajes, especialmente

en los ejercicios cronometrados.

- Los ejercicios de la Sección 9-Procesamiento de Oraciones

presentaron más dificultades para la asignación de puntajes, pues se le exigía al encuestador efectuar dos tareas de corrección: tachar las

palabras leídas de forma incorrecta y encerrar en un círculo la

respuesta dada por el encuestado (V/F/NS). Se observó en algunos casos que el encuestador no alcanzaba a tachar todas las palabras

incorrectas en tiempo real.

- Durante la primera semana de la prueba piloto, algunos

encuestadores no se aseguraron de que el encuestado haya entendido correctamente las consignas de los ejercicios del

Cuadernillo del Encuestado que se administran en forma

independiente y en silencio. En otros casos, no dieron las orientaciones suficientes (dar vuelta a la página, subrayar la última

palabra del párrafo, etc.) para el llenado correcto de este cuadernillo.

e. Cuadernillos 1 y 2 – Módulo B

Los Cuadernillos 1 (32 preguntas) y 2 (31 preguntas) del Módulo B “permiten determinar con mayor precisión la ubicación del respondiente

respecto de los niveles superiores de competencias” (UIS, 2009). La administración del Cuadernillo 1 y 2 difiere de la del Filtro pues el

encuestador no lee las preguntas al encuestado.

Observaciones generales sobre los Cuadernillos 1 y 2 – Módulo B

- Promedio de duración: C1: 38 minutos y C2: 42 minutos (Anexo B).

- En el marco del estudio piloto, considerando que la selección del

módulo se realizó aleatoriamente, estos cuadernillos resultaron

difícilmente aplicables a personas con fuertes limitaciones de alfabetización. Al respecto, el encuestador tuvo que flexibilizar las

pautas de administración del instrumento para no crear una situación incómoda al entrevistado.

- La cantidad de preguntas prolongó la duración de la prueba.


- Ciertos encuestados cuestionaron la fuente y el contenido de

algunos artículos (por ejemplo en el ítem MBL001).

Teniendo en cuenta que los ítems de ambos cuadernillos se corrigieron en gabinete, primera y segunda corrección, las consideraciones respectivas se

desarrollan más adelante en el capítulo Asignación de puntaje.

2.5.4.3. Códigos de situación final de los instrumentos

Los códigos de asignación final propuestos para la aplicación piloto no

contemplaban a las personas que declaraban no saber leer ni escribir, y consecuentemente no podían realizar ciertos cuadernillos de la entrevista.

Esta situación resultó problemática desde la aplicación del Filtro pues existía un riesgo potencial a perder el caso.

Por este motivo, durante la encuesta piloto, el equipo técnico propuso crear un nuevo código “00” para las personas con serias dificultades en

alfabetismo con el fin de justificar la alteración de la administración de los

instrumentos del Módulo A o la interrupción de la encuesta si salía seleccionado para completar el Módulo B. Sin embargo, no se adoptó este

código y se resolvió flexibilizar las pautas de administración, para completar los casos.

Finalmente, el equipo técnico de Paraguay creó un código de interrupción

“41” para aquellos encuestados que declararon “no poder” realizar secciones del Rotafolio por sus bajas competencias en lectura, para poder discernir

estos casos considerados completos de aquellos que fueron interrumpidos por otras razones voluntarias e involuntarias contabilizados como

parcialmente completos.

2.6. Asignación de puntajes

El trabajo de corrección se inició el 22 de marzo del 2010 y finalizó el 30 de abril del 2010.

El equipo encargado de la corrección de los ítems de la prueba piloto LAMP,

fue conformado por un corrector Jefe y 6 correctores. En el Anexo C, se describen los perfiles y responsabilidades de los correctores.

El proceso de corrección de los instrumentos cognitivos del LAMP siguió las Reglas generales y guías de asignación de puntaje proporcionadas por el

UIS con el fin de asegurar la comparabilidad de la asignación de puntajes a

nivel nacional e internacional. Por otra parte, se controló la aplicación correcta y consistente de las reglas de asignación de puntaje, identificando

oportunamente los ítems que presentaron dificultades y los correctores con


bajo nivel de consistencia; detectando los problemas relacionados con las

instrucciones de las guías de asignación de puntajes, y solucionando los

casos de discrepancias.

Los correctores trabajaron coordinadamente con el Corrector Jefe con el

propósito de discutir casos difíciles, compartir experiencias y resolver inconsistencias que se presentaron durante el proceso de asignación de

puntajes.

Cabe señalar que el equipo corrector pudo contar con el apoyo del UIS para resolver las dudas que surgieron del campo a lo largo del proceso.

2.6.1. Procedimientos para la corrección de instrumentos

Este apartado describe brevemente los aspectos observados y las soluciones

adoptadas durante el proceso de corrección de los instrumentos.

a. Corrección del Módulo Filtro

Se realizó la doble asignación de puntajes en gabinete para el 100% de los

casos corregidos en el campo por el encuestador.

La corrección y la captura de datos del Filtro se realizaron en forma casi paralela de modo que los resultados del primer y segundo corrector puedan

ser comparados con un desfase mínimo de tiempo. A partir del análisis de las discrepancias, se trataron los aspectos más relevantes durante

reuniones de retroalimentación que se realizaron durante el trabajo de

campo, con los encuestadores, supervisores, correctores y coordinadores en presencia del especialista del LAMP del UIS Montreal para recordar los

criterios de asignación de puntajes a ser aplicados.

b. Corrección Cuadernillo Localizador - Módulo A

Se realizó una doble corrección de los ítems de este cuadernillo para 100% de los casos por los correctores en la oficina del CO. La corrección de este

instrumento no ha generado mayores inconvenientes.

c. Corrección del Rotafolio/Cuadernillo de Registro - Módulo A

Los ítems de esta prueba fueron corregidos primeramente por los

encuestadores en tiempo real, durante la administración en campo. La segunda corrección del 20% del total de las grabaciones, se realizó en las

oficinas del CO, por los correctores.

La doble corrección, que se realizó a partir de la grabación de la prueba, permitió observar ciertos errores de administración del instrumento en

campo. Asimismo, ante las dificultades que se detectaron la primera semana de trabajo de campo para la administración de este instrumento, se decidió


proceder a la doble corrección del 100% de las pruebas de la primera

semana.

Además se organizaron dos reuniones de retroalimentación que se realizó con todos los encuestadores y supervisores durante el trabajo de campo

para monitorear la administración y la corrección del instrumento y subsanar los errores recurrentes que se describen en este apartado .

Se presentan las siguientes observaciones consideradas pertinentes para

ajustar el proceso de asignación de puntajes de la encuesta principal:

Sección 1. Vocabulario

Esta sección propone dibujos lineales que el encuestado debe identificar de

forma oral, contestando a la pregunta “¿Qué es esto?” mide el vocabulario oral básico de las personas encuestadas.

El cuadernillo de registro contiene las respuestas a ser consideradas correctas entre paréntesis. Asimismo se registraron como incorrectas

algunas respuestas que no estaban indicadas entre paréntesis pero que hubieran podido ser consideradas como opciones correctas12.

La mayor cantidad de respuestas incorrectas fue registrada para aquellos

estímulos que tienen un bajo nivel de familiaridad para la población adulta evaluada por no formar parte del contexto local de algunos encuestados. El

equipo técnico tiene expectativas a cerca de la posibilidad de analizar estos ítems, así como su funcionamiento diferencial respecto a su desempeño

frente de los distintos países, y proponer otros estímulos en caso de que

fuese necesario13(Linacre, 2008).

Por otra parte, a través de la grabación de audio: se pudo detectar errores

de administración de esta sección:

- En algunos casos, el encuestador ha saltado unos ítems durante la

administración de esta sección. En ese sentido se sugiere añadir un código para los errores de administración para no perjudicar o

favorecer al encuestado14. Asimismo, se considera indispensable, en

esta sección, que el encuestador repita ante cada imagen la expresión “¿Qué es esto?” o variantes como “¿y esto?” para que el segundo

12 Esta sección fue revisada por el UIS y propone un nuevo formato para el estudio principal. 13 El funcionamiento diferencial (DIF) indica que un ítem se localiza en una posición ordinal diferente, dentro de la escala de dificultad, respecto de otro grupo de entrevistados. Por ejemplo, un ítem que se

ubica como el segundo más difícil para un país dentro de un conjunto de 20 ítems y en cambio se localiza

como el décimo más difícil para otro país, claramente muestra un funcionamiento diferencial entre estos dos países. Nótese que no estamos interrogando el valor absoluto de la dificultad del ítem pues es

necesario que haya varianza en la información e ítems más difíciles que otros para entender los diferentes

niveles de la población en alfabetización. En cambio, sí podríamos interrogar que esta dificultad relativa sea distinta entre un país y otro. 14 Cabe señalar que para la encuesta principal, el UIS incorporó un código para los errores de

administración.


corrector pueda determinar si el ítem fue correctamente administrado

o saltado por error.

- Ante el silencio del encuestado o después de la respuesta errada dada por el encuestado, a veces, el encuestador proporcionaba la

respuesta correcta al encuestado en los ítems posteriores a aquellos utilizados como ejemplos.

Sección 3. Identificación rápida de números /Sección 6. Identificación rápida de letras (secciones cronometradas de 20

segundos)

Estas secciones cronometradas miden la fluidez de los encuestados en el

reconocimiento de elementos alfanuméricos.

Durante la primera semana, se detectó por medio de la grabación, en

algunos casos que el encuestador no respetaba el tiempo indicado “20 segundos” y/o no le indicaba al encuestado que podía volver a empezar la

lista cuando sobraba tiempo.

Sección 4 y 5. Identificación de letras en minúscula y mayúscula

Estas secciones piden al encuestado asociar la letra al símbolo impreso.

Los criterios de asignación de puntajes se modificaron durante la primera semana pues no se habían contemplado las diferentes opciones posibles. A

modo de ejemplo, se consideraron como correctas pronunciaciones de

fonemas como: /ke/ por “Q”; /gue/ por “G, considerando que el encuestado había reconocido la letra de forma correcta.

Se propone indagar más sobre estos aspectos para definir mejor los criterios de asignación de puntaje a adoptar para la encuesta principal.

Sección 7. Reconocimiento de palabras

Esta sección mide la habilidad del encuestado para reconocer palabras frecuentes.

Se consideró incorrecto cuando el encuestado agregó innecesariamente algunas letras intermedias o finales a las palabras. y cuando no se respetó

la acentuación en el caso de que fuera discriminatoria y que incidiera sobre

el significado de la palabra

En cambio, se consideraron correctas las palabras con falta de acentuación

si éstas no se prestaban a confusión con otras palabras.

Se consideró la respuesta como correcta cuando el encuestado leía la

palabra, y omitía la consonante final “s”, “n” o “d” o las intermedias de las

mismas letras, por ser una tendencia observada en los guaraní hablantes.


Este fenómeno se podría explicar en parte al hecho de que el idioma guaraní

“presenta una estructura silábica abierta: consonante-vocal o vocal sola, sin

palabras que terminen en consonante” (M.G Pereira Jacquet, 2009) y por el contexto socio lingüístico del sujeto.

Con vistas a la encuesta principal, es indispensable indagar y discutir más sobre las modificaciones fonológicas de los enunciados en castellano

producidos por la población adulta en Paraguay, especialmente por los

guaranís hablantes, a fin de determinar con precisión los criterios de asignación de puntajes.

Sección 8. Reconocimiento rápido de palabras

Lista de la prueba (sección cronometrada de 120 segundos). Durante la primera semana, se detectaron en algunos casos que el encuestador no

respetaba el tiempo establecido y/o no le indicaba al encuestado que podía volver a empezar la lista cuando sobraba tiempo.

Sección 9. Procesamiento de oraciones de los Conjuntos 1 al 5

Esta sección determina si el encuestado puede entender el significado de una oración.

La grabación audio de esta sección dificultó a veces la corrección en gabinete pues algunos encuestados contestaron con un gesto y no en voz

alta. Era necesario que el encuestado responda en forma audible para que

facilite la doble corrección, de lo contrario, el segundo corrector no podía asignar puntaje.

Sección 10. Lectura de párrafos. Oraciones 1-2 y Párrafo 1

Esta sección requiere que el encuestado lea un párrafo y elija entre dos

opciones la palabra con más sentido en la oración. Este ejercicio presentó

dificultades de corrección a raíz de que muchos encuestados no seleccionaban una de las palabras sino leían ambas.

Asimismo ante la cantidad de casos detectados donde mostraban claramente que el encuestado no había comprendido la consigna, se creó un

código. para distinguir esta situación de las otras respuestas15.

15 A raíz de los resultados de los estudios pilotos de los diferentes países, el UIS modificó la estructura de

los ejercicios de esta sección.


Cuadernillo del Encuestado

Los ejercicios de este Cuadernillo eran cronometrados y se realizaban en silencio. Los encuestadores no asignaban puntajes a estos ejercicios.

Se corrigieron la totalidad de los cuadernillos en gabinete y se realizó la doble corrección de 20% de las pruebas.

- Los errores de administración fueron más recurrentes con el

Cuadernillo del Encuestado por ser auto administrado y por ende escapan al control del encuestador en algunos casos. Por ejemplo, no

se aseguró que el encuestado había entendido la consigna, se interrumpió al encuestado al cabo de 60 segundos en vez de 120

segundos y daba por terminada la sección.

Cabe destacar que el UIS decidió incorporar al Rotafolio los ejercicios

contenidos originalmente en este cuadernillo.

d. Corrección de Cuadernillos 1 y 2 - Módulo B

- Se realizó una doble corrección de los ítems de este cuadernillo para

100% de los casos por los correctores en la oficina del CO. La corrección de este instrumento no ha generado mayores

inconvenientes.

- Se detectó una inconsistencia entre la instrucción del ítem PMBL003

y los criterios de asignación de puntajes de la guía de correctores.

2.6.2. Informes comparativos de asignación de puntajes

Con vistas a poner a prueba los estándares de la encuesta principal, y tal

como se definió en el Manual de Procedimientos de asignación de puntajes, se buscó una consistencia de 97% entre los Correctores.

La Tabla 2 presenta el porcentaje de consistencias e inconsistencias entre el

primer y segundo corrector por instrumento PDN en la que se observa que el Filtro presentó el mayor porcentaje de discrepancias entre el Corrector 1

(encuestador) y el Corrector 2 (corrector). Sin embargo, la doble corrección de estos cuadernillos en los primeros días de trabajo de campo permitió

identificar los ítems que causaban dificultades para la asignación de

puntajes, y los correctores 1 que tuvieron menor desempeño. Se organizaron 2 reuniones de retroalimentación la primera semana de trabajo

de campo y se realizó un monitoreo de la corrección de las pruebas en terreno por parte de los supervisores y coordinadores.


Tabla 2. Número y porcentaje de consistencias e inconsistencias

entre correctores, según instrumentos

Instrumento Consistencia Inconsistencia Total

corregido Abs. % Abs. %

Filtro 9587 97 324 3 9911

Localizador 5040 98,94 54 1,06 5094

Cuadernillo Registro Sin dato Sin dato

Cuadernillo Encuestado 6827 99,52 33 0,48 6860

Cuadernillo 1 2749 97,76 63 2,24 2812

Cuadernillo 2 2486 98,38 41 1,62 2527

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia.

También se elaboraron tablas de los ítems según instrumentos con mayores discrepancias entre el corrector 1 y 2. El análisis de las tablas y de las

discrepancias permitió detectar los ítems que presentaron dificultades en el proceso de asignación de puntajes, así como otros aspectos a ser

considerados para la adaptación de los instrumentos y manuales; y la

capacitación de la encuesta principal. Se pueden destacar las observaciones siguientes:

- Para el Módulo Filtro, en términos generales, las discrepancias de

asignación de puntajes entre corrección en campo y gabinete podrían

estar relacionadas, en alguna medida, con la característica de los registros de respuestas de los instrumentos PDN, que están

planteados como preguntas abiertas. Lo expresado alude a las discrepancias observadas en algunos ítems en especial, a partir de

respuestas ambiguas o incompletas de parte de los encuestados. Se

cita como ejemplo el ítem PF004 del Filtro: El encuestado respondió encerrando en un círculo la producción (en miles de toneladas) y no

los nombres de países a que hace referencia la pregunta. El primer corrector pudo registrar la respuesta como correcta y el segundo

como incorrecta. Se podría explicar en parte por el hecho de que durante la aplicación en terreno, ciertos encuestados dan la respuesta

correcta en voz alta pero marcan sólo el dato que les permitió

encontrar la respuesta correcta.

- En el caso del Módulo Filtro, se detectaron algunas inconsistencias

entre las guías de asignación de puntajes de los correctores y las


guías de tareas (GAT) de los encuestadores que podrían explicar

ciertas discrepancias.

- Las preguntas abiertas donde se espera una descripción, una justificación, etc., específicamente en los cuadernillos 1 y 2 del

Módulo B, generaron mayores dificultades para la corrección. Sería necesario analizar con mayor profundidad durante la capacitación el

rango de respuestas a considerar como correctas para la encuesta

principal.

2.7. Codificación del cuestionario de antecedentes

La codificación del Cuestionario de Antecedentes estuvo a cargo de un equipo de codificadores, integrado por tres críticos codificadores y un jefe

coordinador responsable de la distribución del trabajo, recepción y control de cuestionarios, así como de la supervisión y verificación del trabajo de los

críticos codificadores. El equipo de codificadores contaba con experiencia en encuestas y censos, y fueron previamente capacitados específicamente

sobre el CA del LAMP.

Se elaboró un registro de los cuestionarios recepcionados, codificados y criticados para monitorear la producción del equipo de trabajo así como el

traspaso de los CA entre el equipo de codificadores y digitadores.

La primera actividad consistió en el análisis de consistencia interna del

cuestionario (verificación de los campos marcados y/o llenados conforme a

lo establecido en el Manual del Encuestador, y de los saltos de preguntas).

Las preguntas correspondientes a ocupación principal y rama de actividad

fueron codificadas con los clasificadores internacionales el CIUO-88 Número 2 (Clasificación Internacional Uniforme de Ocupaciones) y el CIIU Número 4

(Clasificación Industrial Internacional Uniforme de todas las Actividades Económicas).

Las preguntas referentes a educación no fueron codificadas según CINE 97,

debido a que las categorías de respuesta del CA correspondían a los niveles/grados/programas del sistema educativo nacional y que el programa

de entrada de datos incluía las equivalencias al CINE-97.

Para el caso de las preguntas abiertas, se procedió a la elaboración de un

listado exhaustivo de todas las respuestas consignadas en las categorías

“Otro (especifique)”, esto permitió la agrupación de las respuestas en familias de categorías y facilitó la creación de códigos.

Los principales inconvenientes encontrados durante la crítica y codificación estuvieron relacionados a las respuestas sobre la ocupación principal y rama

de actividad, debido a la falta de precisión en la información recolectada en


campo, lo cual dificultó la asignación de códigos. Los procedimientos y

acuerdos arribados por los críticos codificadores fueron registrados para

estandarizar y asegurar la comparabilidad entre los datos obtenidos por los diferentes encuestadores.

2.8. Procesamiento de datos

2.8.1. Recepción y organización de los cuestionarios e instrumentos

La recepción de los instrumentos estuvo a cargo de un técnico asignado

exclusivamente a esta actividad, para tal fin se diseñó una planilla Excel de

registro, donde se sistematizó la entrega de los materiales provenientes del campo, dicho soporte facilitó el monitoreo de la cobertura de la encuesta por

USM, los entrevistas completas por equipo, la verificación del cumplimiento y la distribución de los casos necesarios para satisfacer los estándares técnico

del LAMP en términos de nivel de estudio y módulos a realizar.

El control de entrega de instrumentos se realizó mediante la verificación de la “Lista de control de tareas y entrega de instrumentos”, en esta actividad

participaban el responsable de logística y el supervisor de encuestadores. El procesamiento de los materiales provenientes del campo se organizó de la

siguiente manera:

- Separación de instrumentos por lotes.

- Organización de los lotes de instrumentos según USM, para los

diferentes destinatarios (codificadores-correctores-digitadores).

- Descarga de los archivos de sonido correspondientes a la aplicación

del Rotafolio en un equipo informático, organizados por carpeta de supervisor y dentro de ellas subcarpetas por USM.

2.8.2. Captura de datos

Paraguay desarrolló su propio sistema de captura de datos con una

estructura compatible con el software internacional utilizado por el programa

LAMP. El equipo de digitación estuvo constituido por dos programadores que elaboraron el software y 6 digitadores. La digitación se realizó en paralelo

con la recolección, corrección y codificación de instrumentos, permitiendo identificar los principales problemas en cada una de esas etapas. En total se

han producido 25 bases de datos, que se clasifican de la siguiente manera: grabación y verificación de la primera corrección y segunda corrección del

Filtro, del Localizador, de los Cuadernillos 1 y 2, del Cuadernillo de Registro

y Cuadernillo del Encuestado de componentes de lectura y la base de datos


del Cuestionario de Antecedentes. Cabe aclarar que se entiende como

“verificación”, a la segunda grabación independiente de cada corrección.

2.8.3. Descripción de la base de datos y registros

Se elaboró un diccionario de la base de datos conforme al software

desarrollado en Paraguay y fue remitido al UIS para fines comparativos. Este diccionario de base de datos fue utilizado para el procesamiento y análisis

de los datos de la prueba piloto a nivel nacional. Además, se realizó la migración de los datos al formato IRL.

2.8.4. Verificación de la captura de datos

Se realizó la doble digitación del 100% de los cuestionarios e instrumentos

de evaluación por distintos digitadores en archivos independientes, con el fin de evaluar el porcentaje de discrepancia entre digitadores y disponer de las

bases de datos necesarias para el análisis de las discrepancias entre

correctores.

2.8.5. Validación y consistencia

Esta etapa consistió en la aplicación de procesos de verificación de consistencia de la información recolectada, para lo cual se llevó a cabo un

proceso recursivo de verificación y retroalimentación a los digitadores para el ajuste de la información en caso de existir inconsistencias.

La experiencia ha demostrado que las inconsistencias simples se pueden identificar y corregir fácilmente durante el ingreso de datos. Sin embargo,

los errores más complejos de consistencia se deben resolver examinando

cuidadosamente el cuestionario, dado que la corrección de una variable puede generar inconsistencias en otras. Las consignas para la consistencia

de datos se establecieron con anticipación a la captura de datos de manera a disponer de criterios claros y uniformes. En caso de duda, los digitadores

consultaban con la Coordinación Técnica para resolver las inconsistencias.

El procedimiento seguido consistió en implementar un sistema de consultas para verificar la estructura y el contenido de cada campo en cada tabla de

datos. Una vez ejecutada las consultas se generó un reporte de errores entregado a los digitadores para su verificación y corrección, así los

digitadores procedían a realizar la revisión del mencionado reporte con los

instrumentos respectivos, principalmente el CA, e introducían los cambios correspondientes. Este procedimiento fue reiterado una y otra vez a medida

que se corregía la base de datos.


2.9. Control de calidad

Los procedimientos de control de calidad aplicados durante todo el proceso de la prueba piloto han sido componentes integrales de las etapas de

diseño, planeación e implementación del estudio.

2.9.1. Control de calidad de la adaptación de los instrumentos

Con el fin de asegurar que los instrumentos adaptados no alteren la

dificultad de los ítems, su dominio conceptual ni el formato de los

instrumentos, textos y gráficos contemplados en las versiones originales en inglés; el equipo técnico de adaptación siguió las “Reglas generales para la

traducción y adaptación del material del LAMP” y “Pautas de traducción y adaptación del LAMP” proporcionados por el UIS e ingresó todos los cambios

propuestos en las respectivas plantillas Excel en el “Formulario de Adaptación”. Los formularios fueron remitidos al UIS para su revisión y

aprobación.

Este proceso de verificación permitió discutir las modificaciones sugeridas antes de integrarlas a los archivos PDF enviados al UIS para su aprobación

final.

2.9.2. Control de calidad de la capacitación a encuestadores y

supervisores

Durante el proceso de capacitación, los supervisores y encuestadores fueron evaluados sobre la parte teórica y práctica. Estas evaluaciones permitieron,

en otras cosas, poner a prueba el proceso mismo de capacitación, detectando los aspectos a mejorar y a reforzar en la capacitación con vistas

a la encuesta principal.

Por otra parte, se pidió a los mismos supervisores y encuestadores evaluar el proceso de capacitación durante el taller de evaluación que se organizó al

finalizar el operativo de campo para considerar sus sugerencias.

2.9.3. Control de calidad de la muestra

Además de la funciones y tareas especificadas en el INP, los supervisores

fueron responsables de verificar la calidad del marco muestral, seleccionando de forma aleatoria al menos una vivienda por cada USM que

se encontraba en la zona a su cargo. Debían efectuar un recorrido completo

de las USM durante el operativo y verificar los datos recolectados durante la actualización; sin embargo, esta tarea no se pudo realizar en todos los

casos, debido a que los supervisores se encargaron en el terreno de asignar


los hogares a los encuestadores y observar parte o totalidad de la

administración de la encuesta, averiguando en esos casos, la correcta

selección de los miembros del hogar.

2.9.4. Control de calidad de recolección de datos

A objeto de garantizar la estandarización de la aplicación del CA y los

instrumentos cognitivos a las personas seleccionadas, los supervisores y encuestadores se comprometieron a seguir estrictamente las pautas, normas

y procedimientos establecidos a nivel nacional elaborados en base a los criterios técnicos internacionales del Programa LAMP. Para tal efecto, se

entregó al personal de campo los manuales operativos, se llevaron a cabo

capacitaciones intensivas y se adoptaron mecanismos de supervisión y fiscalización.

Asimismo, se contó con la presencia de un miembro del equipo LAMP del UIS que pudo apreciar la aplicación de los procedimientos durante la

recolección de datos del estudio en general. Además observó las particularidades del diseño de la encuesta en un contexto bilingüe, así como

las dificultades presentadas en terreno.

Cada supervisor observó varias sesiones de aplicación de cada uno de los tres encuestadores a su cargo y registró en el formulario “Observaciones del

Supervisor” todo aquello que en mayor o menor grado se apartó de los procedimientos estipulados, las situaciones que merecían una atención

prioritaria de cara a la encuesta principal, los aspectos que según su

percepción podrían ser mejorados, entre otros. El supervisor tenía la potestad de intervenir durante la entrevista en el caso de que los

procedimientos utilizados por el encuestador no se ajustaban a lo estipulado. No obstante, su papel principal fue ayudar a resolver dudas, apoyar la

aplicación de instrumentos en caso de dificultades, explicar con mayor amplitud el proyecto LAMP cuando lo ameritaba, ayudar a la toma de

decisiones respecto a la aplicación de las encuestas y mantener una

comunicación permanente con la Coordinación Técnica.

Otro nivel de control de calidad de la etapa de recolección de datos estuvo

constituido por los fiscalizadores encargados de evaluar el desempeño de los encuestadores y supervisores durante las entrevistas. En términos

generales, los fiscalizadores juzgaron la aplicación de la prueba como

“buena”, sin embargo, en algunas sesiones observadas se identificaron divergencias respecto a las directrices, en especial durante los primeros días

del trabajo de campo, en este sentido para subsanar la dificultades encontradas se realizaron dos talleres de retroalimentación, el primero luego

del tercer día de campo y el segundo la siguiente semana en presencia del

Especialista del UIS.


2.9.5. Control de calidad del procesamiento de datos

2.9.5.1. Corrección y codificación

El control de calidad del proceso de corrección, crítica y codificación se

efectuó a través de la doble corrección del 100% de las pruebas cognitivas y la doble codificación del 100% de los CA.

La segunda corrección de los instrumentos de evaluación se ejecutó de forma independiente por un corrector diferente del primero. También, se

establecieron procedimientos de asignación de los lotes de instrumentos para garantizar la rotación de los segundos correctores, y se generaron

periódicamente listados de discrepancias para verificar la aplicación correcta

de los criterios de asignación depuntajes.

La doble codificación del CA se realizó una vez concluida la crítica y

codificación de cada USM por otro codificador. En caso de discrepancia, se consultaba al jefe de crítica y codificación quien realizaba el análisis y

revisión del CA y asignaba a su vez el código a ser considerado válido para

la digitación.

2.9.5.2. Programa de consistencia de datos de los

instrumentos PDN

Se han creado programas de consistencia de datos para los instrumentos PDN y para los Componentes de Lectura para controlar el ingreso de valores

permitidos en cada variable, el control de flujo de los datos ingresados y los rangos de fecha de acuerdo al mes en que se realizó la encuesta.

Para los instrumentos PDN, el programa realizó una sumatoria de control del

total de respuestas correctas (1) ingresadas y las respuestas no alcanzadas (0).

Para los componentes de lectura, se realizaron controles para las secciones de Identificación rápida de números, Identificación rápida de letras y

también en Reconocimiento rápido de palabras donde se controló el último

número, letra o palabra que alcanzó el encuestado. Se incluyeron controles para la aplicación de la regla de interrupción (RI) en las secciones de

Reconocimiento de palabras y de Procesamiento de oraciones, así también del puntaje asignado a los ítems de las secciones de Procesamiento de

oraciones y Lectura de Párrafos.

Además se han creado programas para listar los ID de todos los módulos

Filtro, Localizador, Cuadernillos 1 y 2 del Módulo B, Cuadernillos de Registro


y Cuadernillo del Encuestado de los Componentes de Lectura para luego

poder chequear si cada instrumento tiene su correspondencia con lo cargado

en el Cuestionario de Antecedentes.

2.10. Estudio etnográfico

Los investigadores etnográficos visitaron, junto a los diferentes grupos de encuestadores, 45 viviendas para poder disponer de 18 entrevistas

completas sin interrupción. La observación directa y el registro (en audio y vídeo) de las entrevistas realizadas con el acuerdo previo del encuestado,

consideró todas las etapas desde el contacto inicial, inicio de la entrevista,

aplicación de los instrumentos y fin de la entrevista; además del registro de elementos contextuales temporales, espaciales y de la interacción entre

entrevistador y encuestado. Se consignaron a su vez entrevistas a supervisores y encuestadores así como situaciones especiales recabadas a

través de las grabaciones: comentarios de encuestados y de otros miembros del hogar presentes durante la entrevista.

Además, se realizó un grupo focal con los supervisores y encuestadores para

analizar su percepción del proceso de recolección de datos.

Los resultados obtenidos del análisis cualitativo se presentan en un informe

etnográfico independiente titulado “Investigación cualitativa sobre el contexto de aplicación de pruebas de medición de niveles de alfabetismo.”

Es importante destacar que el mencionado estudio forma parte integral de la

etapa piloto de la encuesta LAMP y que proveyó de insumos importantes a tener en cuenta en la encuesta principal. (Guttandin, Riquelme, junio, 2010).


3. PRINCIPALES RESULTADOS

La planeación del estudio LAMP y los procedimientos adoptados se pusieron

a prueba durante la fase piloto. Conforme a lo esperado, la prueba piloto ha permitido identificar ciertas situaciones que deberán ser contempladas en el

estudio principal, tales como: mejorar los procedimientos de selección y reclutamiento del personal, de capacitación, de aplicación de los

instrumentos, ajustar los aspectos logísticos, presupuestarios, etc.

Este apartado contiene información referente a los principales resultados obtenidos en función a los objetivos propuestos para el estudio piloto

considerando los aspectos descriptos a continuación.

3.1. Evaluación del marco muestral

Paraguay cumplió con los requerimientos de distribución de casos completos

y válidos por nivel educativo y según los módulos, para satisfacer los estándares y establecer las escalas psicométricas de competencias en

alfabetismo de forma confiable (Tabla 3).

Tabla 3. Resultado final de la muestra por nivel educativo, según

Módulos A y B y Cuadernillos 1 y 2

Módulo/ Cuadernillo

Nivel 1: hasta el 6º grado

o equivalente

Nivel 2: 7º grado y más o

equivalentes Total

Hombre Mujer Total Hombre Mujer Total Hombre Mujer Total

Módulo A 35 135 170 40 64 104 75 199 274

Módulo B 26 41 67 84 130 214 110 171 281

Total 61 176 237 124 194 318 185 370 555

Cuadernillo 1

19 14 33 53 62 115 72 76 148

Cuadernillo 2

7 27 34 31 68 99 38 95 133

Total 26 41 67 84 130 214 110 171 281

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia


a. Tasa de respuesta

Considerando la experiencia nacional referente a tasa de respuestas a

encuestas de hogares, para la prueba piloto se estimó obtener una tasa de respuesta del 70%. Se visitaron aproximadamente 820 viviendas, de las

cuales se digitaron en la base de datos 702 casos16 y finalmente 555 personas completaron la totalidad de la batería de instrumentos LAMP,

según el módulo seleccionado.

Cabe señalar que la tasa de no respuesta se encuentra subestimada dado que la última semana de trabajo de campo, los equipos reportaron rechazos

de USM completas. Ante esta situación la Coordinación Técnica del LAMP tomó la decisión de realizar el barrido de las USM hasta cumplir los casos

completos requeridos y no fueron registrados los casos de rechazo en el

Resumen de Aplicación del CA.

La Tabla 4 muestra la tasa de participación, según las situaciones

registradas en campo.

Tabla 4. Cantidad de entrevistas, según código de situación final

Situación Final Abs. %

Completada 555 79,1

Incompleta 42 6,0

Rechazo 48 6,8

Otra persona rehusó en nombre del encuestado 5 0,7

No se encuentra en casa 30 4,3

Ausencia temporal 15 2,1

Muerta, enfermedad u otras circunstancias inusuales 2 0,3

Condición mental emocional 1 0,1

Discapacidad física 1 0,1

Retardo mental 1 0,1

Otros (no especificados) 2 0,3

Total 702 100,0


El diseño muestral del estudio piloto permitió evidenciar algunos supuestos básicos para el estudio principal, a saber:

16 La diferencia de 118 casos corresponde a los rechazos, viviendas desocupadas, temporales, en

construcción que no fueron registrados porque se reutilizaron los CA no llenados para otros casos a fin de

optimizar los cuadernillos impresos.


- La estratificación de los distritos permitió cubrir una gama muy

heterogénea de contextos socioeconómicos en los que se realizará el

estudio principal, aspecto relevante para los fines analíticos que propone la encuesta a nivel nacional.

- En el Departamento Central, la diferencia entre ámbitos urbano y

rural tiende a disolverse, tal como se comprobó en el caso de Limpio e

Itauguá, zona de expansión de la periferia urbana.

- La tasa de respuesta obtenida en Juan de Mena, José Falcón,

Itauguá y Limpio, distritos incluidos en el estrato con nivel socioeconómico bajo-medio donde se aplicó una muestra aleatoria, ha

sido superior a la tasa de respuesta obtenida en los estratos altos.

Particularmente en Asunción y distritos aledaños, la tasa de respuesta ha sido más baja a pesar de seleccionar los hogares de manera

intencional.

Cabe destacar que esta tendencia también se observa en los datos de la Encuesta Permanente de Hogares confirmando la necesidad de establecer

una estrategia sólida con el propósito de reducir la tasa de no respuesta en

estos distritos y en los estratos más altos. Esta medida permitirá también evitar una sobrerrepresentación de personas pertenecientes a estratos bajos

en los datos finales.

Finalmente, se ha acordado redefinir el tamaño de la muestra para el

estudio principal considerando que el marco muestral no está actualizado, lo

que incidiría sobre las desagregaciones y estratos definidos en el INP. El nuevo diseño muestral no perdería representatividad de las variables de

interés.

b. Procedimientos de selección

Selección del hogar

En Paraguay, existen muchas viviendas cuya característica está dada por la

existencia de más de un hogar en una misma vivienda. Por este motivo, se vio la necesidad de crear una estrategia de selección aleatoria del hogar a

ser encuestado.

Selección de la persona a encuestar

Una de las dificultades relacionadas con la selección de la persona se refirió

a la confección de la lista de personas del hogar que debía responder a dos

criterios: orden decreciente de edad y jefatura de hogar.


En algunos casos el entrevistado no ofrecía los nombres de los miembros del

hogar de manera ordenada y se detectaron ciertos errores de

reenumeración cometidos por los encuestadores; lo que derivó en una selección incorrecta de la persona que debía ser encuestada.

Por otro lado, como se observa en la Tabla 5, el sesgo en la distribución por

sexo hacia las mujeres se agudizó en las localidades donde es común la

ausencia prolongada del hombre por razones laborales, como consecuencia directa de la aplicación del criterio de “residencia habitual” limitado al

horizonte temporal de la prueba piloto.

Tabla 5. Distribución de los encuestados por sexo y edad

Rango de Edades Sexo

Total

Varón Mujer

15-24 68 98 166

41,0% 59,0% 100,0%

25-34 41 99 140

29,3% 70,7% 100,0%

35-44 35 78 113

31,0% 69,0% 100,0%

45-54 21 60 81

25,9% 74,1% 100,0%

55-64 12 36 48

25,0% 75,0% 100,0%

65 y más 35 39 74

47,3% 52,7% 100,0%

Total 212 410 622

34,1% 65,9% 100,0%


Selección del Módulo y del Cuadernillo 1 ó 2

La selección del Módulo y de los Cuadernillos fue alterada por los siguientes

motivos:

- La distribución esperada de personas con niveles bajos, medios y

altos de educación en el marco muestral usado no correspondió a la realidad encontrada en terreno, pues el monitoreo de la distribución

de los casos detectó un déficit en la cantidad requerida de encuestas

para los niveles más bajos de educación. Esto obligó a rediseñar la


estrategia de selección de viviendas identificando otras USM con las

características requeridas.

- La tabla de selección aleatoria no garantizó la distribución equitativa entre el Cuadernillo 1 y 2 del Módulo B, pues estas tablas de selección

habían sido adheridas a la totalidad de los CA de la muestra. Por tanto, la pérdida de CA originada por los rechazos, casos incompletos

y los utilizados para los encuestados seleccionados para el Módulo A

alteró el balance final de las tablas de selección de los CA disponibles para aquellos encuestados seleccionados para el Módulo B

(Cuadernillos 1 o 2).

- También fueron identificados errores de asignación atribuibles al

encuestador.

3.2. Funcionamiento del CA y de los instrumentos cognitivos

a. Cuestionario de Antecedentes: se considera que en general las adaptaciones nacionales realizadas a las preguntas del CA en términos

sociolingüísticos han sido comprendidas por la población objetivo, puesto

que se ha intentado utilizar como modelo las diversas encuestas realizadas a nivel nacional.

Sin embargo, tal como se mencionó en el apartado de instrumentos en el capítulo de recolección de datos, se identificaron algunas reiteraciones,

opciones de respuestas y preguntas que deberán ser evaluados por el

equipo técnico para: i) determinar si proporciona todos los elementos críticos para propósitos analíticos en el ámbito nacional; ii) evitar respuestas

mecánicas e inconsistentes por parte del encuestado que atenten contra la calidad de la información recolectada, y iii) asegurar la consistencia interna

del instrumento. Este análisis pormenorizado será documentado y fundamentado en la etapa de adaptación del CA para la encuesta principal.

Finalmente, el promedio de duración del CA es de 31 minutos, superando la

duración media de aplicación de cada uno de los instrumentos cognitivos asignados, lo cual ocasionalmente podría originar rechazo o indecisión del

encuestado para seguir con la entrevista después de la administración del CA, por su larga duración.

b. Instrumentos cognitivos PDN: no tendrán mayores cambios para la

encuesta principal, pues se pudo evaluar su funcionamiento en el campo, destacándose las observaciones específicas en el apartado de Instrumentos

en Recolección de datos y en Asignación de Puntajes. En el aspecto procedimental, la divergencia en las orientaciones de

aplicación entre el Filtro, cuyas preguntas son leídas al encuestado, y los

demás instrumentos PDN, que son autoadministrados, pudo influir en los


resultados pues la administración oral de las preguntas y el diálogo que

emerge de esta interacción resulta difícil de controlar en el campo.

Asimismo, no todos los encuestadores leen las preguntas de la misma forma (intencionalmente o no) y hasta pueden incidir en las respuestas dadas por

los entrevistados. Por otra parte, es importante señalar que se observaron estilos de

administración diferentes según los encuestadores. En este sentido, la

estandarización de los procedimientos de administración y la neutralidad representan desafíos importantes para el personal de campo, que se

enfrenta a situaciones no previstas y singulares cada día.

c. Componentes de lectura: la administración de este módulo presentó

mayores desafíos comparándolo con los demás instrumentos por sus

características singulares (por una parte, aplicación oral esperando una respuesta también oral e inmediata a los estímulos y por la otra, el llenado

independiente de la última sesión), los aspectos particulares fueron detallados en el apartado de Instrumentos en Recolección de datos y en

asignación de puntajes. Sin embargo, se destacan los siguientes puntos:

- Los encuestadores a medida que aplicaban las encuestas, fueron

afianzando sus conocimientos en el contenido, manejo y

administración de los Componentes en diferentes circunstancias. - El cambio metodológico que supone la administración del Rotafolio

obligó a los encuestadores a desarrollar estrategias para mantener la colaboración del encuestado para completar la administración del

Módulo A.

- En varias situaciones a los supervisores no les alcanzó el tiempo para verificar la calidad de la información recolectada.

En general, entre las razones que pueden explicar las dificultades asociadas

a la aplicabilidad de los instrumentos en su conjunto, se señalan:

- La extensión de cada instrumento (cuestionario y pruebas

cognitivas) sumado al número de pruebas aplicadas en cada caso. - Las innovaciones contenidas en el CA referentes al acopio de

variables de interés que puedan representar factores asociados al logro cognitivo de las personas, resulta muy significativo y esencial.

Sin embargo, la aplicación del CA en Paraguay puso de manifiesto

para el equipo nacional la necesidad de desarrollar mayores análisis para el ajuste pertinente del CA con miras a la encuesta principal.

- La complejidad del manejo de la plataforma de la encuesta en su conjunto, complementado por la batería de instrumentos y elementos

auxiliares necesarios para administrar los ejercicios de Componentes

de lectura. - La diversidad de tareas a cargo del encuestador y del supervisor,

que supone toma de decisiones importantes (selección del


entrevistado, del módulo a ser aplicado, asignación de puntajes al

filtro y a los ejercicios de Componentes de lectura, entre otros).

Estos aspectos tuvieron incidencias directas en los encuestados relacionados

principalmente con la exigencia de: i) utilizar mucho tiempo para responder a la encuesta, renunciando a sus actividades cotidianas, ii) “invadir” su

espacio, y además iii) realizar pruebas haciendo lo mejor que pueda durante

varias horas.

d. Asignación de puntajes: los encuestadores ensayaron la asignación de

puntaje del Filtro en tiempo real en el campo, en general esta tarea resultó satisfactoria requiriendo de 2 a 4 minutos para su realización. Como lo

muestran los informes de consistencia entre correctores (capítulo de

Asignación de Puntajes), se cumplieron con los estándares técnicos del programa LAMP a pesar de las inconsistencias detectadas entre las Guías de

Asignación de Puntajes de los correctores y el GAT de los encuestadores. Los otros instrumentos PDN no mostraron mayores dificultades en la

corrección en gabinete.

Respecto a los componentes de lectura, se evidenciaron mayores

discrepancias entre la asignación de puntajes en el campo por el

encuestador y el corrector en gabinete, utilizando las grabaciones. Se podría argumentar estas discrepancias sistemáticas por los siguientes factores:

aplicación oral del instrumento en el campo en diversos contextos alterada por numerosas interferencias; utilización de cronómetro sin temporizador

automático, exigencia de realización de tareas simultáneas por parte del

encuestador, etc.

3.3. Capacitaciones, recolección y procesamiento de datos

3.3.1. Capacitaciones

La capacitación a supervisores, encuestadores, codificadores, correctores y digitadores permitió ensayar varios aspectos importantes inherentes a la

investigación. En primer término posibilitó someter a prueba el proceso de

selección del personal, colaboró para la identificación de procedimientos y actividades a ser mejorados en el adiestramiento de los actores involucrados

y ofreció una oportunidad de observar el desarrollo de la entrevista LAMP en situaciones simuladas.

Si bien los diferentes roles desempeñados exigen contenidos y prácticas

específicos, se evidenció la necesidad de articular las capacitaciones de las diferentes áreas y de proponer una sesión común para todos los actores.

Esto con el fin de que todos los involucrados conozcan los roles y responsabilidades de cada uno en los diversos procesos.


También pudo constatarse que las prácticas en situaciones simuladas resultó

una estrategia útil y efectiva para el aprendizaje de las destrezas requeridas,

específicamente para las funciones de supervisores y encuestadores. Sin embargo, el tiempo dedicado resultó insuficiente, por lo cual se prevé

subsanar esta falencia para la capacitación del estudio principal aumentando el número de prácticas y el tiempo de entrenamiento.

3.3.2. Recolección de datos

La recolección de datos tuvo como resultado evaluar la composición de los

equipos de trabajo en campo. Se constató la importancia de mantener la conformación original de los equipos de trabajo durante todo el proceso

para fomentar el trabajo mancomunado y coordinado entre sus miembros,

con el fin de agilizar esta etapa.

Otro aspecto que fue evaluado durante esta etapa fue el periodo de tiempo

requerido para la recolección de los datos, y basado en los resultados mejorar las previsiones para la encuesta principal, considerando un espectro

más amplio de posibilidades. Asimismo, fue indispensable, a pesar del exigente ritmo de trabajo, crear espacios para la retroalimentación entre los

encuestadores y sus respectivos supervisores y la Coordinación Técnica. Se

notó a su vez la vital importancia de un sistema efectivo de monitoreo y seguimiento al levantamiento de los datos.

Asimismo, se constataron falencias en la actualización de la cartografía, dificultades relacionadas a vías de acceso efectivas y seguras, que obligaron

a ajustar los procedimientos. En cuanto a la logística, se vio la necesidad de

disponer de vehículos en buen estado, un buen sistema de comunicación (teléfonos celulares) entre los encuestadores, supervisores y los

coordinadores técnicos, así como previsiones en materia de imponderables o imprevistos. La articulación de las tareas y diferentes etapas del proceso fue

beneficiada por la instalación del Centro de Operaciones LAMP.

Durante la recolección de datos de la prueba piloto pudo observarse la

aplicación de los instrumentos y el desarrollo de toda la entrevista en un

contexto real. El promedio de duración de la entrevista (para los niveles educativos bajo, medio y alto y los módulos A y B) fue de 1 hora y 37

minutos (ANEXO D). Sin embargo, cabe destacar que el promedio de duración no incluye los intentos para ubicar a la persona seleccionada, la

presentación, el llenado de la Sección INTRO del CA, ni la despedida

(entrega de talón para el sorteo, pegado de calcomanía de vivienda encuestada y agradecimientos). Por lo expuesto, se podría estimar que se

requiere aproximadamente 2 horas para concretar una entrevista y recolectar la información correspondiente.


Como estrategia utilizada para aumentar la colaboración de los encuestados

y disminuir así los rechazos, se puso en práctica una campaña de difusión

mediática ya mencionada con anterioridad. Poner a prueba estas estrategias permitió dimensionar la importancia de dar a conocer al público en general

los objetivos de la investigación, además de proveer los insumos para mejorar la difusión de la encuesta principal.

3.3.3. Procesamiento de los datos

Un resultado apreciable de la prueba piloto tiene que ver con la buena

acogida por parte de los digitadores del software desarrollado a medida para

la captura de datos LAMP por programadores locales, debido a que la nueva interfase ofrecía pantallas que mostraban idéntica estructura que los

instrumentos, y podía ser operado utilizando las teclas numéricas.

Las facilidades del nuevo software fueron determinantes para la digitación

del Cuadernillo de Registro y del Encuestado que seguían una lógica diferente de digitación. De este modo, permitió una mejor orientación de los

digitadores, agilizó el proceso de carga de datos y minimizó los eventuales

errores de digitación al desplegar mensajes de alerta ante potenciales inconsistencias.

Sin embargo, a medida del desarrollo del trabajo de campo, se identificaron nuevos requerimientos que debieron ser considerados en el software, por

ejemplo, la creación de nuevos códigos de variables.

La etapa de depuración de datos, como actividad ineludible y delicada dentro de la producción de datos estadísticos, demandó un tiempo

considerable. Las principales correcciones tuvieron que ver con la eliminación de registros duplicados y corrección de pequeñas inconsistencias

en variables de menor importancia. No obstante, esta fase permitió identificar datos inconsistentes relacionados mayormente a imperfecciones

en la estructura del CA (saltos de preguntas, reiteraciones, ajustes no

contextualizados, entre otros).

3.3.4. Aspectos relacionados al costo

La financiación del estudio piloto LAMP fue realizada en mayor parte con los fondos ofrecidos por la OEI, en el marco del PIA; y contó con los aportes del

MEC y de la DGEEC en concepto de contrapartida institucional, los cuales no fueron contemplados en el presupuesto.

Adicionalmente, si bien la previsión de gastos identificados inicialmente han

podido ser cubiertos con estos recursos, durante la etapa preparatoria del operativo de campo surgieron aspectos no previstos en la fase de planeación


del presupuesto, entre las que se puede citar la necesidad de desarrollar un

software robusto para la captura de datos, la crítica y codificación del CA, la

contratación de personal de logística, etc.

Otro de los factores que ha incidido en el aumento del costo operativo del

estudio LAMP fue la subestimación inicial de las etapas de adaptación de los instrumentos de recolección de datos. Para lograr este último cometido (18

días laborales previstos para el relevamiento de datos), se aumentó el

número de equipos de trabajo y las largas jornadas en terreno, lo que requirió la asignación de viáticos complementarios a los choferes, puesto

que en el presupuesto inicial solo se había contemplado el pago de remuneraciones extraordinarias y adicionales provenientes de recursos del

MEC.

Es importante mencionar que para cubrir el costo total del operativo piloto, a los fondos iniciales se adicionaron: i) recursos financieros de la OEI en el

marco del PIA, y ii) contrapartida proveniente de los recursos presupuestarios del MEC, principalmente para complementar los pagos de

viáticos y salarios del personal contratado en el marco del estudio LAMP.

Los desembolsos relativos a viáticos, pago de salarios y cupos de

combustible se realizaron sin mayores inconvenientes en los tiempos

establecidos, no obstante, se deben prever fondos adicionales para imprevistos como los que surgieron durante el estudio piloto, tales como,

mantenimiento de vehículos, pago de peajes, compra de implementos adicionales (lentes de lectura, alimentos, golosinas), etc.

Asimismo, ante los resultados y las sugerencias del estudio piloto expuestos

en este informe y con el propósito de mejorar y garantizar la calidad de la información generada por la encuesta LAMP; el equipo nacional tuvo que

revisar y ajustar el presupuesto de la encuesta principal, específicamente para cubrir los gastos de alquiler de vehículos, de capacitación, de

comunicación, de viáticos y de salarios, subestimados durante la etapa preparatoria.

3.3.5. Capacidades nacionales para la implementación de la

encuesta principal

La iniciativa de cooperación técnica horizontal entre Paraguay y el UIS en el

ámbito del LAMP promueve la convergencia de esfuerzos para el fortalecimiento de los sistemas de información que permitan mejorar la

formulación, implementación, monitoreo y evaluación de políticas de educación a lo largo de toda la vida. En este sentido, la aplicación piloto

logró instalar capacidades técnicas nacionales en aproximadamente 50

funcionarios de las diversas dependencias intervinientes, quienes


desempeñarán diversos roles en la implementación de la encuesta principal

LAMP.

Se remarca que esta experiencia constituyó un aporte significativo en la utilización de metodologías, técnicas, mecanismos y redes de trabajos

innovadores, generando sinergias entre las instituciones involucradas y revalorizando el trabajo multidisciplinario e intersectorial.

3.3.6. Difusión de los resultados de la prueba piloto

El MEC y la OEI organizarán en la cuidad de Asunción, del 23 al 25 de

noviembre del 2010, un Seminario Iberoamericano de Presentación de la

Experiencia y Resultados del Estudio LAMP en Paraguay, en el marco del PIA y con el apoyo de la AECID.

Este evento pone de manifiesto el interés de Paraguay de realizar la encuesta principal en el primer semestre del año 2011, y la voluntad política

de las autoridades del Gobierno Nacional de asumir como una prioridad la lucha para el mejoramiento de los niveles de alfabetismo de la población

cumpliendo con sus compromisos nacionales e internacionales.

El seminario estará dirigido a directores de Educación Permanente de los países de la región iberoamericana, expertos en el tema de educación de

adultos, especialistas del LAMP del UIS, representantes y autoridades del MEC y de la OEI.

Si bien este seminario tendrá como eje central la experiencia del estudio

LAMP en Paraguay, pretende también abrir un espacio de reflexión y de debate entre los países de Iberoamérica sobre los métodos de monitoreo y

evaluación del alfabetismo y los criterios e indicadores claves para mejorar las políticas educativas y públicas en la región. Se tiene previsto la

distribución del Informe Nacional de la Prueba Piloto LAMP y del Informe del Estudio Etnográfico realizado durante el operativo de campo, asimismo se

organizarán presentaciones, conferencias y mesas de discusiones relativos

temas de alfabetización.

Por otra parte, se invitará a los medios de comunicación para dar amplia

difusión al encuentro y sensibilizar a diversos actores de la sociedad paraguaya sobre la necesidad de disponer de un diagnóstico preciso de las

necesidades en competencias de lectura y manejo de números de la

población joven y adulta. En otros términos, esa oportunidad permitirá también dar un impulso a la campaña de comunicación y de sensibilización

que será llevado a cabo durante la encuesta principal para garantizar la tasa de respuesta esperada para la muestra nacional.


4. SUGERENCIAS

El siguiente capítulo contiene un resumen de las principales sugerencias para las diferentes etapas de la encuesta LAMP con vistas a la encuesta

principal.

Es importante destacar que las nuevas versiones de los documentos

operativos y de los instrumentos del UIS ya contemplan algunos aspectos señalados en este capítulo, con base en la experiencia piloto LAMP de los

distintos países participantes.

4.1. Población y muestra

- Adoptar un rango de edad que abarque a personas desde los 15 años hasta una edad tope determinada, considerando además que los

estudios precursores del LAMP (IALS, ALL) adoptaron como límite de

edad 65 años.

- Mejorar el trabajo de actualización cartográfica, especialmente en cuanto a las referencias para el acceso a las USM, a la correcta

identificación de las viviendas ocupadas, desocupadas o en construcción y en cuanto a las referencias locales para una ubicación

más efectiva de las viviendas seleccionadas.

- Contar con el asesoramiento técnico de un especialista en muestra

durante el trabajo de campo para acompañar, monitorear y dar indicaciones sobre los procedimientos a seguir ante las situaciones

que requieren reemplazos de hogares, ya sea por rechazo, no

contacto, viviendas desocupadas, etc.

- Revisar el concepto de “residencia habitual” y definir con mayor precisión los criterios de inclusión/exclusión a ser considerados en la

encuesta LAMP, debido a la corta duración del trabajo de campo.

- Establecer estrategias para asegurar la comparabilidad de las

definiciones operacionales críticas tanto a nivel internacional como nacional para realizar, por ejemplo, cálculos de factores de expansión

confiables.


- Implementar mecanismos efectivos de seguimiento y monitoreo a la

recolección de datos para evitar sesgos sistemáticos (distribución

hombre/mujer, niveles educativos, rango de edad, etc.).

4.2. Adaptación

- Disponer de los marcos conceptuales detallados y de los objetivos

de cada variable del CA y de los instrumentos cognitivos con el

propósito de tener un respaldo técnico robusto para la investigación LAMP en su contexto.

- Contar con las últimas versiones actualizadas antes del inicio del proceso de adaptación.

4.3. Capacitación

- Proponer una sesión común de presentación general en la cual participen todos los actores involucrados y sesiones específicas donde

participarían los actores acorde a su ámbito de competencias.

4.3.1. Personal de campo

- Monitorear la lectura previa de los manuales e instrumentos y

propiciar la autoaplicación de las pruebas por parte de los encuestadores y supervisores para facilitar el conocimiento y manejo

de los materiales.

- Realizar jornadas presenciales menos intensivas en términos de carga horaria y durante más días.

- Formar grupos pequeños para facilitar y promover las prácticas, las intervenciones, y aclarar dudas.

- Elaborar un material audiovisual complementario para facilitar la

fase de auto aprendizaje y para ser utilizado en la fase presencial para proveer ejemplos de casos reales.

- Enfatizar con los encuestadores la importancia de seguir estrictamente los procedimientos de aplicación de los instrumentos de

recolección de datos, mantener la imparcialidad durante la encuesta,

etc.

- Elaborar un abanico de escenarios más variados utilizando como

soporte las observaciones y los casos reales de la prueba piloto, enfatizando los aspectos más débiles identificados (Determinadas

secciones del CA, secciones cronometradas del Rotafolio, etc.).


- Realizar ejercicios de control de consistencia interna de los datos

recolectados en el CA y de llenado de formularios administrativos.

- Aumentar las prácticas y simulaciones de administración de los

instrumentos así como de asignación de puntaje del Filtro y Rotafolio utilizando como ejemplos los cuestionarios de la prueba piloto.

- Organizar una simulación completa de la aplicación de la encuesta

por cada encuestador y evaluar su desempeño.

- Establecer nuevos criterios de evaluación y selección del personal de

campo otorgando mayor puntaje a las prácticas de campo.

- Proponer una corrección por evaluación de pares de la prueba de

selección en su parte teórica y organizar una retroalimentación en

plenaria para poder responder a las diferentes dudas de los participantes antes de empezar la etapa de práctica de campo.

- Realizar una capacitación diferenciada dirigida a supervisores antes de la capacitación a encuestadores, incluyendo prácticas de

verificación de sobres de casos, llenado de formularios, estrategias de monitoreo, etc., para trabajar sobre los errores sistemáticos y

situaciones encontradas en el terreno; y una posterior sesión para

organizar el trabajo de campo.

4.3.2. Correctores

- Contar con la participación del Jefe Corrector en la capacitación a

supervisores y encuestadores en las sesiones atinentes a su ámbito de competencia.

- Prever una extensión mayor de día para la capacitación puesto que todos los correctores no tendrán un conocimiento previo de los

instrumentos.

- Incluir en la capacitación los errores relevantes encontrados en la

prueba piloto y analizarlos acorde con las reglas de asignación de

puntajes para minimizar la tasa de discrepancia.

- Realizar una simulación entera de la administración del Rotafolio e

incluir más ejercicios de prácticas de asignación de puntajes.

- Enfatizar durante la capacitación sobre el uso del cronómetro en las

secciones correspondientes de los componentes de lectura.

- Realizar una prueba de selección de correctores al finalizar la capacitación a través de simulaciones de corrección y doble corrección

para verificar el nivel de consistencia entre los correctores.


4.3.3. Digitadores y codificadores

- Seleccionar a los digitadores y a los codificadores al finalizar la

capacitación a través de una prueba final teórico-práctica (simulación

con grilla de evaluación: velocidad, precisión, discrepancias).

- Contar con la participación de los coordinadores de digitación en la

capacitación a supervisores y encuestadores para detectar los errores más frecuentes encontrados durante el estudio piloto.

- Contar con la participación de los coordinadores de codificación en la capacitación a supervisores y encuestadores para coordinar la

sesión de capacitación referente a las preguntas de ocupación

principal y rama de actividad, con la finalidad de contribuir con estrategias exitosas basadas en su experiencia, de modo a obtener

información precisa y completa que permita la correcta codificación utilizando los clasificadores internacionales.

4.4. Recolección de datos

4.4.1. Operativo de campo

- Adecuar los compromisos institucionales de modo que las personas designadas tengan el tiempo disponible para cumplir con el trabajo

asignado oportunamente.

- Contratar a especialistas en comunicación social para organizar la campaña nacional de difusión.

- Proponer manuales operativos más concisos, precisos y sencillos e introducir en el Manual del Encuestador y del Supervisor un resumen

esquemático de los procedimientos relativos al manejo de la

entrevista con el fin de ayudar al personal de campo a estandarizar los criterios asumidos en las distintas situaciones presentadas en el

terreno.

- Elaborar documentos operacionales para facilitar el seguimiento de

las actividades de campo.

- Alquilar camionetas en buen estado con chóferes permanentes durante todo el operativo de campo


4.4.2. Entrevista e instrumentos

4.4.2.1. Secuencia de la entrevista

- Incluir un campo en el CA para el código final de la entrevista, para fines analíticos.

4.4.2.2. Instrumentos

a. Cuestionario de Antecedentes

- Revisar el formato del CA para adaptar su aplicación a diferentes

contextos tales como urbano / rural, cuidando de garantizar, la

comparabilidad de las variables afectadas. - Reestructurar el CA con vistas a acortar la duración de su aplicación

a través del uso oportuno de preguntas filtro.

- Analizar el desempeño de los ítems y grupos de ítems mediante

técnicas estadísticas avanzadas (TRI) a fin de determinar los que

aportarían la misma información en la escala y que consecuentemente podrían ser omitidos para hacer más liviano el instrumento.

b. Módulo Filtro

- Contemplar un código de interrupción para el Módulo Filtro

considerando las personas que declaran y demuestran mayores

limitaciones en sus competencias lectoras, a fin de evitar situaciones incómodas y/o rechazo por parte del encuestado de seguir con las

demás pruebas. - Armonizar los procedimientos de administración de los instrumentos

PDN, lo que implica no leer al encuestado las preguntas del Filtro.

- Introducir al inicio del cuadernillo un test de agudeza visual sencillo para asegurarse de que el encuestado pueda realizar los ejercicios y

minimizar las posibilidades de interrupción de la encuesta.

c. Cuadernillo Localizador – Módulo A

- Contemplar un código de interrupción para el Módulo Localizador

considerando las personas que declaran y demuestran mayores limitaciones en sus competencias lectoras, a fin de evitar situaciones

incómodas y/o rechazo por parte del encuestado de seguir con las otras pruebas.


d. Componentes de lectura – Módulo A

- Contemplar un código de interrupción en caso de que el encuestado tenga muy bajas competencias de lectura y declare no saber leer y

escribir antes de haber podido llegar a las secciones donde se aplica la “Regla de Interrupción” (RI).

- Simplificar las instrucciones para que no superen el nivel de

dificultad de los ejercicios propuestos y garantizar que los encuestados las entiendan.

- Reducir la duración del instrumento, eliminando algunos ítems de las secciones más largas, respetando la confiabilidad psicométrica.

- Proveer más información acerca del desafío del uso estadístico de

los datos obtenidos con el Módulo de Componentes de lectura a partir de una muestra, para elaborar y diseñar políticas públicas.

- Prever una capacitación más larga para los Componentes de lectura y contemplar diferentes contextos de aplicación.

- Disponer de cronómetros con cuenta regresiva para asegurar que las secciones cronometradas estén correctamente administradas.

e. Asignación de puntajes

- Contar con un foro moderado por especialistas del UIS para exponer y resolver las dudas respecto a la asignación de puntaje.

- Indagar mayormente sobre los fenómenos lingüísticos

característicos del contacto de los idiomas guaraní y castellano para definir con más precisión los criterios de asignación de puntajes,

particularmente para los Componentes de lectura.

- Evitar la corrección exclusiva de un solo bloque de instrumentos

por un mismo corrector durante varias horas seguidas para evitar una corrección mecánica que incidiría sobre la asignación de puntaje

y por consiguiente afectaría la calidad de los datos.

- Disponer de un espacio independiente al espacio asignado para la recepción de sobre de casos para evitar todo tipo de

interferencias.

- Contar con un equipo informático destinado exclusivamente a la

descarga de las grabaciones de los Componentes de lectura.

- Revisar y ajustar los kits de capacitación con ejemplos tomados de la prueba piloto.


4.5. Codificación

- Trabajar de forma coordinada con los programadores a fin de definir criterios homogéneos para la creación de los códigos requeridos (por

ejemplo, en el caso de la categoría “Otro” (especifique).

- Mejorar el mecanismo de recepción y entrega del CA entre

codificadores y digitadores, con miras a la agilización de tareas,

monitoreo y evaluación del proceso.

4.6. Procesamiento de datos

- Elaborar un plan de trabajo para el proceso de depuración de los

datos, decisivo para la calidad de los datos generados teniendo en cuenta el tiempo necesario para que los países verifiquen y corrijan

sus bases de datos respectivas. La planificación de este proceso es crucial por el impacto directo que tiene sobre los costos de producción

y los plazos de difusión de los datos esperados a nivel nacional.

- Ajustar el mecanismo de recepción de los instrumentos y elaborar

planillas de control más operacionales para consignar, además de los

datos ya incorporados, la firma de la persona que tiene en su poder el sobre de casos en cada momento del proceso: supervisor, codificador,

corrector 1, corrector 2, digitador 1 o digitador 2, para facilitar el seguimiento del flujo físico de los instrumentos de cada caso.


BIBLIOGRAFÍA

DGEEC (2004). Censo Nacional de Población y Viviendas 2002. Principales

Resultados. Fernando de la Mora, Paraguay.

DGEEC-STP-PR. Encuestas de Hogares 1995,1997/1998,2000/1, 2002, 2003,

2004, 2005, 2006 y 2007 (base de datos de abril 2008). Fernando de la

Mora, Paraguay.

GUTTANDÍN, Friedhelm (2001). El guaraní mirado por sus hablantes. Ministerio de Educación y Cultura: Paraguay.

GUTTANDIN, Friedhelm y Lidia RIQUELME (2010). Informe preliminar. Investigación cualitativa sobre el contexto de aplicación de la prueba de medición de niveles de alfabetismo. Asunción, Paraguay.

JACQUET, María Gloria (2000). La lengua guaraní ante los desafíos como

lengua de enseñanza. Seminario Internacional sobre "El Bilingüismo en la

Educación Formal". Asunción, Paraguay.

LINACRE, John M. (2008). A user’s Guide to Winsteps Ministeps. Rash Model Computer Programs. USA, Winsteps.

MELIÁ, Bartomeu. (1992). La lengua guaraní del Paraguay. Historia, sociedad y literatura, Madrid: MAPFRE.

MINISTERIO DE EDUCACIÓN (2006). La educación bilingüe en la reforma

educativa paraguaya. Asunción, Paraguay.

MEC, OEI, DGEEC (2009). Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). “Informe Nacional de Planeación de Paraguay”.

Colección IDIE MERCOSUR Nº 6, Asunción, Paraguay.

INSTITUTO DE ESTADÍSTICA DE LA UNESCO (2009). La nueva generación de estadísticas sobre competencias en alfabetismo: Implementando el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). Montreal,

Québec.

VILLAGRA DE BATOUX, D; ACOSTA F.; JACQUET,M.G. y AGUILERA N. (2000) Tratamiento de la lengua guaraní en los materiales educativos: Líneas directrices y recomendaciones. “Programa para el Fortalecimiento de la Educación Bilingüe”. Asunción, Paraguay.


Documento de trabajo. Marco de Acción de Belém (2009). Aprovechar el poder y el potencial del aprendizaje y la educación de adultos para un futuro viable. CONFINTEA VI, Belem.

Sitios web:

http://www. mec org.py

http://www.oei.org.py http:// www. dgeec.gov.py


ANEXO A

PERFIL Y RESPONSABILIDADES DE LOS SUPERVISORES Y ENCUESTADORES

SUPERVISORES

El supervisor tiene un papel fundamental puesto que tiene que

garantizar la calidad de los datos recolectados por los encuestadores, a través de las responsabilidades que asume y de las diferentes actividades

que le corresponde desarrollar.

Perfil académico

- Estudios terciarios concluidos (título universitario o terciario no

universitario) preferentemente en áreas de trabajo social, ciencias sociales, administración, ingeniería, estadística, informática o

economía. - Fluidez en idioma guaraní.

Experiencia profesional

- Ejecución de censos o encuestas a nivel local, regional o nacional. - Trabajos relacionados a relevamiento de datos en campo (encuestas o

censos).

- Trabajos relacionados con evaluación de consistencia de datos en instrumentos de recolección de datos.

Actividades

- Capacitación continúa al encuestador.

- Efectuar la asignación de cargas de trabajo a los encuestadoras/es

de su equipo de campo. - Orientar a los encuestadores en el llenado y utilización del

formulario “Lista de control de tareas del Encuestador”. - Verificar la “Lista de Control de Tareas” que elaborarán los

encuestadores.

- Actualizar juntamente con los encuestadores el formulario “Lista de control de tareas del Encuestador” y las USM asignadas.

- Supervisar el operativo de campo. - Realizar la observación y acompañamiento al encuestador en las

primeras encuestas realizadas (al menos 2 observaciones por

encuestador). - Monitoreo permanente del trabajo completado por cada

encuestador, una reunión del equipo de campo por semana y al


menos una reunión con cada encuestador durante el período de

recolección de datos

- Monitorear los casos completados para garantizar el número de observaciones requeridas para los Módulos A y B

- Realizar segundas visitas al 10% de casos de cada encuestador, a fin de constatar que los procedimientos de selección de la muestra

fueron observados y verificar parte de la información recolectada el

encuestador. - Realizar seguimiento a los casos de no-respuesta e informar al

Centro de Operaciones. - Recolectar, revisar y sistematizar toda la información de los

instrumentos aplicados por los encuestadores.

- Realizar el envío de materiales (grabadora digital, cronometro, calculadora) e instrumentos aplicados correspondiente a su equipo

al Centro de Operaciones.

Responsabilidades

- Estudiar y manejar con fluidez las guías y manuales del encuestador

y los instrumentos de recolección de datos. - Cumplir y hacer cumplir las normas establecidas en los manuales.

- Realizar un reconocimiento del Área de Empadronamiento (AE) asignada, de sus límites y de la ubicación exacta de las viviendas

seleccionadas en la muestra.

- Efectuar la revisión de la cartografía existente, verificando la calidad y exactitud de la información contenida en ella, y a través de visitas

casa por casa actualizará la lista de viviendas y hogares existentes en la AE.

- Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarán las entrevistas y cómo encarar el operativo de campo.

- Informar permanentemente al Centro de Operaciones sobre el

avance de las actividades. - Mantener una constante coordinación y comunicación fluida con los

actores involucrados.

ENCUESTADORES

Perfil académico

- Estudios terciarios en curso y/o persona con vasta experiencia en

aplicación de encuesta y censo.

- Estudios de actualización como mínimo de 40 horas académicas relacionados con estadísticas, encuestas, censos, análisis de datos,

educación y evaluación. - Fluidez en idioma guaraní.



- Ejecución de censos o encuestas a nivel local, regional o nacional.

- Trabajos relacionados a relevamiento de datos en campo (encuestas o censos).

- Trabajos relacionados con evaluación de consistencia de datos en

instrumentos de recolección de datos.

Actividades - Tener amplio conocimiento del contenido del manual del

encuestador y demás documentos para realizar un trabajo eficiente.

- Contactar con el hogar, presentarse, explicar la razón de su visita y entregar la carta oficial.

- Aplicar la metodología de recolección de datos del estudio LAMP - Administrar los instrumentos de recolección de datos.

- Completar los formularios operativos (Listado de Control de Tareas del Encuestador, Formulario de Entrega del Supervisor, Informe de

Avance y Costos).

- Verificar que el trabajo sea legible, esté completo y correctamente procesado.

- Consultar al supervisor de encuestadores toda dificultad o caso especial que se presente en el operativo de campo.

- Cumplir con las cargas de trabajo asignadas por el supervisor de

encuestadores. - Acatar las instrucciones del supervisor de encuestadores, durante la

asignación de cargas de trabajo y horarios convenidos para sus reuniones del equipo de campo.

- Garantizar la calidad, veracidad y cobertura de la información recolectada en los instrumentos.

- Entregar los documentos (Listado de Control de Tareas, Formulario

de Entrega al Supervisor, Informe de Avance y Costo) e instrumentos aplicados y no aplicados a su Supervisor.

- Devolver los materiales utilizados en la aplicación de los instrumentos (cronometro, grabadora digital, calculadora) al

supervisor de encuestadores.

Responsabilidades

- Estudiar y manejar con fluidez las guías y manuales del encuestador

y los instrumentos de recolección de datos.

- Cumplir y hacer cumplir las normas establecidas en los manuales. - Realizar un reconocimiento del Área de Empadronamiento (AE)

asignada, de sus límites y de la ubicación exacta de las viviendas seleccionadas en la muestra.


- Efectuar la revisión de la cartografía existente, verificando la calidad

y exactitud de la información contenida en ella, y a través de visitas

casa por casa actualizará la lista de viviendas y hogares existentes en la AE.

- Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarán las entrevistas y cómo encarar el operativo de campo.

- Informar permanentemente al Supervisor sobre el avance de las

actividades. - Mantener una constante coordinación y comunicación fluida con los

actores involucrados.


ANEXO B

TIEMPO DE APLICACIÓN DE LOS INSTRUMENTOS SEGÚN CÓDIGO

DE SITUACIÓN FINAL

CA

Estadísticos descriptivos Código de

situación final N Mínimo Máximo Media Mediana

Completada 639 8,00 91,00 31,4757 30 12,64511

Módulo Filtro

Estadísticos descriptivosa Código de situación

final N Mínimo Máximo Media Mediana Desv. típ.

Completada 600 1,00 105,00 23,2167 20,00 12,59832

Rehusada 1 9,00 9,00 9,0000

Dificultades

relacionadas con el

idioma

2 10,00 10,00 10,0000

Dificultades relac. con

habilidad lectora o de

escritura

1 6,00 6,00 6,0000

Ceguera o trastornos

visuales

5 1,00 15,00 8,4000 10,00 5,45894

Otros (no

especificado)

2 2,00 4,00 3,0000 3,00 1,41421

Mód. A: Localizador

Estadísticos descriptivosa

N Mínimo Máximo Media Mediana Desv. típ.

Completada 292 1,00 67,00 17,3733 15,00 9,83582

Rehusada 1 1,00 1,00 1,0000

Otros (no

especificados)

1 3,00 3,00 3,0000


Mód. A: Rotafolio



Completada 281 5,00 93,00 31,2100 30,00 10,71991

Parcialmente 5 14,00 42,00 28,6000 30,00 13,77679

Rehusada 2 28,00 36,00 32,0000 32,00 5,65685

Otros (no

especificados)

2 4,00 25,00 14,5000 14,50 14,84924

Mód. B: Cuadernillo 1



Completada 154 10,00 127,00 42,0844 40,00 17,65943

Parcialmente

completada

1 33,00 33,00 33,0000

Rehusada 2 2,00 32,00 17,0000 17,00 21,21320

Mód. B: Cuadernillo 2



Completada 154 10,00 127,00 42,0844 40,00 17,65943

Parcialmente

completada

1 33,00 33,00 33,0000

Rehusada 2 2,00 32,00 17,0000 17,00 21,21320


ANEXO C

PERFIL Y RESPONSABILIDADES DE LOS CORRECTORES

Perfil académico

Estudios terciarios concluidos (título universitario o terciario no universitario) preferentemente en las siguientes áreas: ciencias

sociales, estadísticas o evaluación.


- Participación en actividades de corrección de ítem de pruebas cognitivas.

- Participación en programas, proyectos y/o evaluaciones nacionales e internacionales.

- Experiencia satisfactoria en equipo de trabajo.

Responsabilidades

- Participar de la capacitación a realizarse por la Coordinación Técnica de LAMP.

- Suscribir el acuerdo de confidencialidad de los instrumentos y materiales referentes al estudio y cumplir con las obligaciones

establecidas en dicho acuerdo.

- Acudir a reuniones cuando el Corrector Jefe lo convoque en horario y lugar determinado.

- Estudiar y analizar detenidamente el Manual de Procedimientos Operacional de Asignación de Puntajes.

- Corregir las pruebas cognitivas (Módulo Filtro, Módulo A: Cuadernillo Localizador, Módulo A: Cuadernillo del encuestado -

Componentes de Lectura -, Cuadernillo del Registro- Componentes

de Lectura -, Módulo B: Cuadernillo 1 y 2 en coordinación con el equipo de correctores del LAMP.

- Comunicar problemas encontrados y las soluciones propuestas de acuerdo a las normas establecidas, con el fin de socializar las

soluciones y estandarizar la producción de la información.

- Presentar informe final de la actividad realizada.

- Mantener la confidencialidad de los instrumentos y materiales

referentes al estudio.


- No conservar ni dejar al alcance de personas ajenas los

instrumentos y materiales de LAMP, ni permitir la realización de

copias.

- No divulgar por ningún medio a personas no autorizadas el

contenido de los materiales del estudio.

- Considerando que los materiales e instrumentos de LAMP

contienen información personal que ha sido proporcionada por

individuos, esta será manejada de acuerdo a las normativas establecidas que obligan a la protección de la identidad de los

encuestados; por lo tanto, no se publicarán datos que permitan identificar a las personas.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

100

ANEXO D

Duración media de entrevistas completas

Estadísticos descriptivos


TiempoTotal 429 30.00 248.00 97.39 93.00 30.13

N válido

(según lista)

429


Nota: Para calcular la duración promedio de la entrevista se consideraron solo los 429 casos que se completaron en una sola visita.

Estudio piloto de Paraguay, Programa de Evaluacion y Monitoreo de la Alfabetizacion

Documents

Transcript of Estudio piloto de Paraguay, Programa de Evaluacion y Monitoreo de la Alfabetizacion