1
Session 5A: Trabajo de campo y aseguramiento de calidad
Mario Navarrete, Sistemas Integrales Santiago, 16 de abril de 2013
Cuales son los problemas más frecuentes que ustedes han encontrado en el trabajo
de campo? A. Inadecuada selección del
personal B. Pobre capacitación C. Supervisión deficiente D. Datos malos o
inconsistentes E. Alta tasa de no respuesta F. El trabajo de campo
requiere más tiempo de lo esperado
G. Retraso en los pagos H. Excesivos trámites
2 A. B. C. D. E. F.
0% 0% 0%0%0%0%
Una historia de horror Survey Month
Households reporting illnesses, accidents (Q407)
Households reporting chronic
deseases (Q401)
Households reporting
agricultural activities (Q901)
Number of crops
reported (Q911)
Households reporting livestock
activities (Q918)
Households reporting fishing activities (Q924)
Total Nb of durables
(Section 12)
Nb of HH having credit (Section 13)
HH size mean
Number of lines with food consumption
1 1,645 705 572 1,352 563 17 9,538 1,017 7.8 95,687
2 1,352 624 503 1,299 530 13 8,853 937 7.5 99,491
3 996 577 507 1,421 502 12 9,818 910 7.6 96,028
4 898 642 486 1,469 504 25 9,301 880 7.9 96,139
5 816 545 436 1,243 464 3 9,180 811 7.1 97,094
6 691 513 477 1,442 465 23 9,667 841 7.5 97,315
7 625 529 465 1,338 494 26 9,621 738 7.5 108,432
8 658 498 439 1,264 433 17 9,437 707 7.3 100,888
9 769 552 433 1,244 428 11 9,584 740 7.2 98,893
10 858 534 468 1,227 436 25 9,224 719 7.4 98,415
11 743 517 399 1,165 411 10 9,294 737 7.2 97,138
12 693 464 356 1,133 440 25 9,722 705 7.1 96,052
Mes de encuesta
No. de hogares que informan
enfermedades o accidentes
1 1,645
2 1,352
3 996
4 898
5 816
6 691
7 625
8 658
9 769
10 868
11 743
12 693
Los factores de calidad del trabajo de campo
Selección y capacitación del
personal de campo
Organización del trabajo de campo
Gestión de datos Supervisión y control
4
Selección y capacitación del personal de campo 5
Selección y capacitación
del personal de campo
Organización del trabajo de
campo
Gestión de datos
Supervisión y control
Convocatoria para
postulantes
Pre-selección de
candidatos basada en
perfiles
Capacitación
Selección de personal
basado en rendimiento y capacidad
Selección de personal
validada por institución
contratante
Contratación con el
personal seleccionado
6
Selección y capacitación del personal de campo
• Perfil requerido: – Edad, género, idioma, educación, etc. – Habilitación o acreditación –de acuerdo a las
regulaciones de cada país- para realizar las tareas específicas requeridas, como: • test biométricos • antropometría • test cognitivos
• Test sicológicos • Disponibilidad de tiempo y disposición para trabajar
en el campo • Seleccionar un número mayor al requerido
7
Preselección de candidatos
• Estrategia – Centralizada /Descentralizada – Duración en semanas (2 semanas o más) – División en grupos (de no más de 30-40 personas) – Formaciones específicas para cada área
(cuestionarios, test biométricos, cognitivos, mediciones antropométricas, etc.)
• Etapas de la formación – Preparación del material de formación y agenda – Formación de Formadores – Formación del personal de campo
8
Capacitación
• Agenda detallada de la capacitación – Clases magistrales – Práctica en aula – Práctica en el campo (hogares, niños, …)
• Material – Infraestructura adecuada – Presentaciones únicas – Viñetas – Controles y evaluación final – Suficientes cuestionarios, manuales y equipamiento – Refrigerios – esto es muy importante para la moral – Transporte hacia y desde el sitio de entrenamiento y viáticos
9
Capacitación
Organización del trabajo de campo
10
Selección y capacitación
del personal de campo
Organización del trabajo de
campo
Gestión de datos
Supervisión y control
Organización del trabajo de campo
Organización del trabajo de
campo
Organización del personal
de campo
Plan del trabajo de
campo
Plan de la encuesta
11
Organización del personal de campo
• Basado en la noción de equipos autónomos
• Personal especializado en cada equipo, o equipos especializados
• Controles de calidad informáticos integrados en el trabajo de campo
12
Côte d’Ivoire 1984
Peru 1985
Ghana 1987
Jamaica 1988
Bolivia 1989
Paraguay 1997
Argentina 1997
Bangladesh 1995, 2001
Timor-Leste 2001, 2007
Niger 2008
Namibia 2006
Mongolia 2008
Iraq 2006-2012
India (UP) 1998-2000
Pakistan 1991 - 2002
Vietnam 1996
Honduras 1998
Papua New Guinea 2008
Polynesia 2000
Guatemala 2000
Nicaragua 1989, 2000, 2005
Panama 1998, 2003
Nepal 1994 – 2002 - 2010
Ethiopia 2011
Uganda 2010
Integración de los controles informáticos de calidad para el trabajo de campo en la encuesta
LSMS (todo el mundo en tres décadas)
Entrada de datos en locales fijos
Entrada de datos en el campo CAPI
Organización del personal de campo
• Un equipo de encuesta 1 jefe de equipo (supervisor) 2-4 encuestadores 1-2 personas especializadas en mediciones
particulares (antropometría, test de desarrollo cognitivo, hemoglobina, etc.)
1 operador de ingreso de datos 1 chofer
14
Jefe de Equipo Encuestadores Especialista Operador de datos
Plan del trabajo de campo en un punto de muestra
Elementos a considerar: – Número de encuestas por punto de muestra – Dispersión geográfica de los hogares dentro de cada punto de muestra – Conformación del equipo – Operación de listado de hogares si es aplicable – Controles de calidad – Mediciones biométricas, cognitivas, etc. si son aplicables – Duración de las entrevistas y número de visitas y revisitas de corrección – Otras encuestas por ejemplo a nivel comunitario – Tiempo de descanso – Tiempo aproximado en llegar al siguiente punto de muestra
15
Escenario optimista Escenario pesimista $
$
Que debe hacer cada equipo en cada punto de muestra, y cuánto tiempo se requiere
Ejemplo de plan de trabajo en un punto de muestra
Día Operador de datos
H1 H2 H3 H4 H5 H6 H7 H8 H9 H1 H2 H3 H4 H5 H6 H7 H8 H92 V1 V1 V1 V1 V1 V1 V1 V1 V1 Ingreso Q. H1 a H93 VC1 VC1 VC1 V2 V2 V2 V2 V2 V2 V2 V2 V2 Ingreso Q. H1 a H94 VC1 VC1 VC1 V3 V3 V3 V3 V3 V3 V3 V3 V3 Ingreso Q. H1 a H95 VC1 VC1 VC1 V4 V4 V4 V4 V4 V4 V4 V4 V4 Ingreso Q. H1 a H96 VC2 VC2 VC2 V5 V5 V5 V5 V5 V5 V5 V5 V5 Ingreso Q. H1 a H97 VC2 VC2 VC2 V6 V6 V6 V6 V6 V6 V6 V6 V6 Ingreso Q. H1 a H98 VC2 VC2 VC2 V7 V7 V7 V7 V7 V7 V7 V7 V7 Ingreso Q. H1 a H99 VC3 VC3 VC3 VC3 V8 V8 V8 V8 V8 V8 V8 V8 V8 Ingreso Q. H1 a H910 VC3 VC3 VC3 VC3 VC3 V9 V9 V9 V9 V9 V9 V9 V9 V9 Fin ingreso H1 a H91112
Envío de datos a Niamey
DescansoDesplazamiento
1Consolidación y
envio de datos ola
Jefe de equipo Encuestador 1 Encuestador 2 Encuestador 3Listado de hogares
Selección de hogares a encuestar
Aún mejor (si es posible)
Equipos 1, 2 y 3
Equipos 4 y 5
Muestras inter penetrantes (Mahalanobis,1953)
Plan de encuesta • Que equipo visitará cada punto de muestreo y cuando • El plan de encuesta debe considerar:
– Tiempo requerido por los equipos en cada punto de muestra (plan de trabajo)
– Número de puntos de muestreo – Tiempo total disponible para el trabajo de campo – Distribución espacial y temporal de la muestra – Número de equipos de campo – Restricciones externas
• Clima • Seguridad • Calendario de actividades del proyecto evaluado
21
Ejemplo de un plan de encuesta
22
Piso ecológico Departamento Municipio Provincia UPM Viviendas
UPM Población
UPM Equipo Fecha de inicio Fecha de fin
1 LA PAZ Achacachi Omasuyos 20065 308 1002 1 1-Nov-11 10-Nov-11
1 LA PAZ Achacachi Omasuyos 20073 341 1304 1 11-Nov-11 21-Nov-11
1 LA PAZ Achacachi Omasuyos 20088 167 440 1 22-Nov-11 2-Dec-11
1 LA PAZ Achacachi Omasuyos 20097 360 1211 1 3-Dec-11 13-Dec-11
1 LA PAZ Caquiaviri Pacajes 20179 213 416 2 14-Dec-11 24-Dec-11
1 LA PAZ Caquiaviri Pacajes 20188 256 760 2 25-Dec-11 4-Jan-12
1 LA PAZ Puerto Acosta Camacho 20245 204 511 2 5-Jan-12 15-Jan-12
1 LA PAZ Puerto Acosta Camacho 20253 297 521 2 16-Jan-12 26-Jan-12
1 LA PAZ Puerto Carabuco Camacho 20232 266 709 3 27-Jan-12 6-Feb-12
1 LA PAZ Chuma Muñecas 20328 310 1260 3 7-Feb-12 17-Feb-12
1 LA PAZ Chuma Muñecas 20336 332 1100 3 18-Feb-12 28-Feb-12
1 LA PAZ Viacha Ingavi 20983 249 551 3 29-Feb-12 10-Mar-12
1 LA PAZ Jesus de Machaca Ingavi 21002 298 473 4 11-Mar-12 21-Mar-12
1 LA PAZ Pucarani Los Andes 20638 204 498 4 22-Mar-12 1-Apr-12
1 LA PAZ Pucarani Los Andes 20646 276 721 4 2-Apr-12 12-Apr-12
1 LA PAZ Pucarani Los Andes 20658 223 814 4 13-Apr-12 23-Apr-12
Una buena organización es clave para: • Minimizar los errores en la colecta de datos
– Corrección de errores directamente en el hogar – Aumento de la tasa de respuesta – Disminuir los problemas debido al seguimiento de
protocolos
• Oportunidad
23
Gestión de datos
24
Organización del trabajo de
campo
Gestión de datos
Supervisión y control
Selección y capacitación
del personal de campo
Entrevista
Entrada de datos
Informe de calidad
Revisión por el
supervisor
Re-visita
Entrada de datos en el campo
25
INTERNET
Base de datos consolidada
Monitoreo del trabajo de campo
• Producción de bases de datos: • Debidamente documentadas • Disponibles en tiempo oportuno • Exportadas a un software estadístico
• Parciales, para el monitoreo del trabajo de terreno
• Final, para su explotación estadística
• Seguimiento de indicadores de calidad
26
Gestión de datos
Características del programa de entrada de datos
• Plataformas de desarrollo disponibles: CsPro; LSD; Blaise; etc.
• Diccionario de variables bien definidos • Validaciones
– Chequeo de rangos – Chequeos contra tablas de referencia (antropométricas,
composición de los alimentos, etc) – Control de saltos – Otras comprobaciones de coherencia lógica
• Consolidación de datos y herramientas de exportación Todos los programas deben estar listos antes del
trabajo de campo 27
¿Qué sucede sin integración?
• Un largo y frustrante proceso de "limpieza de datos" se convierte en inevitable
Los datos pierden su relevancia política • La calidad de los datos no está garantizada
La “limpieza de datos” converge, en el mejor de los casos, a una
base de datos que es solo consistente internamente, pero que no representa necesariamente la realidad
• La “limpieza de datos” implica una gran cantidad de decisiones, generalmente indocumentadas
Los usuarios desconfían de los datos
28
Beneficios de la integración
• Bases de datos confiables y oportunas • Monitoreo permanente del desempeño del personal
de campo, lo que permite la alerta temprana de conductas inadecuadas
• Garantiza que todos los trabajadores de campo aplican criterios uniformes a lo largo de todo el período de recolección de datos
• Las inconsistencias son resueltas mediante la observación directa de la realidad, en lugar de conjeturas oficina
• Compatible con la cultura de la calidad total 29
Supervisión y control
30
Gestión de datos
Supervisión y control
Selección y capacitación
del personal de campo
Organización del trabajo de
campo
Supervisión y control
Supervisión humana
• Selección de hogares • Visitas de control • Observación de
entrevistas
Integración de controles de calidad computacionales
en el campo
• Chequeo de consistencia de los cuestionarios
Evolución de indicadores de calidad del trabajo de
campo
• Monitoreo de indicadores de calidad del personal de campo
31
En el campo
En la oficina central
Aseguramiento de calidad durante la fase de terreno
32
Equi
po d
e te
rren
o
Encuestador controla cuestionarios Supervisor verifica calidad de los encuestadores Supervisor controla cuestionarios con ayuda de mensajes de PED Se regresa a hogar a corregir errores, verificar inconsistencias y completar partes faltantes
Supe
rvisi
ón c
entr
al
Misiones de supervisión Verificación de cumplimiento de normas y calendario de trabajo Verificación de errores o inconsistencias remanentes Seguimiento de la evolución de los indicadores de calidad Controles telefónicos
Equi
po d
e In
vest
igac
ión
Misiones de supervisión Verificación de errores o inconsistencias remanentes Seguimiento de la evolución de los indicadores de calidad Verificación de la base de datos consolidada
Aseguramiento de calidad durante la fase de terreno
33
ENCUESTADORES
SUPERVISIÓN FIRMA IMPLEMENTADORA
SUPERVISIÓN INVESTIGADORES
SUPERVISIÓN EQUIPO DE CAMPO
Enquêteur Valeurs 0 et
5 Autres valeurs Total
112 70.0% 30.0% 100.0% 113 23.8% 76.2% 100.0% 114 38.9% 61.1% 100.0% 122 45.5% 54.5% 100.0% 123 38.1% 61.9% 100.0% 124 33.3% 66.7% 100.0% 132 12.5% 87.5% 100.0% 133 13.0% 87.0% 100.0% 134 22.2% 77.8% 100.0% 142 13.3% 86.7% 100.0% 143 12.9% 87.1% 100.0% 144 42.9% 57.1% 100.0% 152 47.1% 52.9% 100.0% 153 30.0% 70.0% 100.0% 154 20.0% 80.0% 100.0% 162 84.6% 15.4% 100.0% 163 35.0% 65.0% 100.0% 164 41.7% 58.3% 100.0% 171 66.7% 33.3% 100.0% 172 44.4% 55.6% 100.0% 173 33.3% 66.7% 100.0% 174 77.3% 22.7% 100.0% 34
Seguimiento de indicadores de calidad
Repartición del último digito de medidas antropométricas
Si las mediciones han sido
bien realizadas se esperaría que último digito de la talla se reparta igualitariamente entre los números 0 al 9, es
decir un 10% cada uno.
No Sabe Total
0 1 0 Equipo 0 100.0% 100.0%
1 84.8% 15.2% 100.0% 2 51.5% 48.5% 100.0% 3 100.0% 100.0% 4 53.8% 46.2% 100.0% 5 53.3% 46.7% 100.0% 6 97.8% 2.2% 100.0% 7 41.4% 58.6% 100.0% 9 86.8% 13.2% 100.0% 11 78.9% 21.1% 100.0% 12 100.0% 100.0% 13 83.7% 16.3% 100.0%
Total 77.4% 22.6% 100.0% 35
Seguimiento de indicadores de calidad
Porcentaje de respuestas « no sabe » por equipo
Sólo si se trata de encuestadores experimientados, el entrenamiento puede ser corto
1. Verdadero 2. Falso
37 1. 2.
0%0%
Si la entrevista de un hogar es completada durante una visita, ninguna visita más es necesaria
1. Verdadero 2. Falso
38 1. 2.
0%0%
¿Cuál de las siguientes afirmaciones es cierta?
1. Para reducir el tiempo de viaje, es mejor que los puntos de muestreo están cerca uno del otro
2. Es mejor que el supervisor del equipo sea la persona de más edad del equipo
3. El operador de entrada de datos tiene que entrar en el cuestionario una vez que se haya completado
4. Es mejor realizar la encuesta en un corto período de tiempo, y tener más personal de campo
5. Ninguna de las anteriores 39
1. 2. 3. 4. 5.
0% 0% 0%0%0%
Top Related