¿Cómo Determinamos la Calidad en la Investigación Educativa?

Lorin W. AndersonDistinguido Profesor Emérito

Universidad de Carolina del Sur (EE.UU.)

Traducción: Humberto Cervera Rosado

• Con el paso de varias de las décadas anteriores, ha emergido una serie de criterios para juzgar la calidad de la investigación educativa.

• Estos criterios representan el “juicio profesional” de quienes los desarrollaron. Se ha llevado a cabo muy poca investigación respecto a su relación con la calidad de la investigación en general.

• La siguiente diapositiva es un resumen de los criterios desarrollados por tres grupos de participantes: examinadores de tesis o disertaciones, asociaciones profesionales, y revistas arbitradas.

Examinadores de Tesis Asociaciones Profesionales Revistas arbitradasRevisión de la literatura relevante para la tesis.

Investigación situada dentro de la literatura pertinente.

Marco de referencia conceptual claramente expresado y preguntas de investigación derivadas de dicho marco de referencia.

Marco de referencia teórico, fundamento conceptual, base pragmática.Definición clara de las preguntas de investigación/del propósito.

Diseño de la investigación incluyendo la reunión y el análisis de la información.

Diseño de investigación, fuentes de información y muestreo (donde sea apropiado).

La obtención de datos y su análisis son sistemáticos y apropiados.

Métodos de investigación e instrumentos.Calidad y propiedad del análisis.

Presentación de la información de manera consistente con la publicación en la disciplina relevante.

Texto organizado para clarificar el argumento.Las secciones del reporte están conectadas.Texto redactado teniendo en cuanta a la audiencia.Formato consistente con el manual de estilo.

Organización, estructura y brevedadEstilo y lenguaje.

Datos interpretados apropiadamente y usados para responder a las preguntas de investigación.

Claridad de resultados y propiedad de las interpretaciones.

Una contribución significativa y original al conocimiento del hecho y/o la teoría.

Lo investigado va más allá de los límites de la investigación actual y hace una contribución significativa.

Importancia para la teoría, la práctica y la política.

Valoración crítica de su trabajo en relación con el de otros.

Calidad y originalidad en general

Ocho Preguntas Básicas sobre la Calidad de la Investigación en Educación

1. ¿Está situada la investigación dentro de la literatura de investigación pertinente?

2. ¿Hay un marco de referencia conceptual/teórico claramente expresado?

3. ¿Cómo calificaría la originalidad de la investigación?4. ¿Cómo calificaría la calidad del diseño de

investigación en general?5. ¿Son los datos reunidos y analizados de una manera

apropiada y sistemática?

Ocho Preguntas Básicas sobre la Calidad de la Investigación en Educación (continuación)

6. ¿Están interpretados los resultados de manera apropiada y las generalizaciones hechas cuidadosamente?

7. ¿Qué tan significativa es la contribución que esta investigación hace a la teoría, la práctica, y/o la política?

8. ¿Cómo calificaría la calidad de la redacción, considerando la organización, la claridad, la lógica de la argumentación, y el estilo?

• Aunque hay un acuerdo general sobre los criterios que se usan para definir la calidad de la investigación educativa, ¿son los criterios igualmente importantes en la determinación de la calidad de la investigación educativa?

• Esta es la pregunta subyacente en una serie de estudios de investigación conducidos en el Centro para el Estudio de la Formación en Investigación e Impacto (SORTI) (siglas en inglés del Centre for the Study of

Research Training and Impact) de la Universidad de Newcastle, Australia.

La Revisión de la Tesis/Disertación Doctoral

• Los examinadores externos son solicitados y se les dan instrucciones generales adecuadas sobre los criterios y procedimientos para usar en la evaluación de la tesis. Casi la mitad de los examinadores de tesis doctorales australianas son de otros países.

• Después de leer una tesis, a cada examinador se le requiere que (1) prepare un reporte narrativo describiendo sus reacciones y comentarios sobre la tesis y (2) que asigne una “calificación” a la tesis.

La Revisión de la Tesis/Disertación Doctoral

• Las “calificaciones”, de la más alta a la más baja, son:– Aceptada sin cambios.– Aceptada después de correcciones menores.– Aceptada sujeta a correcciones mayores.– Se requiere que la tesis sea revisada y presentada

de nuevo.– Tesis reprobada sin oportunidad de revisión. Como podría esperarse, muy pocas tesis caen en la categoría más baja.

De una muestra de 401 tesis,

• Se identificaron dos grupos de tesis:– Las tesis de “alta calidad” fueron aquellas para las

cuales la decisión final fue que debían de ser aceptadas tal como se habían presentado. Hubo 24 de estas tesis, con 59 reportes de examinadores.

– Las tesis de “baja calidad” fueron aquellas para las cuales la decisión final fue que necesitaban una revisión mayor antes de que pudieran ser aceptadas. Hubo 12 de estas tesis, con 35 reportes de examinadores.

De estos 94 reportes de examinadores,

• Los reportes narrativos fueron capturados en un archivo de computadora. Los reportes tenían un rango de 1 a 27 páginas, con un promedio de 2 a 3 páginas.

• Para cada reporte narrativo se utilizó el software QSR N6 para identificar las unidades de texto (básicamente, oraciones) y para colocar cada unidad de texto dentro de una de cinco categorías. Los datos resultantes fueron representados como el porcentaje de unidades de texto que caía dentro de cada categoría.

• La relación entre estas categorías y las cinco “preguntas de calidad” mostradas en las diapositivas 4 y 5 se muestra en la siguiente diapositiva.

“Preguntas de Calidad” y Categorías de Codificación

Preguntas de Calidad• Literatura de investigación pertinente• Marco de referencia conceptual• Originalidad de la investigación• Calidad del diseño de investigación• Recolección de datos y análisis• Interpretación/generalización• Contribución significativa• Calidad de la redacción

Categorías de Codificación• Revisión de la literatura• NO APLICA• NO APLICA• Enfoque• Análisis y reporte• Análisis y reporte• Importancia y contribución• Competencia comunicativa

Hallazgos Mayores

• Diferencias significativas entre “alta calidad” y “baja calidad”, estas se encontraron para LAS CINCO categorías analíticas.

• Además, hubo algunos hallazgos “menores” interesantes.– Los examinadores tendían a elogiar ciertos aspectos de las

tesis de "alta calidad” y a no hacer mención en lo absoluto sobre estos aspectos en las tesis de “baja calidad”. Los comentarios negativos fueron muy infrecuentes.

– Con respecto a la revisión de literatura, lo importante fue el uso y aplicación de la literatura, más que su “cobertura” o precisión.

Hallazgos Mayores (continuación)

• Algunos más de los hallazgos "menores” interesantes.– Con respecto al análisis y reporte, los examinadores

comentaron sobre el “cuidado y la atención al detalle” de los autores de las tesis de “alta calidad”. Para las tesis de “baja calidad”, los examinadores comentaron sobre una falta general de análisis critico.

– Al comentar sobre una tesis de “alta calidad”, los examinadores a menudo hasta ofrecieron sugerencias para hacer las tesis mejores. Tales comentarios no se hicieron para las tesis de “baja calidad”.

Resumen• Con el paso de los años, ha emergido un consenso sobre los

factores que debían de ser considerados al hacer juicios sobre la calidad de la investigación educativa.

• La investigación, conducida principalmente en Australia, ha comenzado a proporcionar soporte empírico para muchos de estos factores.

• A medida que avanzamos, debemos de comenzar a “desempacar” estos factores en los términos de los elementos específicos dentro de cada factor que contribuya a la calidad en general.

• Una vez que esto se haya hecho, este conocimiento deberá de incorporarse a programas de posgrado, así como listas de cotejo para evaluar la calidad de la investigación.

Una buena tesis doctoral es “buena en relación a una comunidad de investigación en particular” (Lyn Yates, 2004).