Felipe Martínez RizoPonencia magistral, VIII Foro de Inv. Educativa

Aportaciones de la Inv. Ed. en el contexto actualInstituto Politécnico Nacional

México, noviembre 6 de 2014.

LA CALIDAD DE LA INVESTIGACIÓN

Y LA FORMA DE CUIDARLA

Los investigadores de temas educativos pensamos que nuestro trabajo es importante, pero no todas las personas opinan lo mismo. Algunos tomadores de decisiones tienen una imagen negativa de la IE.

Para que realmente sea útil, la investigación debe ser de buena calidad, para que sus resultados ofrezcan una base sólida para sustentar decisiones acertadas por parte de los diferentes actores del campo educativo, desde tomadores de decisiones en gran escala hasta maestros y alumnos.

No toda investigación tiene esos rasgos. ¿Cuáles son? ¿Cómo asegurarlos?

Introducción

Visión de los tomadores de decisiones sobre la poca utilidad de la investigación educativa para sustentar el diseño de políticas:

Discurso del Senador Mondale (AERA 1971)

Retro-predicción de Gage (AERA 1989)

La horrible reputación de IE (Kaestle 1993)

¿Inspira confianza la IE?

He encontrado poca evidencia concluyente. Por cada estudio que contiene una propuesta de solución o recomendación hay siempre otro, igual de documentado, que cuestiona los supuestos o las conclusiones del primero. Al parecer no hay una sola persona que esté de acuerdo con el acercamiento de ninguna otra. Y todavía más preocupante: nadie parece saber lo que funciona. Por ello, debo confesarlo, mis colegas y yo nos encontramos confundidos y muchas veces descorazonados.

Senador Walter Mondale.Congreso de la AERA, febrero de 1971.

El discurso del senador

La guerra de paradigmas y sus secuelas. Bosquejo histórico de la investigación educativa desde 1989.

N. Gage, Congreso Anual de AERA, 1989

Hemos llegado al 2009 y miramos hacia atrás para ver qué pasó con la IE en las dos décadas transcurridas desde 1989… En ese año, lo que llegó a conocerse como guerra de paradigmas había llegado a un sanguinario clímax.

Gage presentó tres futuros posibles (pasados, en su ficción, de 1989 a 2009) para la guerra de los paradigmas cuantitativo y crítico-cualitativo.

La “retro-predicción” de Gage

1) El punto de vista crítico triunfa; la investigación cuantitativa desaparece; florecen los enfoques anti-naturalistas, interpretativos y críticos.

2) Los dos tipos de IE siguen, se enriquecen entre sí y contribuyen juntos a mejorar la educación con posturas conciliadoras, ante el riesgo de que se acaben los recursos al agotarse la paciencia de contribuyentes y gobernantes ante bizantinas querellas de escuela y poca productividad.

3) Las guerras continúas y en 2009 permanece una situación semejante a la de 20 años atrás.

Gage no consideró una victoria de los cuantitativos.

Los tres escenarios

En 1972, el Congreso creó el Instituto Nacional de Educación (NIE) porque creía que los programas de investigación de la Oficina de Educación eran mediocres e inútiles… Cuando buscaba un director para el NIE, en 1976, el Secretario Califano creía que la IE era un caos (a mess) por tres razones:

No da resultados; Los investigadores no se ponen de acuerdo; El campo está politizado.

The Awful Reputation of Educational Research Carl F. Kaestle, 1993.

La espantosa reputación

La mala fama de la IE se debe en parte a fallas de trabajos que llegan a conclusiones opuestas y dan lugar a polémicas que confunden al público.Una variante estéril de esas polémicas opone los enfoques llamados cuantitativos y cualitativos.Un estudio puede ser de buena o mala calidad sea cuanti o cuali. Para que sea bueno, y también sea cual sea su enfoque, debe cuidar algunas cosas.Hay que precisar esas cosas superando polémicas estériles y sin limitarse a cuestiones técnicas.

¿Cómo superar las polémicas?

Nuestra visión de la calidad y el rigor científico se aplica a las dos formas de investigación etiquetadas tradicionalmente como cuantitativas y cualitativas, así como a las etiquetadas como básica y aplicada.…esas dicotomías han definido líneas de división, “fallas geológicas” dentro y fuera de la academia… …los problemas se derivan del carácter excluyente; consideramos que las dos dicotomías ni están bien definidas ni son constructivas…

(Shavelson y Towne, 2002: 19)

La polarización no ayuda

Es usual que se describan los métodos cuantitativos y cualitativos como si fueran modos de indagación completamente diferentes, e incluso como si fueran paradigmas que suponen epistemologías distintas. Nosotros pensamos que ese punto de vista está equivocado, y como vemos la IE cuantitativa y cualitativa como similares epistemológicamente, y reconocemos que ambas pueden ser realizadas rigurosamente, no las distinguimos como si fueran formas diferentes de indagación.

(Shavelson y Towne, 2002: 19)

Los enfoques son compatibles

Lo que constituye calidad y rigor científico ha sido objeto de debates en el seno de la comunidad de investigación educativa misma, desde el siglo XIX.Algunos “postmodernos” extremos cuestionan el valor de la evidencia científica de cualquier tipo sobre educación. En el otro extremo están los que definen la investigación científica en educación en forma muy estrecha, sugiriendo que únicamente las mediciones cuantitativas y los controles fuertes definen sin ambigüedad la ciencia.

(Shavelson y Towne, 2002: 24-25)

Debates sobre la calidad de la IE

Ninguna de esas dos posturas es constructiva… ambas han contribuido a la “espantosa reputación” de la investigación educativa…Rechazamos la escuela postmoderna cuando afirma que la investigación en ciencias sociales nunca puede generar conocimiento objetivo o confiable. Al mismo tiempo, rechazamos la investigación que se basa únicamente en las estrechas posturas del conductismo/positivismo porque pensamos que su visión de la naturaleza humana es simplista.

(Shavelson y Towne, 2002: 24-25)

Buscando una postura intermedia

Independientemente de su enfoque cuanti o cuali, para ser de buena calidad, una IE debe:

Permitir el estudio empírico de una pregunta relevante;

Tener en cuenta el contexto en que se hace; Ubicarse en un marco conceptual; Reflejar un razonamiento cuidadoso y

exhaustivo; Y difundir los resultados para alentar su

discusión en la comunidad científica. (Shavelson y Towne, 2002: 6)

Los rasgos básicos de calidad

Elementos de una investigación

Observación Análisis

Diseño

Construcción del objeto de estudio

La calidad de la investigación

Una buena investigación debe tener: Un propósito claro, que parte de la precisión de

los aspectos de la realidad a estudiar, o sea de un objeto de estudio bien definido.

Un buen diseño del conjunto, basado en uno o varios de los tipos de investigación, según el propósito y el objeto de estudio.

Información empírica de buena calidad, gracias al uso adecuado de técnicas apropiadas.

Análisis sólidos, que sustenten las conclusiones con base en la información disponible.

Los tipos de investigaciónTIPOS

BÁSICA

DOCUMENTAL

INV. DE ARCHIVO

ANÁL. SECUNDARIO DE DATOS

ANÁLISIS DE EVIDENCIAS

SÍNTESIS DE INVESTIGACIONES

VIVA

OBSERVACIONAL

ED. EXTENSIVOS: ENCUESTAS…

ED. INTENSIVOS: CASOS…

EXPERIMENTAL

EXPERIMENTOS ESTRICTOS

CUASI-EXPERIMENTOS…

APLICADA

INTERVENCIÓN CONTROLADA

PRACTITIONER’S, INV. ACCIÓN

INV. EVALUATIVA

INV. METODOLÓGICA

MODELOS MIXTOS

Los tipos de investigación o diseños se pueden designar también con el término “métodos”.

No hay diseños mejores o peores en sí mismos; cada uno es adecuado para ciertos propósitos.

Además hay una amplia gama de técnicas de obtención y análisis de información, que también son adecuadas para propósitos diversos y pueden combinarse en varios diseños o métodos.

Hay diseños (métodos) y técnicas que se prestan más para usarse en estudios extensivos, y otros en estudios intensivos, pero la distinción tajante cuanti/cuali es artificial.

Diseños (métodos) y técnicas

El diseño de un estudio no lo hace científico por sí mismo. Hay una amplia gama de diseños legítimos que se pueden usar en la investigación educativa, que van de un experimento con asignación aleatoria para estudiar un programa de bonos educativos, a un estudio de caso etnográfico en profundidad de unos maestros, o a un estudio neurocognitivo de cómo se aprenden los números, utilizando tomografía por emisión de positrones para formar imágenes del cerebro.

(Shavelson y Towne, 2002: 6)

Diseños legítimos

Conocimiento e inferencia

El conocimiento humano no es inmediato ni total, sino mediato y parcial: siempre implica inferencia.La inferencia está presente en el conocimiento de sentido común y en el más riguroso, “científico”. El sentido común no cuida sistemáticamente la

solidez de las inferencias que hace. El conocimiento científico debe hacerlo: hay que

identificar tipos de inferencia, las amenazas que pueden afectarlos y la forma de evitarlas.

La metodología de la investigación como el cuidado sistemático de la calidad (validez y

confiabilidad) de las inferencias que se hacen

Los rasgos que suelen caracterizar la calidad de los trabajos llamados cuantitativos (confiabilidad y validez) se aplican también, con las adaptaciones que proceda, a los cualitativos. Si un trabajo carece de consistencia, si cada

vez que se hace el resultado es diferente (o sea si carece de confiabilidad), no sirve.

Tampoco es útil si la información obtenida no corresponde a los constructos que se manejan (o sea si carece de validez).

Y para tener confiabilidad y validez no bastan las buenas intenciones ni la brillantez del discurso.

En otras palabras

La calidad en dos tradiciones

EN GENERALTRADICIÓN

EXPERIMENTALPARADIGMA

NATURALISTA

VerdadTruth Value

Validez internaInternal Validity

CredibilidadCredibility

AplicabilidadApplicability

Validez externaExternal Validity

TransferibilidadTransferability

ConsistenciaConsistency

ConfiabilidadReliability

ConfiabilidadDependability

NeutralidadNeutrality

ObjetividadObjectiviy

ConfirmabilidadConfirmability

Cuatro preguntas para saber si una investigación “es de fiar” (trustworthiness) en dos tradiciones.

Lincoln, Y. y E. Guba (1985). Naturalistic Inquiry, pp. 290 y ss.

Una investigación implica una cadena de pasos, desde la elección del tema y la construcción del objeto de estudio, la definición de los sujetos y aspectos a estudiar, la obtención de información con instrumentos estructurados o sin ellos, el procesamiento de la información, la generalización o extrapolación para llegar a juicios y sustentar decisiones que tienen cierto impacto…Asegurar la calidad del conjunto implica atender las amenazas asociadas a cada eslabón. El modelo de la cadena sugiere que la calidad del conjunto depende del eslabón más débil…

Crooks, Kane y Cohen

El cuidado de la calidad

La investigación fundamentada científicamente denota el uso de metodologías rigurosas, sistemáticas y objetivas para obtener conocimiento válido y confiable. Requiere:A. Cadena de razonamiento lógico basado en evidencias;B. Métodos apropiados para responder las preguntas;C. Diseño observacional o experimental e instrumentos

que ofrezcan hallazgos confiables y generalizables;D. Datos y análisis adecuados para apoyar los hallazgos;E. Explicación clara y detallada de procedimientos y

resultados, incluyendo la especificación de la población a la que se pueden generalizar los hallazgos;

F. Adhesión a normas profesionales de revisión por pares;G. Diseminar hallazgos para contribuir al conocimiento; yH. Acceso a los datos para análisis secundarios,

replicarlos y tener oportunidad de construir a partir de hallazgos.

La definición de AERA, 2008

MUCHAS GRACIASPOR SU ATENCIÓN