Tema 3 - Extensions del disseny experimental

Objectius

- Saber diferenciar entre un disseny quasiexperimental i un experimental.

- Aprofundir en el coneixement de la validesa interna.

- Conèixer les característiques principals dels dissenys quasi-experimentals i els dissenys de cas

únic.

- Saber valorar les principals amenaces a la validesa interna associades als dissenys quasi-

experimentals.

Esquema

3.1 Conceptes bàsics: criteris de demarcació i àmbits d’aplicació

3.2 Ampliació i sistematització de les amenaces contra la validesa

3.3 Dissenys quasi-experimentals

3.3.1 Estructures bàsiques de comparació: preexperiments

3.3.1.1 Disseny pre-post amb un sol grup

3.3.1.2 Disseny només post simple (simultani o de cohorts)

3.3.2 Dissens pre-post

3.3.2.1 Disseny pre-post amb grup control no equivalent (grup de quasi control)

3.3.2.2 Disseny pre-post amb quasi control en una cohort anterior (cicles institucionals)

3.3.3 Dissenys només post

3.3.3.1 Dissenys només post amb grups duplicats (simultani)

3.3.4 Disseny de sèrie temporal interrompuda

3.3.4.1 Disseny simple de sèrie temporal interrompuda

3.3.4.2 Disseny de sèrie temporal interrompuda amb grup control no equivalent (grup de quasi control)

3.4 Dissenys de cas únic

3.4.1 Característiques generals

3.4.2 Estructura bàsica de comparació: dissenys AB

3.4.3 Dissenys de retirada: el disseny ABAB i les seves variants

3.4.4 Disseny de línia base múltiple

3.1 Conceptes bàsics: criteris de demarcació i àmbits d’aplicació

Demarcació: tant en els experiments com els quasiexperiments hi ha manipulació de la

variable independent. Exemple: si vull estudiar com una persona introvertida té un rendiment

més alt en tasques de rendiment lògic que una persona extravertida. En aquest cas no podria

fer servir ni un experiment ni un quasiexperiment perquè no puc manipular la variable

independent.

En un quasiexperiment no hi ha aleatorització, en el cas dels experiments sí. A l’hora de

realitzar un quasiexperiment agafo grups de participant ja formats i establerts. En aquest cas

perdré validesa.

Per tant, tenim que, en tots dos tipus es manipulen les variables independents i s’estableixen

relacions causals (com una cosa té que veure amb una altra). Com que en el quasiexperiment

no hi ha aleatorització no hi haurà tant control com en un experiment. Un últim punt de

demarcació seria els àmbits d’aplicació:

Aplicat

Valoració de l’efecte d’una intervenció o tractament

Normalment els quasiexperiments són disseny que s’utilitzen més en context aplicat. Un altre

àmbit on tenen molta utilització serien els d’avaluació de programes de l’àmbit psicosocial.

3.2 Ampliació i sistematització de les amenaces contra la validesa

Definicions bàsiques:

- Validesa interna: supervisió del procés amb ares d’establir, o contrastar, relacions causals

entre les variables independents i les dependents.

- Validesa externa: l’establiment de les condicions que permetin la generalització dels resultats

a l’àmbit natural en què apareixen els processos investigats.

Taula 3.2. Validesa de la investigació adreçada a avaluar l’efecte d’un Tractament T sobre una

Resposta R estudiada en unes determinades Unitats U (subjectes) dins del Context C i en

l’Ocasió O. Tipus i Amenaces. TRUCO

Validesa de conclusió estadística. ¿Existeix una relació funcional establerta/clara entre T i R?

Per poder treballar i saber si existeix o no la relació cal avaluar la validesa de conclusió

estadística. Aquesta té que veure amb estudiar les condicions en la dif. que s’observa entre el

tractament i control i que aquesta sigui prou rellevant per dir que l’efecte és diferent de l’efecte

nul.

La segona pregunta que ens formulem és:

Validesa interna. Suposant l’anterior, T és la causa de R o R s’hagués pogut obtenir en

absència de T?

Principals amenaces:

• Història: fa referència a la possibilitat de que es produeixin circumstàncies externes a la

investigació que passin al mateix temps que té lloc l’aplicació del tractament i la recollida de la

resposta.

• Maduració: l’efecte degut a canvis interns que es produeixen en els participants com a

conseqüència del pas del temps. Poden ser canvis biològics (gana, envelliment, cansament…),

psicològics (avorriment…)

• Administració de proves: efecte que té administrar una prova sobre les conclusions

obtingudes en una administració anterior de la prova. Exemple: s’administren dues proves però

els resultats de la segona prova canvien als de la primera per la manera i el context en què

s’administren les proves.

• Instrumentació: es produeix quan en el decurs del període de la investigació es produeixen

canvis en la calibració dels instruments de mesura.

• Regressió estadística (a la mitjana): tendència que tenen les dades extremes a retornar al seu

valor promig.

• Pèrdua no aleatòria de subjectes/Mortalitat experimental: recull el fet que en el moment de

perdre casos, la pèrdua de participants, no es produeix de manera equilibrada amb els dos

grups que comparem.

• Selecció: es produirà un problema quan els participants dels grups que comparo tinguin

alguna diferència (no siguin homogenis) que pugui interferir en la causació, en la valoració de

l’efecte de la VI sobre la VD.

Validesa de constructe. Suposant l’anterior, l'operativització que s’ha realitzat de T i R

(indicadors) representen als constructes T i R d’interès?

Principals amenaces:

a) Relacionades amb l’operacionalització dels constructes T i R

Explicació preoperacional inadequada

b) Relacionades amb el comportament de les U (unitats d’estudi = Participants)

Endevinació d’hipòtesis (efecte Hawthorne): els subjectes creuen saber què és el que

ha de passar en aquell estudi i modifiquen el seu comportament en funció del

coneixement o creença.

Artefactes del subjecte: tots aquells problemes causats pels fets de que els subjectes

representen papers que no són els seus papers habituals.

Artefactes de l’experimentador (efectes biopsicosocials de l’experimentador,

expectatives de l’experimentador): BIOPSICOSOCIALS: el fet de que l’experimentador

sigui d¡un determinat sexe, que tingui algun tipus de predisposició per algun tipus de

participant... EXPECTATIVES: a vegades tenim tendència a ser més o menys sensibles

en funció de les nostres preferències o creences.

Validesa externa. Suposant l’anterior, els resultats obtinguts amb unes determinades U

(mostra de subjectes), C (lloc en el qual es realitza la investigació) i O (ocasió d’estudi) es poden

generalitzar a d’altres U, C i O?

Validesa de població: Exemple: puc generalitzar el que he analitzat amb una mostra de

300 participants a la resta de població?

Validesa ecològica: Exemple: puc generalitzar el que he realitzat en un determinat

context a altres contexts?

Validesa històrica: Exemple: puc generalitzar ocasions diferents en què s’ha fet

l’estudi?

3.3 Dissenys quasi-experimentals

3.3.1 Estructures bàsiques de comparació: preexperiments

O = Observacions; Subíndex = situacions diferents ; X = tractament que volem estudiar

3.3.1.1 Disseny pre-post amb un sol grup

Ritmes circadians i trastorn afectiu emocional

Els resultats de diverses recerques semblen indicar que alguns trastorns afectius estan

relacionats amb els ritmes circadians. De fet, molts pacients amb trastorn afectiu emocional

mostren una certa manca d'ordre en els ritmes biològics circadians com insomni primari,

hipersòmnia, etc. D'altra banda, existeix un tractament que ajuda a reajustar els circadians: la

fototeràpia. Un psicòleg manté la hipòtesi que la fototeràpia pot tenir efectes positius en el

trastorn afectiu emocional. Així, selecciona una mostra de 10 pacients diagnosticats de

trastorn afectiu emocional, i els aplica fototeràpia. Tant abans com després d'aplicar el

tractament mesura en els pacients mitjançant qüestionaris el grau depressió.

[O = Observació; X = Fototeràpia]

1 = primera mesura de l’observació

2= segona mesura de l’observació

3.3.1.2 Dissenys només post simple (simultani o de cohorts)

La línia discontínua simbolitza que els grups no han estat escollits a l’atzar. La C fa referència a

la situació control.

Existeix el disseny post simple simultani i el disseny post simple de cohorts (quan s’estudia

amb un context institucional, p.e. escoles, on la gent entre per remeses, tinc l’opció de

comparar les respostes de grups dif., d’anys dif. de la mateixa institució).

3.3.2 Dissenys pre-post

3.3.2.1 Disseny pre-post amb grup control o equivalent (grup de quasi-control)

Una millora metodològica del disseny pre-post amb un sol grup consisteix en incloure en la

investigació un grup de control. La mesura és instantània.

És més difícil aconseguir graus de semblança similars als que s’aconsegueixen quan s’investiga

en un context experimental, donat que no es pot fer servir l’assignació aleatòria. Es per això

que es considera no equivalent al grup control que s’inclou en aquest tipus de dissenys. Per

tant, enlloc d’anomenar al grup control “control no equivalent”, l’anomenarem grup de quasi

control.

3.3.2.2 Disseny pre-post amb quasi control en una cohort anterior (D. De cicles institucionals)

- Participan 2 grupos.

- Un grupo recibe la intervención que queremos estudiar y otro grupo actúa de control.

- Lo que le diferencia del diseño anterior es que son grupos que forman parte de una misma

institución.

La línia ondulada expressa la restricció, fonamental en aquest disseny, de que sigui la cohort

immediatament anterior i de la mateixa institució. La mesura no és instantànea.

Observe que el cumplimiento de este requisito facilita el igualamiento de muchas variables

extrañas entre las dos cohortes, lo cual redunda en la validez del diseño.

Podríamos pensar que no hay más que decir de este diseño, comparamos (O4 – O3) respecto a

(O2 – O1) y determinamos la posible diferencia. Sin embargo, hay varias cosas muy

importantes que discutir.

Primera: debemos estar seguros que no es posible establecer un grupo de cuasi control que,

simultáneamente al experimental, sea formado con el plan antiguo. Seguramente lo podíamos

encontrar en otro colegio, pero la cantidad de variables extrañas que esto acarrearía lo hace

desaconsejable. ¿Lo podemos hacer dentro del propio colegio? En este ejemplo, cuando se

cambia el plan de estudios se hace para todas las clases del mismo curso. Luego no es posible.

De nuevo aparece una de las notas de los diseños cuasi experimentales: la investigación

aplicada nos constriñe en el grado de control del diseño. No podemos tomar las medidas que

nos gustarían para mejorar el control y la posterior atribución de causalidad.

Segunda: debemos poder asumir que las dos cohortes contiguas mantienen diferencias

mínimas entre ellas. Observe que la cohorte del plan antiguo actúa como grupo de cuasi

control de la cohorte del plan nuevo, luego ha de ser lo más equivalente posible.

No sería válida la investigación si las dos cohortes, en los años anteriores, han estudiado con

planes de estudio distintos. Al llegar al comienzo del curso en estudio, ambas cohortes han

debido tener una formación previa similar y nosotros debemos asegurarlo con datos. En

general, la similitud de las cohortes contiguas hay que discutirla en cada contexto de

investigación.

Tercera: las cohortes han podido tener una formación similar, pero ser de hecho distintas.

Todos hemos oído a los profesionales de la educación decir -no sabemos si con razón- que tal

promoción fue especialmente mala. Observe que esto se daría a pesar de haber tenido

antecedentes similares. Debemos asegurarnos de que las dos cohortes, cuando van a ser

medidas en O, y O' son lo más parecidas posible. ¿Cómo?, midiéndolas en un conjunto de

variables relevantes respecto a la variable dependiente en estudio. En nuestro ejemplo

podemos medir su rendimiento anterior y su motivación por el logro escolar. ¿Qué pasa si nos

encontramos con individuos con puntuaciones muy extremas en uno de los grupos? La forma

de actuar es la misma que si estuviéramos con un experimento: controlar la variable por

eliminación.

Cuarta: ya nos hemos asegurado que las dos cohortes contiguas son equivalentes respecto a la

variable dependiente. ¿Hay otras amenazas a la validez? Como en todos los diseños

longitudinales hay que controlar los posibles efectos debidos a la historia. Por ejemplo, en el

entorno escolar debemos controlar que los alumnos en estudio de las dos cohortes han tenido,

mayoritariamente, a los mismos profesores. Si no es así debemos acotar la investigación a los

grupos que lo cumplen. Debemos controlar que no ha ocurrido alguna circunstancia anormal

en ese año escolar que se pueda enmascarar con el cambio de planes de estudio (huelga,

profesor enfermo, accidente de algún compañero, etc.). Por otro lado, la validez puede estar

amenazada, previamente a la investigación, existe una tendencia a lo largo del tiempo en el

rendimiento de las sucesivas generaciones, las cohortes. La forma de controlar esto es ampliar

el número de cohortes de cuasi control. Podemos medir dos o tres cohortes anteriores al

cambio y establecer que no existe una tendencia ascendente (o descendente) que se pueda

enmascarar con la variable independiente.

Resum dels dissenys pre-post

A la izquierda aparece el diseño más elemental, con un solo grupo, sobre el que se desarrolla el

resto. Este diseño no es aconsejable por su debilidad.

En los tres diseños con cuasi control hay una serie de observaciones en el tiempo donde se ha

aplicado un tratamiento (X). En los tres se detecta de forma absoluta la cuantía del efecto del

tratamiento por las diferencias entre los dos grupos de observaciones, pre y post aplicación. La

interpretación de esta diferencia en términos causales está amenazada, principalmente, por la

historia, que puede haber hecho que el cambio se deba a la aparición de una variable en el

tiempo. La forma como los tres evitan esta amenaza es relativizando el cambio del grupo

experimental respecto al cambio en un grupo cuasi control. En los dos primeros casos la

comparación del cambio de las puntuaciones experimentales y cuasi controles se hace de

forma simultánea (1-2, 1-2); en el primero se utiliza otro grupo de sujetos seleccionados por su

parecido con los experimentales y en el segundo se utiliza un conjunto de puntuaciones

tomadas a los mismos sujetos en otra variable. En el tercer caso, el cuasi control se lleva a cabo

comparando el cambio de la situación experimental (3-4) con el registro en un período anterior

(1-2) en la cohorte antecedente. Finalmente, recuerde que en los contextos cuasi

experimentales no tiene mucho sentido preguntarnos cuál de los tres diseños expuestos es el

mejor, sino si puedo ajustar a mi objetivo alguno de ellos.

3.3.3 Dissenys només post

Diseños cuasi experimentales donde el investigador no puede tomar medidas antes del

tratamiento porque ésta ha sido aplicado cuando accede a su estudio.

Tanto el diseño con cohortes sucesivas o con un grupo de cuasi control formado ad hoc tiene

una amenaza fundamental que debemos ser capaces de rechazar en el contexto de nuestra

investigación: ¿las puntuaciones X O, son mayores que C O porque el tratamiento las ha hecho

mejorar, o porque ese grupo de sujetos ya era superior antes de aplicarle el tratamiento?

Tenemos una seria amenaza de selección.

¿Cómo mejoramos el diseño? Añadiendo grupos de puntuaciones de cuasi control. ¿Cómo

podemos rechazar la amenaza de selección en el diseño simple sólo post? Añadiendo grupos

experimentales y cuasi controles; así, la esperada superioridad de los primeros sobre los

segundos no dependerá de la selección de los grupos.

El esquema en el que todas las medidas se

producen en el mismo momento es:

En definitiva, en cada investigación habrá que

justificar que el diseño cuasi experimental elegido

tiene validez, permitiendo rechazar,

fundamentalmente, las amenaza de historia y la

selección de los sujetos.

Lo característico de los diseños sólo post es que contrastan la influencia de una variable a

través de distintos grupos de sujetos, por lo tanto, el diseño experimental hubiera sido inter-

sujeto con grupos al azar. Las restricciones en estos diseños son mayores que en los pre-post,

porque no hay medidas previas. Hay menos controles, más amenazas y, por, tanto, hemos de

ser más cautos todavía en la interpretación de la causalidad.

Resumen: La característica común a todos estos diseños es que el investigador no puede tomar

medidas pre. El problema de un contraste simple es la dificultad de rechazar la amenaza de la

selección. Para superar esta dificultad se aumentan los grupos observados, ya que es poco

probable que en dos grupos experimentales se den, simultáneamente, puntuaciones

superiores al cuasi control no debidas al programa. Cuando se desea contrastar dos

programas, con efectos esperados distintos, se reduce más el error de selección, al ser muy

poco probable que la selección de los sujetos produzca puntuaciones que coincidan

exactamente con el sentido de las hipótesis sobre los programas. Las cohortes añaden la

especificidad de aplicarlos en contextos institucionales, con las similitudes del entorno y con

las restricciones de la selección y del paso del tiempo.

3.3.4 Disseny de sèrie temporal interrompuda

3.3.4.1 Disseny simple de sèrie temporal interrompuda

Diseño cuasi experimental en el que se

registra una serie de medidas de un

grupo, habiendo introducido un

tratamiento en la mitad del proceso.

3.3.4.2 Disseny de sèrie temporal interrompuda amb grup control no equivalent (grup de quasi

control)

Diseño cuasi experimental en el que el efecto de la

intervención en una serie de observaciones es

contrastado con otra serie de observaciones en un

grupo cuasi control sin intervención.

Resumen: Las características comunes de estos diseños son: repetición en el tiempo de las

observaciones antes y después de la intervención y prueba del efecto absoluto de la

intervención con los mismos sujetos. En los dos de la derecha existe otra serie para relativizar

la influencia de dicha intervención; en el primer caso, el cuasi control se lleva a término

utilizando otro grupo de sujetos y en el segundo, usando otra variable de los mismos sujetos.

3.4. Disseny de cas únic (mirar llibre de text de Leon y Montero)

3.4.1. Característiques generals

Són estudis pensats per fer amb un sol cas. Són estudis en què encara estem dintre del

paradigma manipulatiu. En aquests dissenys pot haver o no aleatorització però tots els

dissenys de cas únic tenen manipulació de la VI.

S’utilitzen aquests disseny en diverses situacions:

Quan hi ha problemes pràctics per disposar de mostres més grans.

Objeccions ètiques per a establir un grup control.

Necessitats de valorar l’efectivitat individual.

Experimentació sobre processos molt bàsics amb una clara base biològica.

Objectiu dels dissenys de cas únic: valorar l’efecte d’una variable independent sobre la variable

dependent. Estudiar relacions causals.

Recordatori: Criteris de causalitat

(mirar llibre: concepte de línia base)

En aquest disseny es pot establir una relació entre les dues variables, una associació (consum

d’alcohol i tractament). També es dóna la temporalitat (en el cas dels dissenys ex post facto,

l’únic cas que permet temporalitat en absència de manipulació és l’etiològic de cohorts).

Fases en el disseny de cas únic:

1. Establir la línia base (requeriment: estabilització)

2. Introduir el tractament (Manipulació)

Uniforme (cada dia, aplicar la mateixa dosi)

Puntual (aplicació del tractament en un moment determinat i una única vegada)

Gradual (progressivament s’augmenta la intensitat del tractament)

3. Interpretar

3.4.2. Estructura bàsica de comparació: disseny AB

“A” fa referència a una etapa del procés d’investigació en què es mesura la VD en absència de

tractament. “B” fa referència a una etapa de mesura de la resposta en què s’ha introduït el

tractament.

Limitacions del disseny AB:

Reactivitat positiva (el fet que una persona canvia el seu comportament habitual

simplement per formar part d’una investigació).

Història (canvis contextuals que es poden relacionar amb el suposat efecte del

tractament).

Maduració (aprenentatge, estats relacionats amb motivació).

Per millorar aquest disseny podem augmentar el nombre de fases

3.4.3 Dissenys de retirada: el disseny ABA

Es recula el tractament retirant-lo. “A” simbolitza una fase sense tractament i “B” fase amb

tractament. Tots els dissenys que presentin unes fases “BA” voldrà dir que és un disseny de

retirada. Per millorar aquest disseny i no deixar al individu sense tractament s’afegeix una altra

fase de tractament.

Diseño ABA

Permite conocer la influencia del tratamiento con algún grado de certeza.

Indeseable en contexto clínico.

Diseño BAB

Es superior al anterior desde el punto de vista clínico.

La ausencia de LB impide que el análisis de las condiciones naturales de ocurrencia.

Diseño ABAB

Elimina los problemas de los diseños anteriores.

Proporciona dos fases B para mostrar los efectos del tratamiento.

Refuerza las conclusiones derivables de los efectos de control sobre la conducta.

3.4.4 Dissenys de línea base múltiple

Una millora del disseny AB són els disseny amb línia de base múltiple. En aquests casos no

s’aplica una altra fase sinó que es fan diverses línies bases. Per aplicar aquest disseny cal que

les diferents conductes sobre les que estableixo la línea base puguin ser sensibles al

tractament que aplico. També ha d’haver independència, una ha de variar i l’altre no (línies

base). Aquest disseny em permet tenir més dades per retirar explicacions espúries.

Aquest disseny implica aplicar simultàniament diferents dissenys AB i en l’aplicació d’aquest

dissenys el que faig és jugar amb l’allargada que té en cadascun d’aquests dissenys AB, la fase

de línea base. Aplico en diferents conductes (o conducta en diferents contextos) el mateix

tractament però canvio el moment de l’aplicació.

Exemple: Desensibilització sistemàtica a una dona moltifóbica

Exercici 3.6: La conducta de parlar fora de temps

1. La pauta d’atenció contingent aplicada pels professors redueix les intervencions de l’alumne

fora de temps.

2. VI: aplicació o no de l’atenció contingent dels mestres; VD operativitzada: intervencions de

l’alumne fora de temps.

3. Disseny ABAB.

4. Aquest disseny proporciona dos fases B per mostrar l’efecte del tractament. Reforça les

conclusions derivables dels efectes de control sobre la conducta (més validesa interna).

5.

6. S’observa que sí que té un efecte sobre l’alumne.

0

2

4

6

8

10

12

14

1 2 3 4 5

Setmana 1

Setmana 2 (amb tractament)

Setmana 3

Setmana 4 (amb tractament)