1

2

3

4

5

ARGUMENTO ¿Por qué valor agregado?

La práctica de evaluación de organizaciones, instituciones e individuos tomó más auge a partir del 1990, a pesar de que la evaluación educativa en el nivel escolar ha estado vigente desde la década del 60. La evaluación estudiantil se fundamenta en el modelo input-output o proceso-producto del rendimiento cuyo objetivo es relacionar los inputs o «entradas escolares» (e.g., el presupuesto educativo o los recursos didácticos disponibles) con los outputs o resultados (e g los logros académicos del alumno)los outputs o resultados (e.g., los logros académicos del alumno) y, por otro lado, el enfoque de deficiencias. (Saunders 1999)

..

6

El valor agregado es un tema estudiado por muchos g g pinvestigadores en diferentes partes del planeta (ver apéndice 1). Lo que anteriormente se tomaba como un nivel de desempeño global o más bien generalizado, hoy en día se busca el desempeño respecto a los diferentes segmentos o componentes de la población. Debido a los cambios en estándares educativos debemos preguntarnos si cabe la posibilidad de explorar nuevas formas de analizar al rendimiento de los alumnos, los maestros y de las instituciones educativas.

7

8

Implementar el concepto valor agregado dentro de los cursos de p p g gingles general de la UPRH

Medir uniformemente los OUTCOMES de los estudiantes que tomaron al ALCT en el sistema de la UPR

Encontrar cómo el valor agregado puede tener efectos y determinar como un maestro, clase o escuela puede ser de influencia a los estudiantes . RUBIN,STUART y ZANUTTO 2003

Identificar cursos básicos ideales para medición del valor agregado en instituciones de educacion superior

Obtener otra manera de evaluar el aprovechamiento de los cursos

9

(output). (estándares de evaluación de la MSCHE y el estándar 14 y sus implicaciones a la acreditación de universidades.)

10

11

Población y escenarioyEl propósito de esta investigación es determinar el concepto de valor agregado dentro de los cursos de inglés general básico de la Universidad de Puerto Rico en Humacao. La población objeto de estudio la define King & Minium (2003) como el universo de la investigación sobre la cual se pretende generalizar losinvestigación sobre la cual se pretende generalizar los resultados. Por ello, este estudio se realizará con los estudiantes universitarios que tomaron la prueba American Language Course Placement Test en la UPRH en el semestre 2006-2007. El escenario de la investigación será el campus de la Universidad de Puerto Rico en Humacao, localizado en la carretera 908 del barrio Tejas de la cuidad de Humacao, en la región este de la Isla de Puerto Rico.

12

Selección de participantesp pEste estudio se realizará con los datos provistos por la Oficina de Desarrollo Universitario de la UPRH. Estos consisten en los estudiantes de la UPRH matriculados en Inglés general, pre básico (INGL0080) y básico (INGL3101) del año académico 2006-2007.2007.

Como nota IMPORTANTE: la institución proveerá todos los datos, por lo tanto no será necesario un muestreo.

13

PermisosLa primera acción en permisos, será someter los documentos requeridos por el Comité Institucional para Protección de los Seres Humanos en la Investigación (CIPSHI). Este organismo se encarga de regularizar las investigaciones relacionadas con la Universidad de Puerto Rico en Río Piedras. Luego, se escribiráUniversidad de Puerto Rico en Río Piedras. Luego, se escribirá una carta a la Oficina de Desarrollo Universitario (ODU) para solicitar autorización de los datos de la prueba American Language Course Placement Test en la UPRH (Apéndice ##). También se escribirá una carta de solicitud de autorización al Departamento de Inglés para la revisión de documentos relacionados a la ALCPT.

DESCRIPCIÖN-2 partes (listening and reading)

14

-66 premisas la 1ra y 34 en la 2da-4 opciones (a,b,c,d)-inicio y final de curso

Recopilación de datospOficina de Desarrollo Universitario (ODU): Esta oficina se localiza en el Edificio de Administración de la UPRH y se encarga de… “ Asesorar al (a la) Rector(a) en la formulación de políticas de desarrollo en la Institución y sobre el diseño de estrategias y actividades en apoyo al proceso de toma de decisiones Además provee liderato dirección y supervisión aldecisiones. Además, provee liderato, dirección y supervisión al proceso de planificación, investigación institucional, recopilación de datos, recaudación de fondos, avalúo y evaluación de la gestión universitaria.” (p. 1). La Oficina de Desarrollo Universitario es un organismo sombrilla que recoge varias áreas en ella. Dentro del las áreas representadas se encuentra Pl ifi ió E t té i Fí i I ti ió I tit i lPlanificación Estratégica y Física, Investigación Institucional, Estadística y Estudios Técnicos, Recursos Externos y Programa de Evaluación. ODU es la oficina que tiene custodia de los datos obtenidos por los estudiantes en el ALCPT.

Para el inicio de éste estudio se utilizará estadística descriptiva e

15

Para el inicio de éste estudio se utilizará estadística descriptiva e inferencial. La estadística descriptiva ayuda a tener un panorama de las frecuencias de cada item, la media, los porcentajes, la desviación estándar y la moda de los resultados del ALCPT. Según King y Minium (2003), estas pueden mostrarnos tendencias generales. Se pretende por medio de

t li ó li l d t il d

De la información recopilada en el proceso se desprende que los p p p qestudiantes toman el ALCPT en dos ocasiones lo que para esta investigación equivale a pre y pos prueba. La diferencia en estas dos medidas, muestra el aprovechamiento del estudiante en su estado raso, cuando entra al curso, y luego de tomar el mismo.

LA ESTADISTICA DESCRIPTIVA MOSTRó …..

16

17

18

33.66%

19

20

Al aplicar la prueba t para grupos dependientes entre los promedios de los resultados de la pre prueba (M=40 50 SD=2 103) y pos prueba (M=47 59 SD=2 033) con un nivel alfa de 05 Esta prueba mostró ser(M=40.50, SD=2.103) y pos prueba (M=47.59, SD=2.033) con un nivel alfa de .05. Esta prueba mostró ser estadísticamente significativa, t (33)= -4.289, p < .000. Esto muestra que hay diferencia en el aprovechamiento del estudiante una vez pasa por el curso INGL0080. Además, se observa que la pos prueba obtuvo un promedio mayor que la pre prueba.

21

La prueba t para grupos dependientes entre los promedios de los p p g p p presultados por destrezas, “Reading” pre (M=25.12, SD=1.676) y “Reading” pos (M=30.91, SD=1.619), con un nivel alfa de .05, resultó ser estadísticamente significativa, t (33) = -4.289, p < .000. Esto muestra diferencias en el nivel de lectura del estudiante una vez pasa por el curso INGL0080. Además, se observa que el promedio de la pos prueba fue mayor que el de la pre prueba. Por tanto, hubo ganancia en el aprovechamiento en “Reading” de los estudiantes.

22

La prueba t para grupos dependientes entre los promedios de los p p g p p presultados por destrezas, “Listening” pre (M=15.38, SD=4.053) y “Listening” pos (M=16.68, SD=3.835) con un nivel alfa de .05, mostró no ser estadísticamente significativa, t (33)= -1.601, p < .119. Esto indica que no hay diferencia en la destreza de “Listening” antes y después del curso INGL0080.

23

En una revisión del ofrecimiento curricular del Departamento de pInglés de la UPR-Humacao se constató que el curso INGL0080 tiene en su planificación cuatro componentes, estos son: “Reading”, “Writing”, “Speaking” y “Listening”. El componente de “Reading” y “Writing” se trabaja en 14 de las 15 clases que se tienen programadas. El componente de “Speaking” se trabaja en 15 de las 15 clases que se tienen programadas. Mientras que el componente de “Listening” se trabaja en 2 de las 15 clases que se tienen programadas. Este dato nos ofrece una explicación a la no significancia del área de “Listening” en los estudiantes que cursaron INGL0080. Con estos hallazgos podemos inferir que d t d l f t d dif i ldentro de los factores que pueden marcar diferencias en el aprovechamiento académico están incluidas las destrezas que cubre el curso, que directamente afectan la prueba. La correspondencia entre la prueba estandarizada y el currículo es una consideración medular para llevar a cabo la medición del valor agregado en el aprovechamiento estudiantil

24

del valor agregado en el aprovechamiento estudiantil.

continuando la línea de discusión de Saunders (1999) y Wright, Horn & Sanders (1997), el valor agregado puede ser medido por la ejecutoria del estudiante ante una prueba

t d i d E t l lt d i di l

Cada uno de los grupos analizados en esta investigación estuvo g p gintegrado por participantes con dos características generales: una puntuación menor a los 451 en el área de inglés en el College Board (CEEB) y que recibieron su clase de inglés en un curso de verano especial denominado por el Departamento de Inglés de la UPR-Humacao como INGL0080. Este curso tiene un currículo especial el cual está diseñado para capacitar altiene un currículo especial el cual está diseñado para capacitar al estudiante en destrezas del idioma inglés y mejorar su actitud ante este idioma. Tanto las puntuaciones del CEEB como la participación en INGL0080 hacen de la población de esta investigación una homogénea.

Autores como Ladd & Walsh (2000), Noell & Burns (2006) y Wright, Horn & Sanders (1997), comentan que el Valor Agregado es un concepto que hace referencia a la escuela en general y más específicamente al salón de clase. Es decir, se trata de un Valor Agregado por la escuela, la institución o el programa. De esta manera, se asume que la persona encargadaprograma. De esta manera, se asume que la persona encargada de agregar valor es el maestro y las prácticas que implantan para el desarrollo de su labor educativa.

25

Al analizar los datos se encontró que no había diferencia entre las qsecciones. Dicho de otro modo, las destrezas básicas de inglés en los estudiantes de nuevo ingreso en las diferentes secciones eran iguales. Esto se debe a que los datos se recopilaron en un momento específico y no a través del tiempo.

El resultado de la ANOVA entre las secciones no fue significativo a un alfa de 0.05, ya que F (2,31) = 1.278, p=.293. (Ver Tabla 7). Se utilizó el coeficiente de “omega squared” (ω2) para determinar la fuerza de relación entre las secciones y el número de estudiantes matriculados. Se obtuvo un valor de ω2 igual a 0.01603, lo quematriculados. Se obtuvo un valor de ω2 igual a 0.01603, lo que indica que las secciones explican el 1.6% de la varianza en la variable dependiente.

26

El resultado de ANOVA entre las secciones para “Listening” fue p gsignificativo [F (2,31) = 4.342, p=.022] pero no fue así para la prueba de lectura [F (2,31) = .481, p=.623] (Ver Tabla 9). Se utilizó el coeficiente de “omega squared” (ω2) para determinar la fuerza de relación entre las secciones y las destrezas. En el caso de “Listening” el ω2 calculado fue de 0.1642, lo que indicacaso de Listening el ω2 calculado fue de 0.1642, lo que indica que la destreza del “Listening” explica el 16% de la varianza en la variable dependiente. Por otra parte, el ω2 en “Reading” fue de 0.0314, los que indica que la destreza del “Reading” explica el 3.14% de la varianza en la variable dependiente.

Las comparaciones post-hoc que se condujeron utilizando el método Tukey para la destreza de “Listening” indicaron una diferencia significativa en entre las medidas del grupo de la sección 0080-015 y los del grupo de la sección 0080-020 (p= 022)

27

.022).

Al verificar la fuerza de relación en ambas pruebas estadísticas p(ANOVAS), estas son débiles. En nuestro caso los tratamientos fueron iguales para todos los grupos, la única diferencia radicó en las personas que proporcionaron los cursos. Aun así, podemos observar que no se encontraron diferencias significativas en secciones a nivel general. Esto puede indicar que los profesores impartieron el curso de forma similar, por lo cual el elemento profesor no ejerció influencia en las puntuaciones.

La diferencia encontrada puede estar relacionada con el audioLa diferencia encontrada puede estar relacionada con el audio al momento de ser suministrada la prueba. La parte de “Listening” es dada a los estudiantes utilizando un “cassette” que ya tiene los diálogos grabados. Según informó la coordinadora del curso INGL0080, este “cassette” está viejo y han tenido problemas de audio en medio de algunas de las secciones cuando se está

28

administrando la prueba. El aspecto técnico relacionado al audio pudo haber dificultado el rendimiento de los estudiantes en esta área, aunque surge este aspecto como una posibilidad, el mismo no se puede constatar ya que no fue parte del análisis de esta investigación.

Meyer (2003), en su estudio “Value-Added indicator of school y ( ),performance in Milwaukee” compara el aprovechamiento estudiantil de un grupo de estudiantes en dos grados distintos. Su estudio pudo medir el aprovechamiento estudiantil y ver las diferencias entre el primer grado y el segundo grado observado. Otro estudio desarrollado por Strand (1997) aporta a la discusión el planteamiento de la comparación de cursos y las puntuaciones en las pruebas. Su estudio se beneficia de las interacciones en las diferentes materias y su efecto en el aprovechamiento estudiantil. Hay que reconocer que en ambos estudios la correspondencia entre prueba y materias es

ltalta.

29

Al aplicar la prueba t para grupos independientes entre los p p p g p ppromedios de los resultados por cursos, INGL3101 (M=47.56, SD=16.66) y INGL0080 pos (M=48.38, SD=11.77). El nivel alfa es de .05. Esta prueba mostró no ser estadísticamente significativa, [t(101)= -.285, p = .78]. Esto muestra que no hay diferencia en los estudiantes que pasan por INGL0080 versus los estudiantes que entran directamente a INGL3101.

COMPARACION DE LA PRUEBA Y PRE DE INGL3101

Y LA POST DE INLG0080

30

Antes de realizar la prueba se revisaron las frecuencias de notas pen INGL3101 en los estudiantes del pre básico y los estudiantes que no cursaron el pre básico. Para los estudiantes que tomaron el pre básico y eliminando los que se dieron de baja “W”, se reflejó la siguientes frecuencias: 14.4% A’s, 36.7% B’s, 23.3% C’s, 10% D’s y 2.2 F’s. Por otra parte, los estudiantes que no cursaron el pre básico y eliminando los que se dieron de baja “W”, se obtuvo la siguiente frecuencia en calificaciones: 6% A’s, 48% B’s, 26% C’s, 8% D’s y 12% F’s.

LA ESTADISTICA DESCRIPTIVA FUE MAS REVELADORALA ESTADISTICA DESCRIPTIVA FUE MAS REVELADORA

31

Al aplicar la prueba de Mann-Whitney para dos grupos p p y p g pindependientes tenemos que para las notas en INGL3101 (M=2.53, SD=1.042) y para INGL0080 (M=1.61, SD=0.49) con un nivel alfa de .05. Los resultados indicaron una diferencia no significativa, z = -1.346, p = .178.

32

El coeficiente de correlación de Spearman entre ambas variablesp(puntuación en el ALCPT y la nota en el curso INGL3101) fue de -.266 (p = 0.06). Este coeficiente indica que la relación esinversa, a medida que una puntuación disminuye la otraaumenta. Sin embargo, la fuerza de la relación es baja y elcoeficiente resultó no significativo.

El coeficiente de correlación de Spearman entre ambaspuntuaciones totales fue -.347 (p = 0.024). Este coeficienteindica que la relación es inversa, a medida que una variabledisminuye la otra aumenta. Al igual que en el resultado obtenidodisminuye la otra aumenta. Al igual que en el resultado obtenidocon los estudiantes que cursaron INGL0080, la fuerza de larelación fue baja. Sin embargo, en este caso el coeficiente resultósignificativo.

33

Una vez obtenidos los coeficientes de Spearman en cada caso, se p ,utilizó un programado encontrado en la Internet y suministrado por el “Institute of Phonetic Science, Amsterdam”, cuya dirección electrónica es: http://www.fon.hum.uva.nl/Service/Statistics/Two_Correlations.html, para examinar la fuerza de los coeficientes de correlación de ambos grupos.

Por tanto, no existe diferencia entre la fuerza de los coeficientes de correlación de los grupos.

34

Dentro de las posibles explicaciones a este resultado estadístico p ppodemos buscar cómo está desarrollado el currículo y su correspondencia con la prueba. En contraposición se encuentran los estudiantes que entraron directamente a INGL3101, en estos se observó la misma relación con la diferencia de que el coeficiente de relación resultó significativo hacia el negativo. En este caso es más evidente el hecho de la no correspondencia de la prueba ALCPT con la nota en INGL3101. Dentro de las posibles explicaciones podemos mencionar que quizás la prueba no está reflejando las destrezas cubiertas en clase. Se repite el problema de correspondencia entre prueba y currículo.

35

36

1 Algunas veces la identificación del estudiante aparece con el número de g pestudiante y otras con el número de seguro social, incluso en algunos casos la identificación de los participantes aparecía como su nombre; esta diversidad de datos hizo imposible parear muchas de las pre pruebas con las pos pruebas, lo que a su vez limitó significativamente el número de sujetos a incluirse en el análisis de esta investigación.

2 por lo que no hubo una medida de pos prueba con la cual comparar los datos iniciales; este aspecto también representó una limitación en la cantidad de sujetos de esta investigación.

3 Lo que no hace de la prueba una estándar, entiéndase que las condiciones q p , qde examen no fueron iguales para todos los sujetos que se sometieron al mismo, añadiendo, posiblemente, variables externas que pueden haber influenciado en el desempeño y resultado.

4 Los estudiantes que no completaron el curso de inglés INGL0080 y INGL3101 bt i lifi ió i ti i l did dINGL3101 no obtuvieron calificación ni participaron en la medida de pos prueba por lo que no se pudo hacer comparación con la medida inicial.

% por lo que se puede introducir efectos de terceras variables y estas pueden ser responsables de la correlación observada.

37

1. La correspondencia entre la prueba y las destrezas dan mayor p p y ysolidez al proceso de medición y de enseñanza.

2. Se recomienda que el personal que administra el ALCPT se asegure de que al recibir la hoja de respuestas verifique que el estudiante ha incluido su número de identificación. Esto facilitará y hará posible el pareo de las medidas de pre y pos prueba, lo que hará posible la comparación entre las mismas.

3. El tener medidas de comparación provee una herramienta de evaluación de las destrezas que se ofrecen en el curso que

d tili d l D t t d I lé jpueden ser utilizadas por el Departamento de Inglés para mejorar el ofrecimiento curricular.

4. La creación de una guía o manual específico que tenga el procedimiento a seguir a la hora de administrar la prueba hará uniforme el proceso de examen (lugar donde se toma la pruebauniforme el proceso de examen (lugar donde se toma la prueba, tiempo para completar la misma e instrucciones que se ofrecen a los estudiantes para completarla).

38

1. Se refiere a investigar la vida estudiantil en determinada materia gy en diferentes periodos. Lo que mostraría el aprovechamiento estudiantil durante su carrera universitaria y que podría ser útil para la comparación entre lo que la institución dice que ofrece vis-à-vis lo que el estudiante adquirió en el proceso.

2. Esto añade una dimensión adicional al análisis que puede ser beneficioso en la identificación de variables que influyen en el aprovechamiento estudiantil.

3. Esto ayudaría a la evaluación general de los ofrecimientos académicos institucionales y dentro de esta la acreditación institucional.

39

Los resultados de esta investigación presentan datos queLos resultados de esta investigación presentan datos que contribuyen a ampliar el conocimiento del concepto del Valor Agregado en el sistema de educación superior. Estos resultados también aportan a la compresión de la educación como valor. Esto es, la medición de la adquisición de conocimientos al ser partícipe de un proceso de enseñaza. El poder cuantificar o medir la adquisición de conocimientos (Valor Agregado) es cónsono con las nuevas estipulaciones de la MSA para el proceso deestipulaciones de la MSA para el proceso de acreditación de instituciones de educación superior. Estas estipulaciones señalan que es recomendable y necesario medir los “outcomes” de los estudiantes, de manera que estos puedan ser cónsonos con la visión y

t d l i tit ió d d ib l d ió

40

metas de la institución donde reciben la educación superior. El Valor Agregado ofrece una herramienta institucional para la evaluación del aprovechamiento estudiantil. Lo que permitirá a la institución corroborar la correspondencia entre su visión y metas con el

41

42

43

44