Pecole aesla 2012 sml

Diseño y formación de

evaluadores de una prueba

de eficacia comunicativa oral

en lengua española para

trabajadores inmigrantes

(PECOLE)

Susana Martín Leralta

Universidad Nebrija

[email protected]

mailto:[email protected]

Dirección General de Inmigración de la CM

Grupo de investigación LAELE de la Universidad Nebrija

PECOLE

Dra. Marta Baralo

Dª Sheila

Estaire

Dra. Susana

Martín

Noviembre 2011 – febrero 2012

Prueba de eficacia comunicativa oral en lengua española

Trabajadores inmigrantes en la Comunidad de Madrid

Marco común europeo de referencia para las lenguas

Evaluar la eficacia comunicativa oral inicial de los candidatos

Enfoque por tareas

Orientación a la acción

Inclusión de criterios sociopragmáticos, socioculturales y estratégicos

PECOLE

Programa de formación y certificación lingüística de

español para inmigrantes (Diploma LETRA)

Grupo de investigación LAELE

2008-2011

ANTECEDENTES DE LA PECOLE

Véase Baralo y Guerra (2010), Martín (2011) y

Baralo y Estaire (2011)

www.diplomaletra.com

Estudios sobre la evaluación de la competencia oral

en LE (Bachmann, 1990; Alderson, Clapman y Wall,

1998; Luoma, 2004 y Bordón, 2006)

Estándares de ALTE y EALTA

AsegurarValidez

Fiabilidad

Autenticidad situacional

Impacto positivo

FUNDAMENTOS DE LA PECOLE

1.Estado de la cuestión y análisis de

necesidades

2.Diseño de la prueba PECOLE y elaboración

del documento de especificaciones

3.Diseño e implantación del curso de

Formación de evaluadores

FASES DEL PROYECTO


necesidades

a)Inserción social

b)Resolución de necesidades

comunicativas básicas

c)Características del grupo meta

d)Nivel de dominio lingüístico

FASES DEL PROYECTO


necesidades



FASES DEL PROYECTO

DEFINICIÓN DE “EFICACIA

COMUNICATIVA ORAL”

Según el MCER

La lengua como herramienta de comunicación

Importancia de la competencia pragmática

Dimensiones del aprendiz de LE:

• agentes sociales

• hablantes interculturales

DEFINICIÓN DE “EFICACIA

COMUNICATIVA ORAL” INICIAL

Marco Común Europeo de Referencia para las Lenguas.

Enseñanza, aprendizaje, evaluación (MCER)

A1

Participa en conversaciones de forma sencilla, pero la

comunicación depende totalmente de que haya repeticiones

a ritmo más lento, reformulaciones y rectificaciones. Sabe

plantear y contestar preguntas sencillas, realizar

afirmaciones sencillas y responder a las afirmaciones que se

le hacen en áreas de necesidad inmediata o sobre temas

muy cotidianos.

Definición del constructo

Equivalencia en la medición

Orientación a la lengua

Orientación a la comunicación

Orientación a la situación

Luoma (2004)

ESPECIFICACIONES DE LA PECOLE

a.Descripción de la tarea de interacción oral

b.Capacidades evaluadas

c. Duración estimada

d.Formato de la prueba

e.Procedimiento de realización y directrices

para los evaluadores

f. Procedimiento de calificación: criterios de

evaluación y descriptores de la escala de

calificación



1) La tarea de interacción oral

Participar en una CONVERSACIÓN con el examinador para

hablar:

de sus datos personales (nombre, edad,nacionalidad,

domicilio, idiomas que habla, familia, etc.)

de sus estudios / formación laboral

de su experiencia laboral en su país y en España, de su

trabajo u ocupaciones cotidianas actuales


2) Capacidades evaluadas

El examinando PUEDE:

Participar en una conversación de forma muy sencilla, apoyándose

ocasionalmente en la cooperación del interlocutor, en la que demuestre que

puede:

comprender a su interlocutor cuando éste le habla despacio y de forma clara,

utilizando un nivel de lengua estándar y, en caso de necesidad, haciendo uso

de repeticiones a ritmo más lento, reformulaciones, mímica o gestos para

señalar, asentir, etc.;

proporcionar los datos requeridos por el entrevistador (datos personales y

familiares, de estudio o formación laboral, de su experiencia laboral o intereses

profesionales, de su situación laboral actual, etc.), cumpliendo así la finalidad

comunicativa;

utilizar enunciados breves, sencillos, aislados haciendo uso de un repertorio de

vocabulario y estructuras gramaticales básico que no impide la comprensión a

pesar de los errores que comete; con una pronunciación y entonación que no

impiden la comprensión a pesar de un fuerte acento extranjero;

deletrear su nombre o apellido y dar algún número (por ejemplo, teléfono, código

postal) que el entrevistador pueda requerir si fuera necesario.

El examinando PUEDE:

Utilizar fórmulas de cortesía sencillas y cotidianas para establecer un

contacto social básico acorde con la situación (ejemplo: saludos,

despedidas, agradecimientos).

Hacer uso eficaz de estrategias compensatorias para solucionar problemas

de comprensión y de expresión que puedan aparecer.


3) Duración estimada

5-7 minutos

4) Formato de la prueba

Entrevista uno a uno entre el evaluador y el candidato

VENTAJAS

Flexible adaptable a la realización del candidato

Evaluadores Alto control de lo que sucede

Estructurada

INCONVENIENTES

Poder del evaluador sobre el candidato

Costoso en tiempo y cantidad de evaluadores

Requiere formación de evaluadores


5) Criterios de evaluación

Grado de comunicación

Relación con el interlocutor

Control lingüístico


6) Escala de calificación: Apto / No apto

Manejable para los evaluadores

Reflejar todas las posibles actuaciones de los candidatos

Consensuada e interpretada de manera homogénea


Respuesta satisfactoria: APTO

• Grado de comunicación - El candidato cumple adecuadamente los objetivos comunicativos de la prueba: comprende al interlocutor y se hace comprender en relación con lo tratado, aunque evidenciando un cierto grado de dificultad. A pesar de esta dificultad, su mensaje es suficiente para satisfacer la necesidad comunicativa planteada.

• Relación con el interlocutor – Para su actuación, el candidato depende ocasionalmente de la cooperación del interlocutor (discurso lento y claro, uso de repeticiones, reformulaciones, de mímica, gestos, señales). Un interlocutor acostumbrado a tratar con hablantes de otras lenguas puede comprenderle con cierto esfuerzo y concentración.

• Control lingüístico – En su discurso manifiesta cierta dificultad en la utilización de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio reducido: necesita algunas pausas y reformulaciones de su mensaje, a menudo demuestra dudas y solicita ayuda del interlocutor y comete numerosos errores lingüísticos, la mayoría propios de su nivel, que no interfieren en el cumplimiento de la finalidad comunicativa planteada.

Respuesta insatisfactoria: NO APTO

• Grado de comunicación - El candidato tiene serias dificultades o es incapaz de reaccionar comunicativamente a la situación planteada: serias dificultades para comprender al interlocutor y para hacerse comprender en relación con lo tratado. En caso de responder a la situación planteada, su respuesta es comunicativamente ajena a dicha situación.

• Relación con el interlocutor - La cooperación del interlocutor no es suficiente para establecer la comunicación con el candidato. Aún para un interlocutor acostumbrado a tratar con hablantes de otras lenguas es prácticamente imposible comprenderle.

• Control lingüístico – El uso de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio muy reducido es prácticamente nulo.


necesidades



3.Diseño e implantación del curso de

Formación de evaluadores

FASES DEL PROYECTO

FORMACIÓN DE EVALUADORES

PROBLEMAS DE LA EVALUACIÓN ORAL (Karavas y Delieza, 2009)

El comportamiento del interlocutor puede afectar a la realización del candidato y a la puntuación.

La inconsistencia y la variación afectan a la validez y fiabilidad de la prueba.

– Forma de adaptarse al nivel de dominio lingüístico de los candidatos.

– Apoyo que ofrecen a los candidatos para facilitar la comprensión y la producción.

– Modo de “provocar” la realización comunicativa de los candidatos.


RECOMENDACIONES (Karavas y Delieza, 2009)

– Formación específica y entrenamiento

– Uso de una Guía para el entrevistador

• Estandarizar el discurso del examinador reducir

variación

• Autocontrol de la actuación del examinador

durante la prueba

– Aplicación de criterios y descriptores de evaluación

comprendidos por igual por todos los evaluadores

Taller: teórico y práctico

Visionado de exámenes reales:

Análisis del papel del evaluadorEvitar la variación y la inconsistencia

Aplicación de la escala de calificaciónEntendimiento común de los criterios y la

escala de calificación


14 talleres

14.11.2011 – 23.02.2012

383 participantes Ayuntamientos (Asuntos Sociales), CM (CEPI/CASI)


1. Totalmente en desacuerdo 5. Totalmente de acuerdo


1. Totalmente en desacuerdo 5. Totalmente de acuerdo

CONCLUSIONES

Definición previa del objeto de medición: eficacia

comunicativa oral inicial

Responsabilidades del evaluador: intervenir como

entrevistador, manejar criterios de evaluación, calificar

Prueba de alto impacto: evitar variación e inconsistencia

entre evaluadores.

Documentación para los evaluadores + formación =

refuerzo de la validez, fiabilidad y viabilidad de la prueba

BIBLIOGRAFÍA de referencia• Alderson J. C., Clapham C., Wall D. 1998. Exámenes de idiomas. Elaboración y

evaluación. Madrid, Cambridge University Press.

• Bachman L. F. 1990. Fundamental considerations in language testing. Oxford, Oxford University Press.

• Baralo M., Guerra M. R. 2010. “Criterios pragmáticos y socioculturales para la selección de textos y géneros discursivos en un examen de certificación de nivel inicial (A2-n) de lengua española para trabajadores inmigrantes. En Actas del XXI Congreso Internacional de ASELE. Del texto a la lengua: la aplicación de los textos a la enseñanza-aprendizaje del español L2-LE. Salamanca: Universidad de Salamanca.

• Baralo M., Estaire S. 2011. “Variables socioculturales y comunicativas en el diseño curricular de una certificación de español para trabajadores inmigrantes”. En Lengua y Migración, 3, vol. 2.

• Bordón T. 2006. La evaluación de la lengua en el marco de E/L2: Bases yprocedimientos. Madrid, Arcolibros.

• Consejo de Europa. 2002. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Madrid, Ministerio de Educación, Cultura y Deporte, y Anaya.

• Karavas E., Delieza X. 2009. “On site observation of KPG oral examiners: Implications for oral examiner training and evaluation”. Apples-Journal of Applied Language Studies, 3:1: 51:77.

• Luoma S. 2004. Assessing speaking. Cambridge, Cambridge University Press.

• Martín Leralta S. 2011. “Certificación lingüística de nivel inicial para inmigrantes en contexto laboral: ejemplo de una prueba del examen DILE”. En Lengua y Migración, 3, vol. 1.

Gracias por la atención

[email protected]

Pecole aesla 2012 sml

Documents

Transcript of Pecole aesla 2012 sml