Enseñanza de la pronunciación y tecnologías del...

Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola

XXIV Congreso Internacional de la Asociación Española deLingüística Aplicada

Madrid, 1 de abril de 2006

Enseñanza de la pronunciacióny tecnologías del habla

Joaquim LlisterriGrup de Fonètica - Departament de Filologia

EspanyolaUniversitat Autònoma de [email protected]

http://liceu.uab.es/~joaquim


Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética

Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador





Sistemas de grabación-reproducción

• Permiten al estudiante efectuar unagrabación de su pronunciación en L2 ycompararla auditivamente con el modelopropuesto

• Versión informatizada de los laboratoriosde idiomas

mailto:[email protected]









BROWN, I. (2000) Review of Pro-nunciation. The English Communication

Toolkit. CALICO Software Reviews 10/00.http://calico.org/CALICO_Review/review/pro-nun00.htm



ADAMS, C.R. (1998) Review of Español Interactivo 1.01. CALICO Software

Reviews 11/98.http://calico.org/CALICO_Review/review/espaninter00.htm


http://calico.org/CALICO_Review/review/pro-nun00.htm









http://calico.org/CALICO_Review/review/espaninter00.htm









RENIÉ, D. (1998) "Analyse de The Rhythm of French", ALSIC, Apprentissage des

Langues et Systèmes d'Information et de Communication 1, 2: 171-177.http://alsic.u-strasbg.fr/Num2/renie/alsic_n02-log2.htm



• Basados en el feedback del procesoaudiofonatorio

Ofrecen un buen modelo depronunciación

Integración del sonido en una estructura

Sobreestimación de la capacidad deautocorrección de los principiantes

RENARD, R. (1979) Introduction à la méthode verbo-tonale de correction

phonétique. Troisième édition entièrement refondue. Bruxelles / CentreInternational de Phonétique Appliquée: Didier / Mons.




http://alsic.u-strasbg.fr/Num2/renie/alsic_n02-log2.htm












Información articulatoria

Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica

Representaciones estilizadas de laseñal sonora con fines didácticos

Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador








• Representaciones articulatorias“estilizadas” que aportan informaciónsobre la posición de los articuladores

• Pueden incorporar descripcionesarticulatorias simplificadas como“instrucciones” para la pronunciación


CORSBIE, C.- GORE, J. (2002) Review of Pronunciación y Fonética. Versión

2.0. CALICO Software Reviews 4/02.http://calico.org/CALICO_Review/review/pronun00.htm

http://calico.org/CALICO_Review/review/pronun00.htm










RENIÉ, D. (1998) "Analyse de The Rhythm of French", ALSIC, Apprentissage des

Langues et Systèmes d'Information et de Communication 1, 2: 171-177.http://alsic.u-strasbg.fr/Num2/renie/alsic_n02-log2.htm



DISPENSA, M., Fonética: Los sonidos del español, University of Iowahttp://www.uiowa.edu/~acadtech/phonetics/spanish/frames

et.html












http://www.uiowa.edu/~acadtech/phonetics/spanish/frames











• Comparación entre la posiciónarticulatoria “canónica” y la produccióndel estudiante

• Dificultades técnicas: implica unatransformación de la señal sonora enparámetros articulatorios


• El problema de la propiocepción

• “Autoconciencia” de la posición de losarticuladores en la producción de unsonido

Buenos resultados en estudiantes conbuen feedback orosensorial




No consideran• Factores auditivos• Coarticulación• Compensación articulatoria• Elementos suprasegmentales

Dificultad de integración en laproducción espontánea Limitaciones comunicativas














María vive en Málaga

• Evolución temporal de la amplitud Acento, ritmo

Información acústicaForma de onda - oscilograma


Vocal [i]

• Representación de la relación amplitud-frecuencia Timbre

Información acústicaEspectro



• Representación de la evolucióntemporal de la frecuencia y la amplitud

Información acústicaEspectrograma


Información acústicaCurva melódica

• Representación de la evolución temporal de la F0

Melodía, entonación



Información acústicaCurva de intensidad

• Representación de la evolución temporal de laintensidad o energía sonora

Acento, pausas, ritmo



Información acústicahttp://www.praat.org

http://www.praat.org





• Imitación de modelos por aproximaciónsucesiva a través de diversas repeticiones

• Estímulo visual presentadoconjuntamente con el auditivo

• La información visual proporcionafeedback sobre la pronunciación delestudiante

Estrategias de trabajo


CAZADE, A. (1999) "De l'usage des courbes sonores et autres supports graphiquespour aider l'apprenant en langues", ALSIC, Apprentissage des Langues et Systèmes

d'Information et de Communication 2, 2: 3-32. http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.pdf

Tell Me More - Modelo (parte superior) y pronunciacióndel estudiante (parte inferior)



GERMAIN, A.- MARTIN, Ph. (2000) "Présentation d'un logiciel de visualisation pourl'apprentissage de l'oral en langue seconde", ALSIC, Apprentissage des Langues et

Systèmes d'Information et de Communication 3,1: 61-76. http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.pdf

WinPitch LTL - Forma de onda, curva de intensidad ycurva melódica

http://alsic.u-strasbg.Tell




http://alsic.u-strasbg.WinPitch






GERMAIN, A.- MARTIN, Ph. (2000) "Présentation d'un logiciel de visualisation pourl'apprentissage de l'oral en langue seconde", ALSIC, Apprentissage des Langues et

Systèmes d'Information et de Communication 3,1: 61-76. http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.pdf

WinPitch LTLCurvamelódica delmodelo (enblanco)y de laproduccióndel estudiante(en azul)



TAYLOR, R.P. (1999) Review of Accent Coach. English Pronunciation

Trainer. CALICO Software Reviews 7/99.http://calico.org/CALICO_Review/review/accent00.htm





http://calico.org/CALICO_Review/review/accent00.htm










Información acústica

Dificultad de interpretación de losdocumentos En la L1 un mismo enunciado puedetener más de una realización acústicaaceptable• Variación intra-locutor• Variación inter-locutor


La variación intra-locutor en el nivel segmental“nata” (locutor 1)


La variación intra-locutor en el nivel segmental“nata” (locutor 2)


La variación intra-locutor en el nivel suprasegmentalF0 en 6 repeticiones consecutivas de “La niña de Bali baila la rumba de moda”


La variación inter-locutor en el nivel segmental“nata” (locutores 1, 2 y 3)


La variación inter-locutor en el nivel suprasegmental“El viento norte y el sol…” (locutores 1, 2, 3, 4, 5 y 6)







Representaciones acústicas estilizadas

Forma de onda “estilizada”

• Representaciones en las que se pone derelieve la informaciónlingüísticamente significativa




Speaker v.3Curva de intensidad“estilizada”Modelo (parteinferior)Producción delalumno(parte superior)





Speaker v.3Curva melódica“estilizada”Modelo (parteinferior)Producción delalumno(parte superior)

http://alsic.u-strasbg.Speaker










Resultados obtenidos

HARDISON, D. (2004) "Generalization ofcomputer-assisted prosody training:

quantitative and qualitative findings",Language Learning and Technology 8, 1:

34-52.http://llt.msu.edu/vol8num1/p

df/hardison.pdf


HARDISON, D. (2004) "Generalization of computer-assisted prosody training:quantitative and qualitative findings", Language Learning and Technology 8, 1: 34-52.

http://llt.msu.edu/vol8num1/pdf/hardison.pdf

• Grupo experimental: 16 estudiantesuniversitarias americanas en su segundo año defrancés

• Grupo de control: 10 estudiantes• Práctica de pronunciación: 13 sesiones de 40

minutos cada una• Evaluación: pretest, postest y una prueba de

generalización; 3 hablantes nativos de francés;escala del 1 al 7


HARDISON, D. (2004) "Generalization of computer-assisted prosody training:quantitative and qualitative findings", Language Learning and Technology 8, 1: 34-52.


http://llt.msu.edu/vol8num1/p



























El reconocimiento automáticodel hablaEl diagnóstico automático deerroresLa evaluación automática de lapronunciación

Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador





El reconocimiento automático del habla

Del habla … … al texto


El reconocimiento automático del hablaTipo de enunciados

• Reconocimiento depalabras aisladas

• Reconocimiento depalabras conectadas

• Reconocimiento de hablacontinua+ dificultad

- dificultad


El reconocimiento automático del hablaNúmero de locutores

• Sistemas dependientesdel locutor

• Sistemasindependientes dellocutor

+ dificultad

- dificultad


El reconocimiento automático del hablaLa variación interlocutor

Oscilograma de la palabra catalana “hola” pronunciada por unhablante femenino y por un hablante masculino


El reconocimiento automático del hablaTamaño del vocabulario

•Vocabulariorestringido

•Vocabulario sinrestricciones

+ dificultad

- dificultad


El reconocimiento automático del hablaEl entorno

• Entorno silencioso• Entorno con ruido

predictible• Entorno con ruido

aleatorio+ dificultad

- dificultad


El reconocimiento automático del hablaEtapas en el reconocimiento

Entrenamiento• Corpus de datos• Creación de modelos a partir de los datos

• Modelos acústicos• Modelos de lenguaje

• Creación del diccionario


El reconocimiento automático del hablaEtapas en el reconocimiento

Reconocimiento

• Extracción de parámetros de la señal deentrada

• Comparación con los modelosalmacenados

• Decisión en función de la semejanza odiferencia respecto a los modelos


Esquema básico de un sistema dereconocimiento automático del habla



Reconocimiento• Conversión de la onda sonora

producida por el estudiante enuna secuencia de palabrasutilizando los modelos fonéticos ylos modelos de lenguaje creadosdurante la fase de entrenamiento

NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th

International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf


Puntuación (scoring)• Evaluación realizada a partir de

la comparación acústica(segmental y/o segmental) entre laproducción del estudiante y elmodelo nativo



http://lands.let.kun.nl/literature/neri.2003.1.pdf





















Detección de errores

• Realizada a partir del grado deconfianza del sistema en ladetección de segmentoscorrespondientes a lasproducciones nativasalmacenados




Diagnóstico

• Identificación del tipo de error apartir de modelos de errorestípicos previamente almacenados




Corrección (feedback)

• Presentación al estudiante de losresultados obtenidos en las etapasanteriores

• La visualización de la onda sonora nonecesariamente se correlaciona con lapuntuación

































• El reconocedor debe entrenarse con corpus deproducciones nativas y no nativas

• El entrenamiento puede contemplarproducciones propias de la interlengua de losestudiantes

• El problema se simplifica en el contexto dediálogos con respuestas más o menospredeterminadas





Diagnóstico automático de errores

• Tecnologías básicas incorporadas asistemas comerciales

Talk to Me / Tell Me More™ (Auralog)Visualización de la señalPuntuación de la pronunciaciónDetección de erroresRepresentación articulatoria


Talk to Me - Tell Me Morehttp://www.auralog.com/

OscilogramaCurva

melódica

Puntuación




Detecciónde errores


http://www.auralog.com










Representaciónarticulatoria



REESER, T.W. (2001) Review of Tell Me More - French. CALICO Software

Reviews 3/01. http://calico.org/CALICO_Review/review/tmm-fren00.htm






http://calico.org/CALICO_Review/review/tmm-fren00.Joaquim









HAMON, L. (2003) "Analyse de Tell Me More - Français.", ALSIC, Apprentissage des

Langues et Systèmes d'Information et de Communication 6, 2: 141-155.http://alsic.u-strasbg.fr/Num11/hamon/alsic_n11-log1.pdf



HAMON, L. (2003) "Analyse de Tell Me More - Français.", ALSIC, Apprentissage des

Langues et Systèmes d'Information et de Communication 6, 2: 141-155.http://alsic.u-strasbg.fr/Num11/hamon/alsic_n11-log1.pdf


http://alsic.u-strasbg.fr/Num11/hamon/alsic_n11-log1.pdf























LAFFORD, B.A. (2004) "Review of Tell Me More Spanish",Language Learning and Technology 8, 3: 21-34.

http://llt.msu.edu/vol8num3/pdf/review1.pdf



KIM, I.-S. (2006) "Automatic speech recognition: Reliability and pedagogicalimplications for teaching pronunciation", Educational Technology and Society 9, 1:

322-334. http://www.ifets.info/journals/9_1/26.pdf










http://www.ifets.info/journals/9_1/26.pdf










FluencyLanguage Technologies Institute, Carnegie Mellon Universityhttp://www.lti.cs.cmu.edu/Research/Fluency/




HINCKS, R. (2002) “Speech recognition for language teaching andevaluating: a study of existing software”, in ICSLP 2002.

Proceedings of the 7th International Conference on SpokenLanguage Processing. Denver, Colorado, September 16-20, 2002.

pp. 733-336.http://www.speech.kth.se/~hincks/papers/icslp02

xxx.pdf

HINCKS, R. (2003) "Speech technologies for pronunciation feedbackand evaluation", ReCALL 15, 1: 3-20.

http://www.speech.kth.se/~hincks/papers/REcall.pdf


HINCKS, R. (2003) "Speech technologies for pronunciation feedback andevaluation", ReCALL 15, 1: 3-20.


• Grupo experimental: 9 estudiantesadultos de inglés técnico y diferentes L1

• Grupo de control: 15 estudiantes decarácterísticas similares

• Práctica de pronunciación: un promediode 12,5h (dt 15) de trabajo con Talk to Me

• Evaluación: pretest y postest

http://www.lti.cs.cmu.edu/Research/Fluency








http://www.speech.kth.se/~hincks/papers/icslp02








http://www.speech.kth.se/~hincks/papers/REcall























MAYFIELD TOMOKIYO, L.- WANG, L.-ESKÉNAZI, M. (2000) "An Empirical Study ofthe Effectiveness of Speech-Recognition-BasedPronunciation Tutoring", in Interspeech 2000,

Proceedings of the 6th International Conference

on Speech and Language Processing. October2000, Beijing, China.

http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps


MAYFIELD TOMOKIYO, L.- WANG, L.- ESKÉNAZI, M. (2000) "An Empirical Study of theEffectiveness of Speech-Recognition-Based Pronunciation Tutoring", in Interspeech 2000,

Proceedings of the 6th International Conference on Speech and Language Processing. October 2000,Beijing, China. http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps

• Grupo experimental: 8 estudiantes de ingléscon diferentes L1

• Grupo de control: 8 estudiantes de inglésemparejados con los del grupo experimental

• Práctica de pronunciación: ejercicios sobre lasfricativas del inglés con Fluency

• Evaluación: pretest y postest; profesor nativo;escala del 1 al 3










http://www.cs.cmu.edu/~laura/Pape




















• Priorización de los errores

• ¿Qué error debe corregirse?

• ¿Qué errores inciden más en lainteligibilidad?



• Estrategias de corrección• ¿Cómo mejorar la pronunciación a

partir del error?• ¿Qué información sobre cómo

corregirse se proporciona alestudiante?

• ¿Cómo se relaciona la representaciónacústica con la puntuación?





La evaluación automática de lapronunciación

• Integración en la webWebGrader™ (SRI International)

Práctica interactiva con frasesPuntuación por segmento, por

palabra y por frasehttp://www-

speech.sri.com/people/julia/webgrader.html

http://www-speech.sri.com/people/julia/webgra








WebGrader, SRI Internationalhttp://www-speech.sri.com/people/julia/webgrader.html



WebGrader, SRI Internationalhttp://www-speech.sri.com/people/julia/webgrader.html


http://www-speech.sri.com/people/julia/webgrader.html




















Ordinate Corporation, Menlo Park, Californiahttp://www.ordinate.com/

• Empresa dedicada a la evaluaciónautomática de la lengua hablada

• Pruebas realizadas por teléfono

• Resultados en la web

• Pruebas en español y en inglés

• Las pruebas incluyen la evaluación de lapronunciación


Ordinate Corporation, Menlo Park, Californiahttp://www.ordinate.com/


La evaluación automática de lapronunciación

• Diferencias entre las puntuacionesautomáticas y las puntuaciones deevaluadores humanos

• Tipo de material evaluado• Dependencia del locutor• Dificultad del reconocimiento

automático de los elementossegmentales

http://www.ordinate.com









KIM, I.-S. (2006) "Automatic speech recognition: Reliability and pedagogicalimplications for teaching pronunciation", Educational Technology and Society 9, 1:

322-334. http://www.ifets.info/journals/9_1/26.pdf





“As a matter of fact, this is by no means a solvedissue. Speech technologists are still trying to findthe best measures with which to provide ameaningful score: these should be based onspecific pronunciation aspects on which thestudent can work (but which are difficult tocapture automatically) and, at the same time,they should result in a score that is similar tothat provided by human listeners.”




• Puede llegarse a niveles aceptables dereconocimiento de enunciados no nativos

• Es posible proporcionar puntuacionessimilares a las humanas en aspectosglobales

• La puntuación debe integrarse con ladetección de errores































“[…] it seems safer to let the students practicewith CAPT systems that are not too ambitious,but that can guarantee correct feedback in themajority of the cases. Finally, the success of thesephases does not solely depend on the technicalimplementation of the ASR system, but relies to alarge extent on the way the feedback ispresented.”





Enseñanza de la pronunciación ytecnologías del habla

Presentaciónhttp://liceu.uab.es/~joaquim/applied_linguistics/AESLA_06/TecnoHabla_Pronunciacion_AESLA_06.p

df

Referencias bibliográficashttp://liceu.uab.es/~joaquim/applied_linguistics/L2_phonetics/

CALL_Pron_Bib.html










http://liceu.uab.es/~joaquim/ap












Enseñanza de la pronunciación y tecnologías del...

Documents

Transcript of Enseñanza de la pronunciación y tecnologías del...