Síntesis Digital de Sonido en Tiempo Real

por Modelado Físico de

Instrumentos Virtuales de Cuerda Percutida

Autores: Nelly Villacorta, Carlos MarchiaroDirector: Ing. Federico MiyaraAsesora: Ing. Silvina Ferradal

Quintas Jornadas de Acústica, Electroacústica yÁreas Vinculadas - CADAE – UADE - Octubre 2006

I N T R O D U C C I Ó N

>> Introducción

I N T R O D U C C I Ó N

Motivaciones del proyecto

>> Desarrollo e implementación de un sintetizador

>> Sonidos naturales sin imitar a instrumentos acústicos

>> Empleo de técnicas actuales

C O N C E P T O S P R I N C I P A L E S

>> Conceptos principales

C O N C E P T O S P R I N C I P A L E S

>> Técnicas de síntesis digital

1. Algoritmos abstractos

2. Procesamiento de muestras grabadas

3. Modelado espectral

4. Modelado físico

Fuente: [1]

C O N C E P T O S P R I N C I P A L E S

Ventajas

– Mayor expresividad

– Sonidos naturales – Parámetros con significado físico – No se requieren grabaciones

– Costo moderado

Desventajas

– Gran requerimiento computacional

– Alta complejidad del proceso de síntesis

Fuentes: [9], [2], [14]

C O N C E P T O S P R I N C I P A L E S

Fuente: [12]

C O N C E P T O S P R I N C I P A L E S

>> División del sistema físico en partes

(a) Mecanismo de excitación

(b) Resonador

(c) Radiador

Fuente: [12]

C O N C E P T O S P R I N C I P A L E S

(a) Mecanismo de excitación

Ejerce una acción mecánica sobre el resonador, excitando sus modos vibratorios

Fuente: [12]

C O N C E P T O S P R I N C I P A L E S

(b) Resonador

Su estructura admite diversos modos de propagación mutuamente relacionados

Fuente: [12]

C O N C E P T O S P R I N C I P A L E S

(c) Radiador

Recibe las vibraciones de uno o más sistemas resonantes, radiándolas como una onda acústica

Fuente: [12]

C O N C E P T O S P R I N C I P A L E S

Modelo del mecanismo de excitación

El martillo se modela como un resorte no lineal vinculado a una masa, considerando una interacción histerética con el

resonador.

Fuentes: [12], [19], [20], [21]

C O N C E P T O S P R I N C I P A L E S

Modelo del resonador

El modelo del resonador corresponde al de una cuerda con extremos fijos, de rigidez no nula y con pérdidas de energía,

admitiendo un único modo transversal de propagación.

Fuentes: [12], [13], [15], [16]

C O N C E P T O S P R I N C I P A L E S

Modelo del radiador

El radiador es modelado como un sistema lineal y estacionario, caracterizado por su respuesta impulsiva.

Fuentes: [16], [22], [23], [24]

A L G O R I T M O D E S I M U L A C I Ó N

>> Algoritmo de simulación

Características del método FTM

A L G O R I T M O D E S I M U L A C I Ó N

>> Orientado a la percepción

>> Versatilidad

>> Parámetros intuitivos

>> Alta complejidad

computacional

Es una técnica de descomposición modal, no de dominio temporal

Se aplica a sistemas lineales y a ciertos fenómenos no lineales

Basado en magnitudes con verdadero significado físico

Demanda mayor cantidad de recursos de procesamiento

Fuentes: [6], [48]

P A R T E S D E L S I S T E M A

>> Partes del sistema

P A R T E S D E L S I S T E M A

División del sistema en partes

P A R T E S D E L S I S T E M A

1. Dispositivo MIDI de Control

2. Aplicación

Host3. Aplicación Target

4. Dispositivo Amplificador y Reproductor

P A R T E S D E L S I S T E M A

A P L I C A C I Ó N H O S T

>> Aplicación Host

A P L I C A C I Ó N H O S TAplicación Host – Modalidad de edición

A P L I C A C I Ó N H O S TAplicación Host – Modalidad de control

A P L I C A C I Ó N T A R G E T

>> Aplicación Target

A P L I C A C I Ó N T A R G E TAplicación Target – Procesos intervinientes

A N Á L I S I S D E L O S R E S U L T A D O S

>> Análisis de los Resultados

A N Á L I S I S D E L O S R E S U L T A D O S

Señal en el dominio temporal

>> Ejemplo 1

La señal presenta una inarmonicidad moderada

reproducirSeñal en el dominio frecuencial

-- Posición de la cuerda (sin convolucionar)

-- Señal convolucionada (salida final)

A N Á L I S I S D E L O S R E S U L T A D O S

Señal en el dominio temporal

>> Ejemplo 2

La señal presenta una inarmonicidad leve

reproducirSeñal en el dominio frecuencial

-- Posición de la cuerda (sin convolucionar)

-- Señal convolucionada (salida final)

A N Á L I S I S D E L O S R E S U L T A D O S

Señal en el dominio temporal

>> Ejemplo 3

La señal presenta una inarmonicidad elevada

reproducirSeñal en el dominio frecuencial

-- Posición de la cuerda (sin convolucionar)

-- Señal convolucionada (salida final)

A N Á L I S I S D E L O S R E S U L T A D O S

>> Ejemplo 4Una misma cuerda es vinculada a tres tablas armónicas diferentes

Tabla Armónica 1

Tabla Armónica 2

Tabla Armónica 3

reproducir

reproducir

reproducir

A N Á L I S I S D E L O S R E S U L T A D O S

>> Instrumento Virtual 1

Parámetros del ejemplo 1 + Tabla armónica 1

reproducir

Ejemplos de interpretación musical

>> Instrumento Virtual 3

Parámetros del ejemplo 3 + Tabla armónica 1

reproducir

>> Instrumento Virtual 2

Parámetros del ejemplo 2 +Tabla armónica 1

reproducir

>> Instrumento Virtual 4

Parámetros del ejemplo 1 +Tabla armónica 2

reproducir

Determinación de la latencia

La latencia entre la transmisión de las señales de control y la producción del sonido correspondiente es en

promedio de 125 ms con un desvío estándar de 43 ms

A N Á L I S I S D E L O S R E S U L T A D O S

A N Á L I S I S D E L O S R E S U L T A D O S

Características principales

>> Cantidad de notas Registro Polifonía

60 notas8 notas

>> Señal sintetizada Frec. de muestreo Resolución Riqueza espectral Canales de audio Latencia media

44,1 kHz16 bps

80 parciales/nota2 (stereo)125 ms

>> Parámetros físicos Cuerdas y martillos Tabla armónica

15 paráms. de 32bit512 muestras de 32bit

C O N C L U S I O N E S

>> Conclusiones

Posibles extensiones

C O N C L U S I O N E S

>> Comunicación MIDI integrada

>> Funcionalidad de edición

>> Procesamiento de

la señal

>> Extensión del modelo físico

Las señales de control ingresarían directamente a través de una placa que resolviera el protocolo MIDI

La modalidad de edición cumpliría una función complementaria

Se podría acondicionar la señal y así obtener mayor calidad acústica

Varios modos de propagación, efectos no lineales, mecanismo de excitación más complejo, etc.

Comentarios finales

C O N C L U S I O N E S

>> El prototipo ha cubierto de forma aceptable los objetivos iniciales del proyecto.

>> Todas las extensiones sugeridas son factibles y no requieren cambios esenciales en las estructuras de hardware y software

Agradecimientos

Queremos agradecer especialmente al director Federico Miyara, por su gran dedicación y verdadero interés en el proyecto, y a la asesora Silvina Ferradal por su buena voluntad y sus valiosas sugerencias. Damos gracias también a nuestros familiares y amigos por su constante apoyo y compañía. Por último agradecemos a todos aquellos que hicieron posible este evento.

A G R A D E C I M I E N T O S

Referencias[1] V. Välimäki , T. Takala, Virtual musical instruments – natural sound using physical models, (1995)[2] M. Karjalainen, T. Mäki-Patola, Physics-based modeling of musical instruments for interactive virtual reality, (2004)[3] J. O. Smith, A basic introduction to digital waveguide synthesis (for the technically inclined), (2005)[4] J. O. Smith, Physical modeling synthesis update, (1996)[5] N. Castagne, C. Cadoz, 10 criteria for evaluating physical modelling schemes for music creation, (2003)[6] R. Rabenstein, L. Trautmann, Digital sound synthesis of string instruments with the functional transformation

method (2002)[7] R. Rabenstein, L. Trautmann, Stable systems for nonlinear discrete sound synthesis with the functional transformation method, (2002)[8] S. Petrausch, R. Rabenstein, Sound synthesis by physical modeling using the functional transformation method: efficient implementations with polyphase- filterbanks, (2003)[9] Applied Acoustic Systems, Tech talk: Physical modeling, (2006)[10] T. Akylas, C. Mei, Wave propagation, (2004)[11] V. Välimäki, T. Tolonen, M. Karjalainen, Signal- dependent nonlinearities for physical models using time-varying fractional delay filters, (1998)

R E F E R E N C I A S

[12] J. J. Burred Sendino, La acústica del piano, (1999)[13] B. Bank, L. Sujbert, A piano model including longitudinal string vibrations, (2004)[14] D. Howard, S. Rimell, CYMATIC: A tactile controlled physical modelling instrument, (2003)[15] V. Välimäki, T. Tolonen, M. Karjalainen, Plucked- string synthesis algorithms with tension modulation nonlinearity, (1999)[16] B. Bank, Physics-Based Sound Synthesis of the Piano, (2000)[17] M. Hirschkorn, S. Birkett, J. McPhee, Kinematic Model of a piano action mechanism, (2002)[18] M. Hirschkorn, Dynamic model of a piano action mechanism, (2004)[19] F. Avanzini, D. Rocchesso, Modeling collision sounds: non-linear contact force, (2001)[20] A. Stulov, A simple grand piano hammer felt model, (1995)[21] A. Stulov, Two nonlinear hysteretic models of piano hammer, (2001)[22] F. Avanzini, B. Bank, G. Borin, G. De Poli, F. Fontana, D. Rocchesso, Musical instrument modeling: the case of the piano, (2001)[23] B. Bank, G. De Poli, L. Subjert, A multi-rate approach to instrument body modeling for real-time syntesis applications, (2002)

Referencias[24] H. Lehtonen, Analysis and parametric synthesis of the piano sound, (2005)[25] Applied Acoustics Systems, String Studio VS-1 – String Modeling Synthesizer, (2006)[26] C. Bruyns, Sound synthesis and instrument design for computer music, (2005)[27] Microsoft MSDN Library, Musical Instrument Digital Interface (MIDI), (2005)[28] G. Frantz, R. Simar, Comparing fixed- and floating- point DSPs, (2004)[29] FutureTech Research, MIPS/MFLOPS and CPU performance, (2006)[30] Texas Instruments Inc., TMS320C6713, TMS320C6713B floating-point digital signal processors, (2005)[31] Spectrum Digital Inc., TMS320C6713 DSK technical reference, (2003)[32] R. Chassaing, Digital signal processing and applications with the C6713 and C6416 DSK, Wiley Interscience, (2005)[33] Texas Instruments Inc., TMS320C621x/C671x DSP Two-level internal memory reference guide, (2004)[34] Texas Instruments Inc., TMS320C6000 DSP cache user’s guide, (2003)[35] Texas Instruments Inc., TLV320AIC23 Stereo audio CODEC data manual, (2001)[36] N. Patavalis, A brief introduction to JTAG, (2001)

R E F E R E N C I A S

[37] Texas Instruments Inc., TMS320 DSP/BIOS User’s Guide, (2002)[38] D. Keil, Real-Time data exchange, (1998)[39] F. Miyara, Acústica y Sistemas de Sonido – 3º edición, UNR EDITORA, (2003)[40] S. Wilson, WAVE PCM soundfile format, (2003)[41] Roland Corporation, Roland RD-100 - MIDI Implementation, (1999)[42] Texas Instruments Inc., DSP/BIOS driver developer's guide, (2002)[43] Texas Instruments Inc., TMS320C67x FastRTS library programmer’s reference, (2002)[44] Texas Instruments Inc., Code Composer Studio v2 help - Software pipelining, (2002)[45] Texas Instruments Inc., Code Composer Studio v2 help - TMS320C67x pipeline overview, (2002)[46] Texas Instruments Inc., TMS320C6000 CPU and instruction set reference guide, (2002)[47] Corelis Inc., Boundary-Scan Tutorial, (2006)[48] L. Trautmann, R. Rabenstein, Digital Sound Synthesis by Physical Modeling Using the Functional Transformation Method, Kluwer Academic / Plenum Publishers, (2003)[49] R. Welti, Introducción a la Física de las Ondas, UNR EDITORA, (1996)