Reconocimiento de Patrones de Repetición

Proyecto de fin de carrera:“Detección de Estribillos”

Gabriela Saráchaga Virginia Sartori

Laura Vignoli

Índice

IntroducciónProcedimiento GeneralMatriz de SimilitudMétodo Principal

“Estribillo”Método Alternativo

“Resumen”Herramientas de Cálculo

MFCCVectores de Cromas

Referencias

Introducción

ObjetivoGenerar una síntesis (estribillo) de una canción de forma automática

MotivaciónAumento de las bases de datos musicalesAplicaciones:

Tienda de discosDescarga de música de la webThumbnail (huella)

Base de datos a analizar: música popular

Características generales del estribillo

Parte más memorable de una canciónRepeticiónAumento en la dinámica: cambia melodía, ritmo y armonía Aumento en la sonoridadIntroducción de nuevos instrumentosDuración de entre 10 y 30s aprox.

Procedimiento General

Entrada: Señal de audio muestreada a 32 bit y 16 KHz en formato wav (obtenida desde un archivo mp3)

y t

Matriz de Similitud (S)

Visualización de estructura de piezas musicalesComparación de características extraídasValor de S(i,j) proporcional a la similitud entre instantes i y j Valores representados en una imagen en escala de grises, con blanco correspondiendo a vectores idénticos

Matriz de Similitud

Diagonal principal blanca por comparar instantes con sí mismosCuadros claros representan fragmentos homogéneos de la canciónFragmentos repetidos (estribillos) son visibles como diagonales casi blancas paralelas a la diagonal principal

Métodos de Análisis de la Matriz

2 métodos:Método Principal

Detecta el estribillo, se basa en repeticiones

Método AlternativoEnfoque distinto: Busca el intervalo más parecido a la totalidad de la canción

Método Principal

Se resaltan las diagonales

Método Principal: problemasHueco en líneas = estribillos con distinta entonación en alguna sílaba o palabra o a la adición de instrumentos

Ej: Tracy Chapman – She’s got her ticket

estribillos 1 y 2: detalles 1 y 2:

Método Principal: problemasAparición de triángulos = segmentos de canción compuestos de pequeños fragmentos iguales.

Ej. Police, Can’t stand loosing you

Estos problemas se resuelven considerando cada caso en el tratamiento de las imágenes.

Método AlternativoResumen: el intervalo más similar a la totalidad de la canciónDado un segmento de largo L que comienza en k y termina en k+L, la semejanza Q del segmento con S, se calcula como la suma de sus filasentre k y k+L normalizada:

El máximo Q se corresponde con el k inicio del segmento buscado

QL k = 1

N⋅L⋅∑

i=k

kL

∑j=1

N

S i , j

Herramientas de cálculo

MFCC (Coeficientes Cepstrales de Frecuencia Mel)

Usado para reconocimiento de voz, enfatiza las bajas frecuenciasSe relaciona con la forma en que percibimos los sonidos.

Vectores de CromasBasado en octavas y semitonos

MFCC: Extracción de Características

Variación del Cepstrum C=IFFT(log(Densidad Espectral))MFCC=IFFT(log(Coef.Mel(Dens.Espectral)))

MFCC: Coeficientes Mel

Mel : unidad de medida del pitch percibido

Banco de Filtros triangulares, centrados en la frecuencia Mel.

Medida de distancia para S: distancia coseno

Vectores de Cromas: Extracción

Vectores de Cromas: Cálculo de Similitud

La similitud entre los vectores y se define como:

donde varía de 0 a 1.

S i , j v ti

v tj

S i , j =1−

∣v t

i

maxcv

c t

i−

v tj

maxcv

c t

j∣

12

S i , j

Ejemplo: MFCC vs Cromas

Alanis Morisette – Head over feet MFCC Cromas

Ejemplo: MFCC vs Cromas

Alanis Morisette – Head over feet

MFCC Cromas Realest 1: 34-58 33-57 35-60est 2: 79-100 78-98 77-101est 3: 186-207 181-208 185-208est 4: 210-231 210-231 209-232

Ejemplo: Método Alternativo

Ana Belén – Sólo le pido a Dios

est 1:est 2:resumen (cromas):

ReferenciasMFCC

Auditory Toolbok Michael Slaney“Discovering Structure and Repetition in Musical Audio” D.Van Dteeland, B.De Baets, H.De Meyer, M.Leman, J.P. Martens, L.Clarisse, M.Lesaffre“Visualizing Music and Audio using Self-Similarity” Jonathan Foote

Vectores de Chromas“A chorus-section detecting method for musical audio signal” Masataka Goto

Resumen“Automatic Music Summarization via Similarity Analysis” Matthew Cooper and Jonathan Foote