07 cuantificacion_escalar

Tema 7: Cuantificacin EscalarRafael Molina Depto Ciencias de la Computacin e Inteligencia Artificial Universidad de Granada

Contenidos1. 2. Introduccin Definicin. El problema de la cuantificacin. Cuantificacin uniforme Introduccin. Cuantificacin de fuentes uniformemente distribuidas. Cuantificacin de fuentes no uniformes. 4. 5. 3. Cuantificacin adaptativa Cuantificacin adaptativa hacia adelante (off-line) Cuantificacin adaptativa hacia atrs (on-line). Cuantificacin optimizada en pdf. Algoritmo de Max-Lloyd Compansores

Cuantificacin no uniforme

Bibliografa2

Rafael Molina

Cuantificacin Escalar

1. Introduccin1.1 Definicin de cuantificacin: Proceso de representacin de un nmero de valores extenso (posiblemente infinito) con un nmero mucho menor de valores. El adjetivo escalar hacer referencia a las salidas y entradas del cuantificador. Si E/S son escalares Si E/S son vectoresRafael Molina

cuantificador escalar cuantificador vectorial


3

Ejemplo I: si tenemos como rango de posibles valores de cuantificacin todos los enteros comprendidos entre 0 y 100, podramos disear el siguiente esquema de cuantificacin:Valor original Valor cuantificado 2.58 2 5.56 5 12.25 12 23.56 23 196.58 153.69 100 100 52.99 52 500.52 100

Observa que las apariciones de 100 provienen de valores originales distintos Adems, una vez obtenido un valor de la salida del cuantificador, no hay forma de saber de qu valor provena. Ser bueno disear cuantificadores que minimicen (en algn sentido) la diferencia entre la entrada y la salidaRafael Molina Cuantificacin Escalar 4

I.2 El problema de la cuantificacinEl cuantificador consiste en dos funciones: Codificador: divide el rango de valores de la fuente en un nmero de intervalos, cada intervalo es representado por una palabra de cdigo distinta, el codificador representa todas las fuentes en un intervalo mediante la palabra de cdigo que lo representa, si la fuente es analgica el codificador recibe el nombre de conversor analgico digital (A/D).Rafael Molina Cuantificacin Escalar 5

Ejemplo de codificador con ocho valores de reconstruccin. Se usan 8 valores para representar las palabras del cdigo, el cuantificador recibe el nombre de cuantificador de 3 bits.

000 -3.0

001 -2.0

010 -1.0

011 0.0

100 1.0

101 2.0

110 3.0

111

Observa que las palabras de cdigos no necesariamente representan valores de la fuente.Rafael Molina Cuantificacin Escalar 6

Decodificador: genera un valor de reconstruccin para cada palabra del cdigo, (como cada palabra representa un intervalo, no se puede saber ya quien era la fuente original). Podemos usar el punto medio del intervalo aunque otras opciones son posibles, si la reconstruccin es anlogica el decodificador recibe el nombre de conversor digital a analgico (D/A). Un ejemplo de decodificador para el ejemplo anterior es la tabla siguientePalabra de cdigo ReconstruccinRafael Molina

000 -3.5

001 -2.5

010 -1.5

011 -0.5

100 0.5

101 1.5

110 2.5

111 3.57


Ejemplo II: consideremos la seal

s (t ) = 4 cos(2t )

muestreada cada 0'05 s. La muestra fue codificada usando el conversor A/D del ejemplo anterior y decodificada usando el conversor D/A del mismo ejemplo. Algunos ejemplos de entradas, conversores A/D y D/A y los errores en la cuantificacin se muestran en la tabla siguiente: t s(t) CA/D CD/A Error 0'05 0'10 0'15 0'20Rafael Molina

3'804 3'236 2'351 1'236

111 111 110 101Cuantificacin Escalar

3'5 3'5 2'5 1'5

0'304 -0'264 -0'149 -0'2648

Representacin grfica del cuantificador. Podra decirse que la divisin de la entrada es un problema del codificador y la asignacin de salidas a las palabras del 3.5 cdigo es un problema del decodificador. Obviamente ambos problemas estn muy relacionados y los dos forman parte del diseo del cuantificador. Observa que un 1.5 problema importante de diseo es asignar cdigos binarios a los intervalos.0.5 -0.5 1.0 2.0 3.0 Entrada -1.5 4.0 -4.0 -3.0 -2.0 -1.0 2.5 Salida

-2.5

-3.5 Rafael Molina Cuantificacin Escalar 9

Consideremos el siguiente ejemplo de matlabt = [0:.1:2*pi]; % Times at which to sample %the sine function sig = sin(t); % Original signal, a sine wave partition = [-1:.2:1]; % Length 11, to %represent 12 intervals codebook = [-1.2:.2:1]; % Length 12, one %entry for each interval [index,quants]= quantiz(sig,partition,codebook); % Quantize plot(t,sig,'x',t,quants,'.') legend('Original signal','Quantized signal'); axis([-.2 7 -1.2 1.2])

Rafael Molina


10

Pasamos a la formulacin matemtica del problema de diseo de un cuantificador Supongamos que nuestra fuente X es modelizada mediante una variable aleatoria con funcin de densidad fX(x). Para construir un cuantificador con M intervalos necesitamos: 1. Los M+1 puntos finales de los intervalos (fronteras de decisin) y 2. Los M valores representativos (niveles de reconstruccin) de esos intervalos que vamos a utilizar. Las fuentes discretas se suelen modelizar como continuas. A veces se supone (incluso para fuentes discretas) que la diferencia entre dos valores dentro de un mismo intervalo de cuantificacin es una distribucin fX(x) de Laplace.Rafael Molina Cuantificacin Escalar 11

Observa que si X toma valores en toda la recta real los extremos de los intervalos finales sern y +

{y } son los valores de reconstruccin y M {bi }i=0 son los lmites de decisinSiM i i=1

El error cuadrtico medio de cuantificacin se define mediante rudo de cuantificacin

q

2

=

(x Q(x ))

2

f X ( x )dx =

(x y )i i=1 bi 1

M

bi

2

f X ( x )dx

Rafael Molina


12

Para medir el nmero medio de bits por palabra de cdigo observamos que cuando todas las palabras del cdigo tienen longitud fija, si M es el nmero de palabras de cdigo, entonces la razn R viene dada por

R = log 2 MSi la longitud de los cdigos es variable entoncesR = lii=1 M bi

bi 1

f (x )dx = lX i=1

M

i

P ( yi )

donde li es la longitud de la palabra de cdigo asignada a yi y P(yi) corresponde a la probabilidad de que aparezca yi.

Observa que R depende de y, b y l (que depende del cdigo utilizado C) y por tanto para ser precisos debemos escribir R(y,b,C).Rafael Molina Cuantificacin Escalar 13

Ya conocemos las dos magnitudes fundamentales de 2 un cuantificador, R y q . Podra pensarse que para disear un cuantificador se 2 podra intentar minimizar simultneamente R y q . Sin embargo, esta minimizacin simultnea no es posible. Un decremento en el nmero medio de bits por palabra de cdigo conlleva un aumento de la distorsin de cuantificacin y viceversa.Observa:1.

2.

si disminuimos R, la distorsin del cuantificador crecer debido a que habr menos resolucin (habr menos intervalos) en la cuantificacin. si queremos disminuir la distorsin deberemos decrementar la longitud delos intervalos de cuantificacin, lo que conlleva inexorablemente incrementar el nmero de bits medio de las palabras de cdigo.

Rafael Molina


14

El diseo de un cuantificador consiste en Dada una distorsin mxima permitida D* , q D* , encontrar los lmites de decisin, reconstruccin y cdigo que minimicen R. niveles de

o Dada una cota mxima de razn de cuantificacin permitida, R R*, encontrar los niveles de reconstruccin, los lmites de decisin y cdigo que minimicen q .Observa que el problem es bastante complicado, siendo algo ms simple si suponemos que los cdigos son de longitud fija. Comenzaremos con este caso para luego pasar al general.Rafael Molina Cuantificacin Escalar 15

2. Cuantificacin uniformeEs el cuantificador ms simple. Todos sus intervalos de cuantificacin tienen el mismo tamao (se suele notar como ); con la salvedad del primer y ltimo intervalo si la seal de entrada no est acotada. Los valores de reconstruccin estn igualmente espaciados con el mismo espacio que las fronteras de decisin .

Rafael Molina


16

bk +1 bk =

si bk ,bk+1 finitos (entrada)Salida 7/2 5/2

y j+1 y j = j (salida)yj+1 yj

3/2

/2

-3

- 2

-

-/2

2

3 Entrada

-3/2

-5/2

bk

bk+1

-7/2 Rafael Molina Cuantificacin Escalar 17

Tipos de cuantificadores uniformes:1000

Cuantificador Midtread (Cuantificador uniforme asimtrico): el 0 pertenece al conjunto de salidas.Normalmente se usan los cuantificadores midtread si el nmero de intervalos es impar o si necesitamos representar al 0 en los valores de salida.0010 0001 0000

0111 0110 0101 0100 0011

111 110 101

Cuantificador Midrise (Cuantificador uniforme simtrico): el 0 no est en el conjunto de salidas.000

100 011 010 001

Rafael Molina


18

II.1 Cuantificacin uniforme uniformemente distribuidas:

sobre

fuentes

El diseo de un cuantificador uniforme con M intervalos, para una entrada uniformemente distribuida en el intervalo finito [-Xmax , Xmax] es muy simple. Dividiremos [-Xmax, obtendremos .

Xmax] en M intervalos, as = 2 X max M

El valor de cuantificacin para el intervalo comprendido entre (i-1) e i es 2i 1 yi = 2Rafael Molina Cuantificacin Escalar 19

Cunto vale grficamente el error de cuantificacin? /2-Xmax=-4 -3 - 2 -

x-Q(x)

-/2

2

3

Xmax=4

Supongamos que M es par. Cunto vale el error cuadrtico medio de cuantificacin?2 q

=

M XZ i=1

bi bi1

(x yi )2 fX (x)dx

=

2

M/2 Z i X i=1

2i 1 2 1 (x dx ) 2 2Xmax (i1)M/2 Z i X

= =Rafael Molina

2i 1 2 1 2 (x ) dx 2Xmax i=1 (i1) 2 Z 2 M 1 21 2 (x ) dx = 2 /12 2Xmax 0 2 Cuantificacin Escalar

20

La varianza de una distribucin U[-Xmax,Xmax] vale x2 =

(2 X max )212

Observa que corresponde a =1

Supongamos que M=2n . Calculemos la relacin seal/ruido de este cuantificador. Tenemos 2Xrecuerda

=

max

SNR(dB) =

2 x 10 log10 2 q

= 10 log10

(2Xmax ) /12 = 10 log10 (M 2 ) ()2 /12

2

M

= 20 log10 (2n ) = 6.02n dB

esta ecuacin expresa que por cada bit que aadamos al cuantificador, obtendremos una mejora (SNR) de 6'02 dB. Es decir, la expresin, nos permite medir cuanto mejorar nuestro cuantificador como mximo con respecto a la distorsin.Rafael Molina Cuantificacin Escalar 21

II.2 Cuantificacin uniforme uniformemente distribuidas:

sobre

fuentes

no

Consideremos de nuevo el intervalo (-Xmax,Xmax) cuyos extremos ahora pueden ser infinito. Podemos construir un cuantificador, que tambin es uniforme, mediante la siguiente division del intervalo (-Xmax,Xmax)/2 Los valores de cuantificacin sern siempre de la forma i/2

-Xmax

-3 - 2 -

2 3 -/2

Xmax

Observa que si nuestra fuente est en el intervalo [-1,1] con probabilidad 0.95 y en [-100,-1) U (1,100] con probabilidad 0.05, esta divisin es mucho ms razonable. Cul es el error de cuantificacin?Rafael Molina Cuantificacin Escalar 22

Tendremos2 q

= +

2

M 1 2 2 (x ) fX (x)dx 2 (M/21) Zb(t) a(t)

M/21 Z i X i=1 Z

2i 1 2 (x ) fX (x)dx 2 (i1)

Podemos usar la regla de Leibnitz: t Zb(t)

f (x, t)dxa(t)

= +

f (x, t) dx t

b(t) a(t) f (b(t), t) f (a(t), t) t t

para calcular 2q/ y consecuentemente encontrar (en principio) el valor de que minimiza el error de cuantificacin.Rafael Molina Cuantificacin Escalar 23

La tabla siguiente muestra los valores ptimos de para distintas distribuciones de entrada:Tamao del alfabeto 2 4 6 8 10 12 14 16 32 D. Uniforme 1,732 0,866 0,577 0,433 0,346 0,289 0,247 0,217 0,108 SNR 6,02 12,04 15,58 18,06 20,02 21,60 22,94 24,08 30,10 D. Gaussiana 1,596 0,9957 0,7334 0,5860 0,4908 0,4238 0,3739 0,3352 0,1881 SNR 4,40 9,24 12,18 14,27 15,90 17,25 18,37 19,36 24,56 D. Laplaciana 1,414 1,0873 0,8707 0,7309 0,6334 0,5613 0,5055 0,4609 0,2799 SNR 3,00 7,05 9,56 11,39 12,81 13,98 14,98 15,84 20,46

Observa que cuanto menos uniforme es (tiene ms pico) la distribucin de entrada, menos obedece la regla del incremento de SNR en 6'02 dBs por cada bit.Rafael Molina Cuantificacin Escalar 24

Observa que la forma del error es ahora diferenteProbabilidad de sobrecarga Probabilidad granularx-Q(x) /2

-3

- 2

-

-/2

2

3

Ruido de sobrecarga

Ruido granular

Ruido de sobrecarga

Normalmente, la probabilidad de que un error sea de sobrecarga es mucho menor que la probabilidad de que sea granular.Rafael Molina Cuantificacin Escalar 25

Efectos de desemparejamiento (desajuste): Existen dos tipos de desajuste: 1. El tipo de distribucin que se usa es el de la seal de entrada, pero la varianza de la entrada y la supuesta no coinciden. 2. El tipo de distribucin es distinto de la supuesta para obtener el valor del paso.

Para resolver estos errores aparecen los cuantificadores adaptativos que discutiremos a continuacin.Rafael Molina Cuantificacin Escalar 26

III. Cuantificacin adaptativaVamos a intentar resolver los problemas de desajuste tanto de los parmetros de la distribucin de entrada como de una especificacin errnea de la distribucin. Si suponemos que disponemos de todos los datos a cuantificar aparecer la cuantificacin adaptativa off-line o hacia delante que nos obligar a enviar informacin adicional con el cuantificador conforme lo modifiquemos. Si suponemos que slo disponemos de los valores cuantificados no necesitaremos enviar informacin adicional y dar lugar a la cuantificacin adaptativa on-line o hacia atrs.Rafael Molina Cuantificacin Escalar 27

III.1. Cuantificacin adaptativa off-line Podemos: Dividir nuestros datos de entrada en bloques, (supuesto que todos son de media cero), calcular su desviacin tpica por bloque y dividir cada dato por la desviacin tpica del bloque al que pertenece. As todos los datos (de todos los bloques en su conjunto) sern ms uniformes y podemos aplicar sobre ellos un cuantificador del tipo uniforme que hemos visto. Observa que tenemos que trasmitir la desviacin tpica de cada bloque ya que posteriormente tendremos que multiplicar los datos cuantificados por la desviacin tpica del bloque al que pertenece.Rafael Molina Cuantificacin Escalar 28

Igualmente podramos normalizar al rango [-1,1] cada bloque utilizando el mximo y el mnimo de cada bloque (que luego obviamente tendramos que transmitir) Observa que los datos de la secuencia de voz de la derecha son candidatos perfectos para su divisin por bloques y la utilizacin de un paso diferente en cada bloqueWe could barely see the fjords through the snow flurriesRafael Molina Cuantificacin Escalar 29

III.2 Cuantificacin adaptativa on-line Si nuestros datos pensamos que vienen de una determinada distribucin de probabilidad, podemos calcular la probabilidad de que un dato caiga en cada intervalo de cuantificacin. Si con los datos cuantificados que vamos recibiendo, calculamos la probabilidad de cada intervalo de cuantificacin y no es parecida a la calculada con la distribucin de probabilidad que suponemos, tendremos que modificar el paso del cuantificador (observa que slo podemos hacerlo globalmente no en cada intervalo) aumentndolo o disminuyndolo.Rafael Molina Cuantificacin Escalar 30

Esta es la idea del cuantificar de Jayant que no discutiremos aqu y que funciona modificando el paso con cada dato cuantificado. Observa que no hay necesidad de enviar ninguna informacin adicional.

Rafael Molina


31

IV. Cuantificacin no-uniformeConsideremos la siguiente funcin de densidad

Es obvio que sera bueno que los intervalos de cuantificacin fuesen muy pequeos cerca del cero y luego fuesen creciendo (esto no lo podemos hacer con un cuantificador uniforme).Rafael Molina Cuantificacin Escalar 32

Un cuantificador que tiene intervalos no uniformes recibe el nombre de cuantificador no-uniforme

y4

y3 y2 y1 b-3 b-2 b-1 y-4 y-3 y-2 b1 b2 b3

Rafael Molina

y-1 Cuantificacin Escalar

33

IV.1 Cuantificacin optimizada en pdfConsideremos el error de cuantificacin para una determinada funcin de densidad fX(x) M X Z bi 2 q = (x yi )2 fX (x)dxi=1 bi1

Para calcular los valores de y que minimizan esta funcin tenemos Z bi 2 q = 2 (x yi )fX (x)dx yi bi1

que igualando a cero produce

yi =Rafael Molina

R bi


bi1 R bi bi1

xfX (x)dx fX (x)dx34

De la misma forma, puede probarse fcilmente que ! Z Z bi+1 2 bi q = (x yi )2 fX (x)dx + (x yi+1 )2 fX (x)dx bi bj bi1 bi

= (bi yi )2 fX (bi ) (bi yi+1 )2 fX (bi )

que igualando a cero produce

yi + yi+1 bi = 2Max public en una revista como resolver estas ecuaciones en 1960, aunque la solucin la haba dado antes en un memorandum interno de Bell Labs, en 1957 Lloyd. De aqu que el algoritmo se llame de Lloyd-Max. Sin embargo, Lukaszewicz y Steinhaus parece que lo haban publicado con anterioridad en 1955 en una revista polaca.Rafael Molina Cuantificacin Escalar 35

El algoritmo de Max-Lloyd1. Inicializa los niveles de salida ym, m=1,,M 2. Define los conjuntos de vecinos ms prximos a dichos nivelesm = {x : (x ym )2 (x yk )2 k 6= m} m = 1, . . . , M

3. Calcula los nuevos niveles de salida como la media de los datos en cada reginym = R Rxm

xfX (x)dx fX (x)dx

xm

4. Mientras mejoremos suficientemente el error de cuantificacin volver al paso 2. En caso contrario parar.Rafael Molina Cuantificacin Escalar 36

qu ocurre si slo tenemos muestras {x1,,xL} de la variable aletoria X con funcin de densidad fX(x)?

El algoritmo de Max-Lloyd (discreto)1. Inicializa los niveles de salida ym, m=1,,M 2. Define los conjuntos de vecinos ms prximos a dichos nivelesm = {xi : (xi ym )2 (xi yk )2 k 6= m} m = 1, . . . , M

3. Calcula los nuevos niveles de salida como la media de los datos en cada reginym

4. Mientras mejoremos suficientemente el error de cuantificacin volver al paso 2. En caso contrario parar.Rafael Molina Cuantificacin Escalar 37

1 X = xi mxi m

Las grficas siguientes muestran el resultado de utilizar el algoritmo de Max-Lloyd para construir un cuantificador basado en 10.000 observaciones de una N(0,1) utilizando sqdtool en Matlab. Observa los diferentes tamaos de los intervalos de cuantificacin.

Rafael Molina


38

Otra forma de abordar la cuantificacin no uniforme es primero procesar los datos de forma que se transformen en (se parezcan a) realizaciones de una distribucin uniforme (compresor), utilizar despus un cuantificador uniforme y finalmente deshacer el cambio (expansor)

IV.2 Compansores de Cuantificacin

Compresor

Cuantificador uniforme

Expansor

Esta sera la descripcin grfica del proceso para una fuente que concentra su masa de probabilidad simtricamente alrededor del cero.Rafael Molina Cuantificacin Escalar 39

Supongamos que tenemos una variable que toma valores en el intervalo [-4,4] con ms masa de probabilidad cerca del cero y simtrica. Podemos usar el cuantificador que se muestra en la figura pero podemos tambin procesar los datos antes de usar dicho cuantificador. Veamos el procesoRafael Molina Cuantificacin Escalar

Salida 3.5 2.5 1.5 0.5 -4.0 -3.0 -2.0 -1.0 1.0 2.0 -0.5 -1.5 -2.5 -3.5 3.0 4.0 Entrada

40

Consideremos el siguiente compresor que pretende llevar nuestra distribucin a una uniforme en [-4,4]. Observa que mueve masa de probabilidad de regiones prximas al cero a alejadas del cero 1 x 1 2x 2x/3 + 4/3 x>1 c(x) = 2x/3 4/3 x < 1

y su inversa

1 x 1 x/2 3x/2 2 x>2 c1 (x) = 3x/2 + 2 x < 2

Rafael Molina


41

Supongamos que la fuente est acotada por un valor xmax, entonces cualquier cuantificador no uniforme puede representarse por un compansor. Veamos como usando este hecho podemos desarrollar un cuantificador que es robusto a errores de ajuste. Comencemos considerando cuantificadores con un nmero elevado de niveles. Sea

k = bk bk1

Si el nmero de niveles es alto, el tamao de cada intervalo de cuantificacin ser pequeo y podemos escribir dentro de cada intervalo de cuantificacin

fX (x) = fX (yk )Rafael Molina

si


bk1 x < bk

42

Lo que nos permite escribir el error de cuantificacin como2 q

=

Una aproximacin de la derivada de c(yk) puede obtenerse de la forma siguiente

PM

i=1 fX (yi )

R bi

(x yi ) dx = bi1

2

1 12

de donde2 q

PM

fX (yi )3 i i=1

c0 (yk ) =

c(bk )c(bk1 ) k

=

3 M X 2xmax 1 fX (yi ) 12 i=1 M c0 (yi )M x2 X fX (yi ) 2xmax max 3M 2 i=1 c0 2 (yi ) M c0 (yi ) M x2 X fX (yi ) max 2 0 2 (y ) i 3M i=1 c i

Si c() lleva nuestra seal a una distribucin U[-xmax , xmax] entonces

=

que usado en la frmula anterior produce

c(bk ) c(bk1 ) = k =2xmax M c0 (yk )

2xmax M

=

que para i pequeo produce2 q

=

x2 max 3M 2

Rafael Molina


R xmax

xmax

fX (x) dx c0 2 (x)43

La frmula anterior recibe el nombre de integral de Bennett. Supongamos(para librarnos de la dependencia de la fuente)

c (x) =

0

xmax |x|

entonces

2 q

=

x2 max 3M 2

y por tanto la SNR es independiente de la pdf de entrada y vale 2 x SN R = 10 log 2 = 10 log10 (3M 2 ) 20 log10 q

R xmax

que

xmax

fX (x) dx c0 2 (x)

=

2 2 x 3M 2

Utilizando la ecuacin de definicin de la derivada de c() obtenemos que |x|

c(x) = xmax + log

xmax

Como estos compresores tienen problemas alrededor del cero, se modifican para definir una funcin que es lineal alrededor del cero y logartmica lejos de l. Tenemos entonces la siguientes leyes:Rafael Molina Cuantificacin Escalar 44

La ley de compresin

c(x) =cuyo expansor es

ln(1+ xmax ) xmax ln(1+) sgn(x)

|x|

c1 (x) =

xmax

Esta ley con =255 se usa en telefona en Estados Unidos y Japn. La funcin compand de Matlab puede ser utilizada para ver esta funcin (adems de obviamente como compansor).Rafael Molina

h i |x| (1 + ) xmax 1 sgn(x)


45

cuyo descompresor es (c1 (x) =

La ley A de compresin (c(x) =

A|x| 1+ln A sgn(x) A|x| 1+ln xmax xmax 1+ln A

sgn(x)

|x| 1 0 xmax A 1 |x| 1 A A

Esta ley con A=87.5 se usa en numerosos paises. La funcin compand de Matlab puede ser utilizada para ver esta funcin (adems de obviamente como compansor).Rafael Molina

|x| A (1 + ln A) h xmax exp x|x| (1 A max

1 0 x|x| + ln A max i 1 + ln A) 1 |x| 1 1+ln A A


46

VI. BibliografaK. Sayood, Introduction to Data Compression, Morgan and Kaufmann, 2005.

Rafael Molina


47

07 cuantificacion_escalar

Documents

Transcript of 07 cuantificacion_escalar