Codificacion de fuente completa-e

8/7/2019 Codificacion de fuente completa-e

1/58

1

Teora deTeora de Informacin Informacin


2/58

2

Respuestas que brinda la Respuestas que brinda laTeora de InformacinTeora de Informacin

Cantidad de InformacionTcnicas de codificacinCantidad mxima de informacion

que puede transmitir un canalotras*


3/58

3

Cantidad de Informacion Cantidad de Informacion L a capacidad de un mensaje de

despejar incertidumbre sobre la ocurrencia de un evento.

Depende de la probabilidad de ocurrencia del evento.*


4/58

4

Cantidad de Informacion Cantidad de Informacion I(A) u 0

P (A) = 1 ==> I(A) = 0

I(A) = f [ P (A)]

P (A) > P (B) ==> I(A) < I(B)

P (AB) = P (A) . P (B) ==> I(AB) = I(A) + I(B)

I(A) = I(A) = -- log P(A)* log P(A)*


5/58

5

Lafuncin log (1/

P(E))

Lafuncin log (1/

P(E))


6/58

6

Unid a des de C a ntid a d deUnid a des de C a ntid a d deInform a cinInform a cin

I (A) = -log b P(A)b = 2 => bit o shannonb = e => natb = 10 => hartley

1 hartley = 3.32 bit1 nat = 1.44 bit


7/58

7

Fu ente Discreta sin Fu ente Discreta sin memoria ( F DSM)memoria ( F DSM)

S

{ m i }M{ p i }M

m i

Discreta Discreta : Numero finito de smbolos

Sin memoria Sin memoria : independencia estadstica*


8/58

8

E ntropa de una FDSM E ntropa de una FDSM

I(m i) = - log p i

H ( S) : Entrop a

H ( S) = I = - p i log p i*

S

{ m i }M{ p i }M

m i

E ntropa :E ntropa : cantidad de informacioncantidad de informacionpromediopromedio


9/58

9

La condicin de mxim a La condicin de mxim a entrop a se a lca nz a cu a ndo losentrop a se a lca nz a cu a ndo los

eventos son equiprob a bles,eventos son equiprob a bles,

p = *p = *

C ondicin de mximaC ondicin de mximaentropaentropa

Con M = 2 ; { pi}

2 = {p , (1- p)

}

p 10

1

H( s)


10/58

10

La Inform a cin promedio es mxim a silos eventos son equiprob a bles

H( S)H( S) MAXMAX = log M= log M p a r a p i = 1 / M*

C ondicin de mximaC ondicin de mxima E ntropa para una FDSM E ntropa para una FDSM


11/58

11

Redundancia de una Redundancia de unaFDSM FDSM

R (S) =R (S) = H( S)H( S) MAXMAX -- H( S)H( S) = log M= log M H( S)H( S)

Medid a de l a inform a cin dej a d a debrind a r por l a fuente producto de l a noequiprob a bilid a d de los smbolos de l a fuente.*


12/58

12

Trabajo IndependienteTrabajo IndependienteVea y justifique la solucin del Problema #1del Tema 2 en documento TI-1.Determine cual sera la estrategia de pesajeen la solucin del problema. Por qu?.


13/58

13

Fuente Discreta con MemoriaFuente Discreta con MemoriaLas probabilidades de ocurrencia de los smbolosdependen de la ocurrencia de smbolosanteriores.(No hay independencia estadstica)Orden de la Fuente, r: Nmero de smbolos queintervienen en la influencia de la ocurrencia de unnuevo smbolo.Estado de la Fuente: Conjunto de smbolos que

determinan la ocurrencia de los smbolossiguientes.Ejemplos de FDCM: Textos, Imgenes, etc.


14/58

14

FD C M FD C M Orden r Estado: mimj.mr (r smbolos que definenel estado)

S

{ m i }M{ p i / m1m2mr }M

m i

NE: Nmero mximo de est a dos de un a FDCM = M r


15/58

15

Ej emplo Ej emplo

10

0.9

0.1

0.5

0.5

R t = 0.5978R ne = 0.3668R se = 0.251

T = 0.9 0.10.5 0.5

0 1

0

1

C a er en el est a do

Da do que

estoy en H( S) =0.4022H( S) = 0.653P (0) = 0.833P (1) = 0.167


16/58

16

Ej emplo de FD C M Ej emplo de FD C M

A

B

C

0.5

0.50.5

0.50.5

0.5

Orden 1

P (A/A) = P (B/A)= 0.5, P (C/A)=0

P (B/B) = P (C/B)= 0.5, P (A/B)=0

P(C/C) =

P(A/C)= 0.5,

P(B/C)=0

P rob a bilid a d de los Est a dos: P (Si)

Entrop a de un a FDCM = H( S/Si) P (Si)

Di a g. De Est a dos

[T] =

C a er en el est a doA B CDa do que

estoy en A

B

C

00 0

M a triz deTr a nsicin


17/58

17

Fuente ad j unta de una FD C M Fuente ad j unta de una FD C M Es la FDSM con igual probabilidad deocurrencia de smbolos que la FDSM.Equivale a removerle la memoria a laFDCM.Redundancia Secuencial= H(S Adj ) H(S).

Medida de lo que disminuye la informacin producto de la dependencia secuencial.


18/58

18

Pa r a Fuentes discretas con memoria (FD C M) ,

existe redund a nci a por no equiprob a bilid a d yredund a nci a por dependenci a secuenci a l.

Redundancia Redundancia

R (S) tot a l = R (S)R (S) tot a l = R (S)no equipno equip + R (S)+ R (S)sec*sec*


19/58

19

Modelo de Transmisin de Modelo de Transmisin de Datos Datos

C

ana

l

fuente

Codif.de fuente

cifrado Codif.de canal

transmisor

receptorDecodifde canal

descifradoDecodif.de fuente

destino


20/58

20

Est a blecer un a correspondenci a entre los

smbolos de una

fuente y los smbolos dela lf a beto de un cdigo.

Codificacin deCodificacin deFu enteFu ente

P roceso enc a min a do a logr a r un a

represent a cin ms eficiente de l a inform a cin( eliminar redundancia )*.


21/58

21

C ondiciones del cdigoC ondiciones del cdigo

singular separable (Unicamente decodificable)

instantneo


22/58

22

C onsideremos cuatro cdigosC onsideremos cuatro cdigos

m1 --- 01 m1 --- 0 m1 --- 0 m1 --- 0

m2 --- 01 m2 --- 01 m2 --- 01 m2 --- 10

m3 --- 10 m3 --- 001 m3 --- 011 m3 --- 110

ab c d

N o singular singulares

no separable separables

instantneo*


23/58

23

Cdigos No Singula

resSingul a res

No sep a r a bles

Sep a r a blesNo

inst a ntneos

Instantneos* Instantneos*

C ondiciones del cdigoC ondiciones del cdigo


24/58

24

a .- No singul a r.b.- singul a r, no sep a r a ble.c.- singul a r , sep a r a ble, no inst a ntneo.d.- singul a r, sep a r a ble, inst a ntneo.*

m1 --- 01 m1 --- 0 m1 --- 0m1 --- 0

m2 --- 01 m2 --- 01 m2 --- 01m2 --- 10

m3 --- 10 m3 --- 001 m3 --- 011 m3--- 110

ab c d


25/58

25

C ondicin de los prefi j osC ondicin de los prefi j osLa condicin necesaria y suficiente

p a r a que un cdigo se a instantneo esque sus p a la br a s cumpl a n l a condicinde los prefijos:

N o exista palabra que sea prefi j o de N o exista palabra que sea prefi j o deotra palabra de longitud mayor otra palabra de longitud mayor.*


26/58

26

C digos eficientesC digos eficientes

l i longitud de l a p a la br a codific a d a del mens a je m ir : # de smbolos del a lf a beto del cdigo

L = 7 p i l i : L ongitud promedio de l a p a la br a *

E strategia E strategia : Asign a r p a la br a s ms cort a s a

smbolos ms proba

bles


27/58

27

E ficiencia de un cdigo E ficiencia de un cdigo

log r : C a ntid a d mxim a de inform a cin deun smbolo de cdigo

L log rL log r uu H(s)H(s)

Eficienci a del cdigo :

L ! ,L ! ,S)S) / (/ (L log r)L log r) *


28/58

28

Mtodos de codificacin Mtodos de codificacin

Cdigo de Sha

nnonCdigo de Huffm a n

otros.


29/58

29

C digo de HuffmanC digo de HuffmanCdigo de mxim a eficienci a , noCdigo de mxim a eficienci a , no

existe otro de m a yor eficienci a .existe otro de m a yor eficienci a .Emple a do p a r a codific a r FD SMEmple a do p a r a codific a r FD SM

en la

s que se conocen la

s pi deen la

s que se conocen la

s pi deca d a mens a je.ca d a mens a je.


30/58

30

N o hay dos mensa j es con igualessecuencias

C umple la condicin de los prefi j os Smbolos mas probables son codificadoscon palabras de cdigos de menor longitud. l 1e l 2 e ....... e l M L os dos mensa j es menos probables soncodificados con palabras de igual longitud l M = l M - 1 *

Principios del C digo de Principios del C digo de

Huffman Huffman


31/58

31

Procedimiento para el cdigo deProcedimiento para el cdigo de

HuffmanHuffmanLos mensajes son ordenados en orden de probabilidadesdecrecientes.Se agrupan los r (para binarios r=2) mensajes menos

probables y sus probabilidades se suman formando unafuente reducida de la original que contiene el nuevomensaje compuesto y no los originales.Se mantiene la organizacin de probabilidadesdecrecientes en la nueva fuente reducida construida.

El procedimiento se repite hasta que la fuente reducidaquede con r mensajes.Se asignan dgitos del cdigo de atrs hacia delantecumpliendo la condicin de los prefijos.V ea ejemplo #2 en problem a s del Tem a 2. R esuelv a losproblem a s 3 y 4 propuestos.


32/58

32

Inconvenientes del cdigo de Inconvenientes del cdigo de Huffman Huffman

La s prob a bilid a des de l a fuente pueden no ser

conocid a s a priori Solucin : Empleo de mens a jes p a trones ==>

determin a r est a dstic a s.

Na

tura

leza

de la

fuente puede significa

rconjunto muy gr a nde de smbolos (lent a codific a cin y requiere gr a n memori a .)*


33/58

33

Cdigo de H u ffman ModificadoCdigo de H u ffman ModificadoEjemplo: Codificacin de doc u mento facsmil para G3

FAX 1728 pel

B B B B B

Codific a la s longitudes de recorrido :Ej: 100B, 40N, 788B, 80N, 600B, 60N, 60B,20N, 40B*


34/58

34

Fuente con 1728 x 2 mens a jes = 1728 long. debl a nco y 1728 long. de negro = 3456 mens a jes

L ongitud de recorrido : N = 64 m + n;n = 0, 1, ... , 63 palabras de terminacinm = 1, 2, ... , 27 palabras de establecimiento27 x 64 = 1728;

Nmero tot a l de mens a jes : (27 + 64) 2 = 182Ej: Pa r a un a longitud de 146 = 2 x 64 + 18;

n = 18. m = 2*

Huffman Modificado Huffman Modificado


35/58

35

L ong Bl a nco Negro

0 00110101 000011011111 000111 010

63 00110100 000001100111

Palabras de terminacin Palabras de terminacin

L ong. Bl a nco Negro

1 (64) 11011 00000011112 (128) 10010 000011001000

6327 (1728) 010011011 0000001100101EO L 00000000001

Palabras de establecimiento Palabras de establecimiento


36/58

36

Ejemplo de H u ffman ModificadoEjemplo de H u ffman Modificado

23 bl a nco 51 negro 930 bl a nco146 negro 578 bl a nco

23 bl a nco 51 negro ( 14 x 64) + 34 bl a nco

(2x64) + 18 negro ( 9 x 64) + 2 bla

ncon=23 B; n = 51 N; (m = 14B) + (n = 34B); (m = 2N) + (n = 18N); (m=9B) + (n=2B)

0000100 000001010011 011010011 00010011000011001000 0000001000 0110100000 0111

000000000001*


37/58

37

Ej emplo: Ej emplo:Vamos a codificar 23(b) 51(n) 930(b) 146(n) 578(b)

1. 23b LSB 00001002. 5 1n LSB 0000010100113. 9 30b 14 6 4 + 34 = 011010011 00010011

896 M SB 34 LSB

4. 146 n 2 6 4 + 1 8 = 000011001000 0000001000128 M SB 18 LSB

5.578

b9

6

4 + 2= 01101000

0111576 M SB 2 LSB


38/58

38

C odificacin adaptativaC odificacin adaptativa

Para casos en que el comportamientoestadstico de la fuente vare o seadesconocido, puede a j ustarse la

codificacin de forma dinmicateniendo en cuenta el comportamientode la fuente.


39/58

39

Mensaje probabilidad pal. codigo

m1 0.4 1m

20.24 01

.........................................m7

Cdigos corrientes Cdigos corrientes

Conociendo comport a miento est a dsticode l a fuente (ex a ct a o por p a trones) :

Entr a d a s

Sa lid a


40/58

40

Cdigos adaptativos Cdigos adaptativos Con cdigos a d a pt a tivos l a ta bl a es v a ri a bley se a d a pt a a la s c a r a cterstic a s de l a fuentey no es neces a rio conocer l a s prob a bilid a des

Mens a je conta dor prob. estim a d a p a l. Cdigo

m1 400 0.4 1

.................................................................Se p a rte de un a codific a cin a cord a d a por TX y R X

( puede ser cu a lquier a )C a d a cierto nmero de mens a jes se estim a n l a s

prob a bilid a des y a just a codific a cin

Igu a l procedimiento en el R X.*


41/58

41

Mtodos de compresin Mtodos de compresin


42/58

42

Aplic a ble a fuentes de c a r a cteres.

Existen mltiples va

ria

ntes.Con frecuenci a es el primer p a so de un a lgoritmo de

compresin ms complejo.

Se sustituye p a rte del texto origin a l por textocomprimido precedido por c a rcter indic a tivo decompresin.*

Compresin orientada aCompresin orientada acaracteres caracteres


43/58

43

Ej emplo :

Texto origin a l : M C M X C V I I I I I I I C L D M

Texto comprimido : M C M X C V C I E F C L D M

E = I ; F = 7

Compresin orientada aCompresin orientada acaracteres caracteres


44/58

44

MNP5 MNP5

Protocolo de comunicacin entre MOD E Ms con dos etapas de compresin .

E tapa 1 ) Compresin orient a d a a ca rcter(cu a ndo un C h . Se repite 3 veces o ms sesustituye por 3 veces el c a rcter seguido del

exceso de 3) E tapa 2 ) Compresin a d a pt a tiv a con t a bl a dinmic a de 256 fil a s. *


45/58

45

A c a d a fila le corresponde un a p a la br a de cdigo

fij a .Se p a rte de un orden a miento comn de los

ca r a cteres en TX y R X y por lo t a nto de un a codific a cin comn.

Tr a s un nmero de mens a jes determin a do losca r a cteres son reorden a dos en l a ta bl a a corde a sufrecuenci a de ocurrenci a , c a mbi a ndo l a codific a cin

de los mismos a corde a la posicin que ocup a n en l a ta b a l tr a s el reorden a miento.

MN P 5 produce rel a ciones de compresin entre 1.5 y 2,

supera

da

s h oy por numerosos mtodos de compresin.*

Procedimiento de etapa 2 Procedimiento de etapa 2


46/58

46

A lgoritmos de adaptacin de A lgoritmos de adaptacin decadenas cadenas ( string( string- -matchingmatching

algorithms)algorithms)P ermiten a provec h a r rel a ciones de ordensuperior entre p a la br a s y fr a ses en untexto.Aprecien que en los vistos a nteriormentese sustitu a n sol a mente c a r a cteresindividu a les que se repet a n, a h or a setr a ta de sustituir c a den a s de c a r a cteresque se repit a n.


47/58

47

Mtodos de diccionarios Mtodos de diccionariosLos mensajes (palabras) son uniones desmbolos. Los mtodos de diccionario no se

basan ni en los smbolos ni en la probabilidad del mensaje. Se basan solo en palabras.

Vamos a tratar de construir un diccionario a partir de los mensajes de la fuente.


48/58

48

I

dea de compresin I

dea de compresinDurante la transmisin van llegando conjuntos desmbolos que son una sucesin de palabras. Si las

almacenamos en un diccionario, tenemos laesperanza de tener la repeticin de determinadosconjuntos de smbolos (por ejemplo la cadenaero) y aparecen con una determinada frecuencia,

le podemos asignar un nmero y transmitir elnmero (por ejemplo campero, pero, espero, etc)

pero puede dejar de utilizarse.


49/58

49

Partimos de un diccionario inicial con 2 56 cdigo de 8 bitsEl algoritmo de codificacin consiste enalmacenar cadenas de caracteres que nocoinciden con ninguna de las presentes en el

diccionario original y agregar esta nuevacadena al diccinario enviando el primer carcter.


50/58

5 0

Ej emplo Ej emplo :Cadena: itty bitty bit binDiccionario inicial:

El primer carcter que llega al codificador es la ique est en el diccionario por lo que se espera elprximo carcter t. Se agrega la cadena it y setransmite la i---105


51/58

5 1


52/58

5 2

J . Ziv

A.L

empel1977

Algoritmo b a sa do en

buffers de vent a n a sdesliz a ntes, LZ77

Algoritmo b a sa do en

buffers de vent a n a sdesliz a ntes, LZ77

A lgoritmos de adaptacin de A lgoritmos de adaptacin decadenas cadenas ( string( string- -matchingmatching

algorithms)algorithms)

En un texto (im a gen, etc. )frecuentemente se repiten c a den a s de C h .

La secuenci a repetid a se sustituye por un

cdigo corto


53/58

5 3

A lgoritmo A lgoritmo LZ77 LZ77

The brown fox jumped over the brown foxy jumping frog53 octetos, 424 bits

C a d a octeto ==> p a trn de 9 bits = 1 seguido de A SCII 8 bits.

Se busc a n c a den a s repetid a s y son sustituid a s por

puntero a la secuenci a a nterior

longitud de c a den a repetid a

. Dos opciones identific a d a s por dos bits de c a becer a :

- 8 bits de puntero , 4 bits de longitud, con c a becer a 00

- 12 bit de puntero, 6 bits de longitud, con c a becer a 01*


54/58

5 4

0b26 d13 d 0b27 d5d*

The brown fox jumped over the brown foxy jumping frog

53 octetos, 424 bits

2613 5

27

A lgoritmo A lgoritmo LZ77 LZ77


55/58

55

Preguntas

Por la semejanza en los principios de LZ 77 con elcompresor Winzip responda:Cmo es posible que al aplicar compresin a unarchivo me de cmo resultado un archivo demayor tamao?En qu consiste que hayan ms de un tipo omodo de compresin, uno lento y otro rpido? En

qu se diferenciarn?Por qu el lento puede alcanzar mayores nivelesde compresin que el rpido?


56/58

56

C odificacin de FuenteC odificacin de Fuente

C onclusionesC onclusionesPrimer proceso de la comunicacin.Permite comunicacin ms eficiente.

Objetivo: Extraccin de redundancia.Mtodos: Cdigo de Huffm a n Huffm a n modific a do.

Compresin de c a r a cteres MN P 5 y otros Ad a pt a cin de c a den a s. etc*


57/58

57

Trabajo independiente

Localice 3 algoritmos o estndares de compresin,indicando su aplicacin y las razones de

compresin que alcanzan reportadas en laliteratura.Hay algoritmos de compresin sin prdida deinformacin y con prdida de informacin. Qu

significado tendr esta clasificacin y refieraaplicaciones de ambos?


58/58

58

Pero. Pero.El canal tiene, ruido, distorsin einterferencia.Los errores qu??Cmo protegemos la informacin contralos errores??

C odificacin de canal** C odificacin de canal**

Codificacion de fuente completa-e

Documents

Transcript of Codificacion de fuente completa-e