Teoría de laInformación

y Codi�cación

Este libro contiene las ideas básicas de la Teoría de Información y la Teoría de la Codi�cación, dos campos esenciales para la compresión cabal de la ingeniería de los modernos sistemas de transmisión digital.

Los autores han querido dar:

> Una presentación autocontenida y actualizada, en un solo volumen, de la Teoría de la Información, las técnicas de codi�cación de fuente, las de codi�cación de canal y los fundamentos de los protocolos de retransmisión.

> Un estudio detallado de los códigos algebraicos de control de errores más utilizados en las aplicaciones: los códigos linea-les, los códigos cíclicos, los códigos BCH y los códigos Reed-Solomon, con abundantes ejemplos de los métodos de decodi�cación más apropiados para cada clase.

> Una exposición precisa de los códigos convolucionales en cuanto que técnicas de control de errores; la mayoría de textos los tratan solo desde la prespectiva de las modulacio-nes digitales.

TE

OR

ÍA D

E L

A IN

FOR

MA

CIÓ

N Y

CO

DIF

ICA

CIÓ

N

Cándido López GarcíaManuel Fernández Veiga

Cán

did

o L

ópez

Gar

cía

Man

uel

Fer

nán

dez

Vei

ga

www.andavira.comISBN 978-84-8408-732-8

Otros títulos publicadospor Andavira Editora

Arquitectura de Ordenadores:Problemas de programaciónen ensambladorFernando A Mikic FonteMartín Llamas Nistal

Construcción de sistemas yservicios VoIPYolanda Blanco FernándezMartín López Nores

Dispositivos y circuitoseléctricos analógicosAlfonso Lago FerreiroAndrés A. Nogueiras Meléndez

Problemas de Teoría de ColasRebeca P. Díaz RedondoJosé J. Pazos AriasAna Fernández Vilas

Programación avanzadaorientada a objetosJ. Baltasar García Pérez-Scho�eldFrancisco Ortín Soler

Protección de instalacionesy redes eléctricasJuan M. Suárez Creo

RadiocomunicaciónMarcos Arias AcuñaÓscar Rubiños López

Sistemas operativosMartín López NoresYolanda Blanco Fernández

TV-AnytimeAlberto Gil SollaRafael G. Sotelo Bovino

www.andavira.com

SEGUNDAEDICIÓN

Teoría de la Información yCodificación

Cándido López ♦ Manuel Veiga

Universidad de Vigo

Teoría de la Información yCodificación

Cándido López GarcíaManuel Fernández Veiga

c© 2013, los autores

Ninguna parte de esta publicación puede ser reproducida, almacenada, registrada otransmitida cualquiera que sea la forma o el medio, impreso, mecánico, electrónico,fotoquímico, fotográfico o de otra naturaleza, sin el permiso expreso por escritodel editor.

Índice general

1 Introducción 1

1.1 Un modelo de sistema de comunicación . . . . . . . . . . . . . . . 2

1.2 Los modelos matemáticos de las fuentes discretas y los canalesdiscretos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.3 La codificación de fuente . . . . . . . . . . . . . . . . . . . . . . . 11

1.4 La codificación de canal . . . . . . . . . . . . . . . . . . . . . . . 17

1.5 Estructura del libro . . . . . . . . . . . . . . . . . . . . . . . . . . 23

I Teoría de la Información

2 La entropía 29

2.1 Definición de entropía . . . . . . . . . . . . . . . . . . . . . . . . 29

2.2 Funciones convexas . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.3 Propiedades de la entropía . . . . . . . . . . . . . . . . . . . . . . 40

2.4 Entropía conjunta . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3 Codificación de fuente 51

3.1 Códigos de bloques . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.2 Síntesis de códigos instantáneos . . . . . . . . . . . . . . . . . . . 58

3.3 Códigos óptimos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.4 Algoritmo de Huffman . . . . . . . . . . . . . . . . . . . . . . . . 67

3.5 Tasa de entropía de un proceso estocástico∗ . . . . . . . . . . . . 73

3.6 Tasa de entropía de una cadena de Markov∗ . . . . . . . . . . . . 75

3.A La propiedad de equipartición asintótica . . . . . . . . . . . . . . 83

iii

iv Índice general

3.B Técnicas de compresión . . . . . . . . . . . . . . . . . . . . . . . . 87

4 Información mutua y capacidad de canal 91

4.1 Entropía condicional . . . . . . . . . . . . . . . . . . . . . . . . . 92

4.2 Información mutua . . . . . . . . . . . . . . . . . . . . . . . . . . 97

4.3 Información mutua condicional . . . . . . . . . . . . . . . . . . . 101

4.4 El teorema de procesamiento de la información . . . . . . . . . . 102

4.5 Información mutua entre vectores aleatorios . . . . . . . . . . . . 102

4.6 Capacidad de canal: concepto y propiedades . . . . . . . . . . . . 106

4.7 Cálculo de la capacidad . . . . . . . . . . . . . . . . . . . . . . . 107

5 El teorema de codificación de canales ruidosos 115

5.1 Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

5.2 El teorema de Shannon de codificación de canales ruidosos . . . . 115

5.3 Interpretación del teorema . . . . . . . . . . . . . . . . . . . . . . 129

5.A Decodificación óptima . . . . . . . . . . . . . . . . . . . . . . . . 133

II Conceptos básicos de control de errores

6 Códigos lineales 139

6.1 Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

6.2 Códigos lineales . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

6.3 Matriz generadora . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

6.4 Matriz de comprobación de paridad . . . . . . . . . . . . . . . . . 148

6.5 Decodificación por síndrome . . . . . . . . . . . . . . . . . . . . . 152

6.6 Matriz típica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

6.7 Detección y corrección de errores . . . . . . . . . . . . . . . . . . 160

6.8 Probabilidad de error . . . . . . . . . . . . . . . . . . . . . . . . . 166

6.9 Códigos Hamming . . . . . . . . . . . . . . . . . . . . . . . . . . 170

6.10 Identidad de MacWilliams∗ . . . . . . . . . . . . . . . . . . . . . 172

6.A Cotas de distancia . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Índice general v

7 Códigos cíclicos 197

7.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

7.2 Descripción matricial . . . . . . . . . . . . . . . . . . . . . . . . . 203

7.3 Códigos cíclicos sistemáticos . . . . . . . . . . . . . . . . . . . . . 206

7.4 Circuitos codificadores . . . . . . . . . . . . . . . . . . . . . . . . 208

7.5 Detección de errores . . . . . . . . . . . . . . . . . . . . . . . . . 216

7.6 Decodificación de códigos cíclicos . . . . . . . . . . . . . . . . . . 221

7.7 Estructura cíclica de los códigos Hamming∗ . . . . . . . . . . . . 229

7.8 Códigos cíclicos acortados . . . . . . . . . . . . . . . . . . . . . . 234

7.9 Códigos cíclicos irreducibles∗ . . . . . . . . . . . . . . . . . . . . . 235

7.A Códigos cíclicos, anillos e ideales . . . . . . . . . . . . . . . . . . 237

8 Protocolos de retransmisión 243

8.1 Estrategias ARQ . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

8.2 Análisis de la cadencia eficaz . . . . . . . . . . . . . . . . . . . . . 258

8.A Sobre la cadencia eficaz . . . . . . . . . . . . . . . . . . . . . . . . 267

III Códigos BCH, códigos Reed–Solomon y códigosconvolucionales

9 Cuerpos finitos 271

9.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

9.2 Construcción de cuerpos finitos . . . . . . . . . . . . . . . . . . . 274

9.3 Estructura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

9.4 Polinomios mínimos . . . . . . . . . . . . . . . . . . . . . . . . . . 286

9.5 Factorización de xn − 1 . . . . . . . . . . . . . . . . . . . . . . . . 290

9.6 Periodo de un polinomio . . . . . . . . . . . . . . . . . . . . . . . 297

10 Códigos BCH 303

10.1 Construcción y propiedades . . . . . . . . . . . . . . . . . . . . . 304

10.2 Códigos BCH binarios . . . . . . . . . . . . . . . . . . . . . . . . 313

10.3 Dimensión y distancia . . . . . . . . . . . . . . . . . . . . . . . . 316

10.4 Métodos de decodificación algebraica . . . . . . . . . . . . . . . . 320

vi Índice general

11 Códigos Reed–Solomon 337

11.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

11.2 Códigos RS modificados . . . . . . . . . . . . . . . . . . . . . . . 346

11.3 Decodificación de códigos RS . . . . . . . . . . . . . . . . . . . . 351

11.4 Decodificación por localización . . . . . . . . . . . . . . . . . . . . 351

11.5 Decodificación por lista . . . . . . . . . . . . . . . . . . . . . . . . 367

11.6 Decodificación con símbolos borrados . . . . . . . . . . . . . . . . 372

11.7 Códigos RS generalizados∗ . . . . . . . . . . . . . . . . . . . . . . 380

11.A Los códigos cíclicos y la transformada de Fourier . . . . . . . . . 387

11.B El algoritmo de Berlekamp–Massey . . . . . . . . . . . . . . . . . 389

12 Códigos convolucionales 399

12.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

12.2 Representación reticular . . . . . . . . . . . . . . . . . . . . . . . 411

12.3 Terminación de un código convolucional . . . . . . . . . . . . . . 420

12.4 Decodificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

12.5 Enumeración de caminos . . . . . . . . . . . . . . . . . . . . . . . 434

12.6 Distancia mínima y codificadores catastróficos . . . . . . . . . . . 437

12.7 Probabilidad de error . . . . . . . . . . . . . . . . . . . . . . . . . 444

12.8 Punción de códigos convolucionales . . . . . . . . . . . . . . . . . 449

Bibliografía 455

Teoría de laInformación

y Codi�cación

Este libro contiene las ideas básicas de la Teoría de Información y la Teoría de la Codi�cación, dos campos esenciales para la compresión cabal de la ingeniería de los modernos sistemas de transmisión digital.

Los autores han querido dar:

> Una presentación autocontenida y actualizada, en un solo volumen, de la Teoría de la Información, las técnicas de codi�cación de fuente, las de codi�cación de canal y los fundamentos de los protocolos de retransmisión.

> Un estudio detallado de los códigos algebraicos de control de errores más utilizados en las aplicaciones: los códigos linea-les, los códigos cíclicos, los códigos BCH y los códigos Reed-Solomon, con abundantes ejemplos de los métodos de decodi�cación más apropiados para cada clase.

> Una exposición precisa de los códigos convolucionales en cuanto que técnicas de control de errores; la mayoría de textos los tratan solo desde la prespectiva de las modulacio-nes digitales.

TE

OR

ÍA D

E L

A IN

FOR

MA

CIÓ

N Y

CO

DIF

ICA

CIÓ

N

Cándido López GarcíaManuel Fernández Veiga

Cán

did

o L

ópez

Gar

cía

Man

uel

Fer

nán

dez

Vei

ga

www.andavira.comISBN 978-84-8408-732-8

Otros títulos publicadospor Andavira Editora

Arquitectura de Ordenadores:Problemas de programaciónen ensambladorFernando A Mikic FonteMartín Llamas Nistal

Construcción de sistemas yservicios VoIPYolanda Blanco FernándezMartín López Nores

Dispositivos y circuitoseléctricos analógicosAlfonso Lago FerreiroAndrés A. Nogueiras Meléndez

Problemas de Teoría de ColasRebeca P. Díaz RedondoJosé J. Pazos AriasAna Fernández Vilas

Programación avanzadaorientada a objetosJ. Baltasar García Pérez-Scho�eldFrancisco Ortín Soler

Protección de instalacionesy redes eléctricasJuan M. Suárez Creo

RadiocomunicaciónMarcos Arias AcuñaÓscar Rubiños López

Sistemas operativosMartín López NoresYolanda Blanco Fernández

TV-AnytimeAlberto Gil SollaRafael G. Sotelo Bovino

www.andavira.com

SEGUNDAEDICIÓN