Teoría de la información

La teoría de la información, también conocida comoteoría matemática de la comunicación (mathematicaltheory of communication) o teoría matemática de lainformación, es una propuesta teórica presentada porClaude E. Shannon yWarrenWeaver a finales de la déca-da de los años 1940. Esta teoría está relacionada con lasleyes matemáticas que rigen la transmisión y el procesa-miento de la información y se ocupa de la medición de lainformación y de la representación de la misma, así comotambién de la capacidad de los sistemas de comunicaciónpara transmitir y procesar información.[1] La teoría de lainformación es una rama de la teoría matemática y de lasciencias de la computación que estudia la información ytodo lo relacionado con ella: canales, compresión de datosy criptografía, entre otros.

1 Historia

La teoría de la información surgió a finales de la SegundaGuerra Mundial, en los años cuarenta. Fue iniciada porClaude E. Shannon a través de un artículo publicado enel Bell System Technical Journal en 1948, titulado Unateoría matemática de la comunicación (texto completoen inglés). En esta época se buscaba utilizar de maneramás eficiente los canales de comunicación, enviando unacantidad de información por un determinado canal y mi-diendo su capacidad; se buscaba la transmisión óptimade los mensajes. Esta teoría es el resultado de trabajoscomenzados en la década 1910 por Andrei A. Marko-vi, a quien le siguió Ralp V. L. Hartley en 1927, quienfue el precursor del lenguaje binario. A su vez, Alan Tu-ring en 1936, realizó el esquema de una máquina capazde tratar información con emisión de símbolos, y final-mente Claude Elwood Shannon, matemático, ingenieroelectrónico y criptógrafo estadounidense, conocido como“el padre de la teoría de la información”, junto a Wa-rren Weaver, contribuyó en la culminación y el asenta-miento de la Teoría Matemática de la Comunicación de1949 –que hoy es mundialmente conocida por todos co-mo la Teoría de la Información-. Weaver consiguió darleun alcance superior al planteamiento inicial, creando unmodelo simple y lineal: Fuente/codificador/mensaje ca-nal/decodificador/destino. La necesidad de una base teó-rica para la tecnología de la comunicación surgió del au-mento de la complejidad y de la masificación de las víasde comunicación, tales como el teléfono, las redes deteletipo y los sistemas de comunicación por radio. La teo-ría de la información también abarca todas las restantesformas de transmisión y almacenamiento de información,

incluyendo la televisión y los impulsos eléctricos que setransmiten en las computadoras y en la grabación ópticade datos e imágenes. La idea es garantizar que el trans-porte masivo de datos no sea en modo alguno una mermade la calidad, incluso si los datos se comprimen de algu-na manera. Idealmente, los datos se pueden restaurar a suforma original al llegar a su destino. En algunos casos, sinembargo, el objetivo es permitir que los datos de algunaforma se conviertan para la transmisión en masa, se reci-ban en el punto de destino y sean convertidos fácilmente asu formato original, sin perder ninguna de la informacióntransmitida.[2]

2 Desarrollo de la teoría

El modelo propuesto por Shannon es un sistema generalde la comunicación que parte de una fuente de informa-ción desde la cual, a través de un transmisor, se emiteuna señal, la cual viaja por un canal, pero a lo largo de suviaje puede ser interferida por algún ruido. La señal saledel canal, llega a un receptor que decodifica la informa-ción convirtiéndola posteriormente enmensaje que pasaa un destinatario. Con el modelo de la teoría de la in-formación se trata de llegar a determinar la forma máseconómica, rápida y segura de codificar un mensaje, sinque la presencia de algún ruido complique su transmisión.Para esto, el destinatario debe comprender la señal co-rrectamente; el problema es que aunque exista un mismocódigo de por medio, esto no significa que el destinata-rio va a captar el significado que el emisor le quiso dar almensaje. La codificación puede referirse tanto a la trans-formación de voz o imagen en señales eléctricas o electro-magnéticas, como al cifrado de mensajes para asegurarsu privacidad. Un concepto fundamental en la teoría dela información es que la cantidad de información conteni-da en un mensaje es un valor matemático bien definido ymedible. El término cantidad no se refiere a la cuantía dedatos, sino a la probabilidad de que un mensaje, dentrode un conjunto de mensajes posibles, sea recibido. En loque se refiere a la cantidad de información, el valor másalto se le asigna al mensaje que menos probabilidades tie-ne de ser recibido. Si se sabe con certeza que un mensajeva a ser recibido, su cantidad de información es cero.[3]

1

2 5 ELEMENTOS DE LA TEORÍA

3 Finalidad

Otro aspecto importante dentro de esta teoría es la re-sistencia a la distorsión que provoca el ruido, la facilidadde codificación y descodificación, así como la velocidadde transmisión. Es por esto que se dice que el mensajetiene muchos sentidos, y el destinatario extrae el sentidoque debe atribuirle al mensaje, siempre y cuando hayaun mismo código en común. La teoría de la informacióntiene ciertas limitaciones, como lo es la acepción del con-cepto del código. El significado que se quiere transmitirno cuenta tanto como el número de alternativas necesa-rio para definir el hecho sin ambigüedad. Si la seleccióndel mensaje se plantea únicamente entre dos alternativasdiferentes, la teoría de Shannon postula arbitrariamenteque el valor de la información es uno. Esta unidad de in-formación recibe el nombre de bit. Para que el valor dela información sea un bit, todas las alternativas deben serigual de probables y estar disponibles. Es importante sa-ber si la fuente de información tiene el mismo grado delibertad para elegir cualquier posibilidad o si se halla ba-jo alguna influencia que la induce a una cierta elección.La cantidad de información crece cuando todas las al-ternativas son igual de probables o cuanto mayor sea elnúmero de alternativas. Pero en la práctica comunicativareal no todas las alternativas son igualmente probables,lo cual constituye un tipo de proceso estocástico denomi-nado Markoff. El subtipo de Markoff dice que la cadenade símbolos está configurada de manera que cualquier se-cuencia de esa cadena es representativa de toda la cadenacompleta.

4 Teoría aplicada a la tecnología

La Teoría de la Información se encuentra aún hoy en díaen relación con una de las tecnologías en boga, Internet.Desde el punto de vista social, Internet representa unossignificativos beneficios potenciales, ya que ofrece opor-tunidades sin precedentes para dar poder a los individuosy conectarlos con fuentes cada vez más ricas de informa-ción digital. Internet fue creado a partir de un proyectodel departamento de defensa de los Estados Unidos lla-mado DARPANET (Defense Advanced Research ProjectNetwork) iniciado en 1969 y cuyo propósito principal erala investigación y desarrollo de protocolos de comunica-ción para redes de área amplia para ligar redes de transmi-sión de paquetes de diferentes tipos capaces de resistir lascondiciones de operación más difíciles, y continuar fun-cionando aún con la pérdida de una parte de la red (porejemplo en caso de guerra). Estas investigaciones dieroncomo resultado el protocolo TCP/IP (Transmission Con-trol Protocol/Internet Protocol), un sistema de comunica-ciones muy sólido y robusto bajo el cual se integran to-das las redes que conforman lo que se conoce actualmen-te como Internet. El enorme crecimiento de Internet sedebe en parte a que es una red basada en fondos guberna-

mentales de cada país que forma parte de Internet, lo queproporciona un servicio prácticamente gratuito. A princi-pios de 1994 comenzó a darse un crecimiento explosivode las compañías con propósitos comerciales en Internet,dando así origen a una nueva etapa en el desarrollo de lared. Descrito a grandes rasgos, TCP/IP mete en paque-tes la información que se quiere enviar y la saca de lospaquetes para utilizarla cuando se recibe. Estos paquetespueden compararse con sobres de correo; TCP/IP guardala información, cierra el sobre y en la parte exterior ponela dirección a la cual va dirigida y la dirección de quienla envía. Mediante este sistema, los paquetes viajan a tra-vés de la red hasta que llegan al destino deseado; una vezahí, la computadora de destino quita el sobre y procesala información; en caso de ser necesario envía una res-puesta a la computadora de origen usando el mismo pro-cedimiento. Cada máquina que está conectada a Internettiene una dirección única; esto hace que la informaciónque se envía no equivoque el destino. Existen dos formasde dar direcciones, con letras o con números. Realmente,las computadoras utilizan las direcciones numéricas pa-ra mandar paquetes de información, pero las direccionescon letras fueron implementadas para facilitar su manejoa los seres humanos. Una dirección con letras consta dedos a cuatro partes. Una dirección numérica está com-puesta por cuatro partes. Cada una de estas partes estádividida por puntos.Ejemplo: sedet.com.mx 107.248.185.1Una de las aplicaciones de la teoría de la información sonlos archivos ZIP, documentos que se comprimen para sutransmisión a través de correo electrónico o como partede los procedimientos de almacenamiento de datos. Lacompresión de los datos hace posible completar la trans-misión en menos tiempo. En el extremo receptor, un soft-ware se utiliza para la liberación o descompresión del ar-chivo, restaurando los documentos contenidos en el ar-chivo ZIP a su formato original. La teoría de la informa-ción también entra en uso con otros tipos de archivo; porejemplo, los archivos de audio y vídeo que se reproducenen un reproductor de MP3 se comprimen para una fácildescarga y almacenamiento en el dispositivo. Cuando seaccede a los archivos se amplían para que estén inmedia-tamente disponibles para su uso.[4]

5 Elementos de la teoría

5.1 Fuente

Una fuente es todo aquello que emite mensajes. Por ejem-plo, una fuente puede ser una computadora y mensajessus archivos; una fuente puede ser un dispositivo de trans-misión de datos y mensajes los datos enviados, etc. Unafuente es en sí misma un conjunto finito de mensajes: to-dos los posibles mensajes que puede emitir dicha fuente.En compresión de datos se tomará como fuente el archivoa comprimir y como mensajes los caracteres que confor-

5.5 Información 3

Esquema de la comunicación ideado por Claude E. Shannon.

man dicho archivo.

5.2 Tipos de fuente

Por la naturaleza generativa de sus mensajes, una fuentepuede ser aleatoria o determinista. Por la relación entrelos mensajes emitidos, una fuente puede ser estructuradao no estructurada (o caótica).Existen varios tipos de fuente. Para la teoría de la infor-mación interesan las fuentes aleatorias y estructuradas.Una fuente es aleatoria cuando no es posible predecir cuáles el próximo mensaje a emitir por la misma. Una fuentees estructurada cuando posee un cierto nivel de redun-dancia; una fuente no estructurada o de información puraes aquella en que todos los mensajes son absolutamen-te aleatorios sin relación alguna ni sentido aparente. Estetipo de fuente emite mensajes que no se pueden compri-mir; un mensaje, para poder ser comprimido, debe po-seer un cierto grado de redundancia; la información purano puede ser comprimida sin que haya una pérdida deconocimiento sobre el mensaje.[5]

5.3 Mensaje

Un mensaje es un conjunto de ceros y unos. Un archivo,un paquete de datos que viaja por una red y cualquier cosaque tenga una representación binaria puede considerarseun mensaje. El concepto de mensaje se aplica también aalfabetos demás de dos símbolos, pero debido a que trata-mos con información digital nos referiremos casi siemprea mensajes binarios.

5.4 Código

Un código es un conjunto de unos y ceros que se usanpara representar un cierto mensaje de acuerdo a reglaso convenciones preestablecidas. Por ejemplo, al mensaje0010 lo podemos representar con el código 1101 usan-do para codificar la función (NOT). La forma en la cualcodificamos es arbitraria. Un mensaje puede, en algunos

casos, representarse con un código de menor longitud queel mensaje original. Supongamos que a cualquier mensa-je S lo codificamos usando un cierto algoritmo de formatal que cada S es codificado en L(S) bits; definimos en-tonces la información contenida en el mensaje S comola cantidad mínima de bits necesarios para codificar unmensaje.

5.5 Información

La información contenida en un mensaje es proporcionala la cantidad de bits que se requieren como mínimo pararepresentar al mensaje. El concepto de información pue-de entenderse más fácilmente si consideramos un ejem-plo. Supongamos que estamos leyendo un mensaje y he-mos leído “cadena de c"; la probabilidad de que el mensa-je continúe con “aracteres” es muy alta. Así, cuando efec-tivamente recibimos a continuación “aracteres” la canti-dad de información que nos llegó es muy baja pues es-tábamos en condiciones de predecir qué era lo que iba aocurrir. La ocurrencia de mensajes de alta probabilidadde aparición aporta menos información que la ocurren-cia de mensajes menos probables. Si luego de “cadena dec” leemos “himichurri” la cantidad de información queestamos recibiendo es mucho mayor.

6 Entropía e información

La información es tratada como magnitud física, carac-terizando la información de una secuencia de símbolosutilizando la entropía. Se parte de la idea de que los ca-nales no son ideales, aunque muchas veces se idealicen lasno linealidades, para estudiar diversos métodos de envíode información o la cantidad de información útil que sepueda enviar a través de un canal.La información necesaria para especificar un sistema fí-sico tiene que ver con su entropía. En concreto, en ciertasáreas de la física, extraer información del estado actual deun sistema requiere reducir su entropía, de tal manera quela entropía del sistema ( S ) y la cantidad de información( I ) extraíble están relacionadas por:

S ≥ S − I ≥ 0

6.1 Entropía de una fuente

De acuerdo a la teoría de la información, el nivel de infor-mación de una fuente se puede medir según la entropíade la misma. Los estudios sobre la entropía son de su-ma importancia en la teoría de la información y se de-ben principalmente a C. E. Shannon. Existe, a su vez, ungran número de propiedades respecto de la entropía devariables aleatorias debidas a A. Kolmogorov. Dada unafuente F que emite mensajes, resulta frecuente observarque los mensajes emitidos no resulten equiprobables sino

4 7 OTROS ASPECTOS DE LA TEORÍA

que tienen una cierta probabilidad de ocurrencia depen-diendo del mensaje. Para codificar los mensajes de unafuente intentaremos pues utilizar menor cantidad de bitspara los mensajes más probables y mayor cantidad de bitspara los mensajes menos probables, de forma tal que elpromedio de bits utilizados para codificar los mensajessea menor a la cantidad de bits promedio de los mensa-jes originales. Esta es la base de la compresión de datos.A este tipo de fuente se la denomina fuente de orden-0,pues la probabilidad de ocurrencia de un mensaje no de-pende de los mensajes anteriores. A las fuentes de ordensuperior se las puede representar mediante una fuente deorden-0 utilizando técnicas de modelización apropiadas.Definimos la probabilidad de ocurrencia de un mensajeen una fuente como la cantidad de apariciones de dichomensaje dividido entre el total de mensajes. Supongamosque Pi es la probabilidad de ocurrencia del mensaje-i deuna fuente, y supongamos que Li es la longitud del códigoutilizado para representar a dicho mensaje. La longitudpromedio de todos los mensajes codificados de la fuentese puede obtener como:

H =∑n

i=0 PiLi

• Promedio ponderado de las longitudes de los códi-gos de acuerdo a sus probabilidades de ocurrencia,al número H se lo denomina “Entropía de la fuente”y tiene gran importancia. La entropía de la fuentedetermina el nivel de compresión que podemos ob-tener como máximo para un conjunto de datos, siconsideramos como fuente a un archivo y obtene-mos las probabilidades de ocurrencia de cada carác-ter en el archivo podremos calcular la longitud pro-medio del archivo comprimido, se demuestra queno es posible comprimir estadísticamente un men-saje/archivo más allá de su entropía. Lo cual implicaque considerando únicamente la frecuencia de apa-rición de cada carácter la entropía de la fuente nosda el límite teórico de compresión, mediante otrastécnicas no-estadísticas puede, tal vez, superarse es-te límite.

• El objetivo de la compresión de datos es encontrarlos Li queminimizan aH, además los Li se deben de-terminar en función de los Pi, pues la longitud de loscódigos debe depender de la probabilidad de ocu-rrencia de los mismos (los más ocurrentes queremoscodificarlos en menos bits). Se plantea pues:

H =∑n

i=0 Pif(Pi)

A partir de aquí y tras intrincados procedimientos mate-máticos que fueron demostrados por Shannon oportuna-mente se llega a que H es mínimo cuando f(Pi) = log2(1/Pi). Entonces:

H =∑n

i=0 Pi(− log2 Pi)

La longitudmínima con la cual puede codificarse unmen-saje puede calcularse como Li=log2(1/Pi) = -log2(Pi).Esto da una idea de la longitud a emplear en los códigosa usar para los caracteres de un archivo en función de suprobabilidad de ocurrencia. Reemplazando Li podemosescribir H como:

H =∑n

i=0 −Pi log2 Pi

De aquí se deduce que la entropía de la fuente depen-de únicamente de la probabilidad de ocurrencia de cadamensaje de la misma, por ello la importancia de los com-presores estadísticos (aquellos que se basan en la probabi-lidad de ocurrencia de cada carácter). Shannon demostró,oportunamente que no es posible comprimir una fuenteestadísticamente más allá del nivel indicado por su entro-pía. [6][7]

7 Otros aspectos de la teoría

• Fuentes de información

• Teorema de muestreo de Nyquist-Shannon• Entropía• Neguentropía• Información mutua

• Canales

• Capacidad

• Compresión de datos

• Codificación de fuente• Códigos no-singulares• Códigos unívocamente decodificables

• Extensión de código• Códigos prefijo (o códigos instantáneos)

• Control de errores

• FEC• ARQ

• Parada y espera• Rechazo múltiple• Rechazo selectivo

• Técnicas híbridas• Concatenación de códigos• Tipo 1• Tipo 2

• Detección de errores

5

• Bits de redundancia• Métodos de control de errores

• Paridad• Códigos autochequeo y autocorrec-tores• Códigos de bloque• Distancia Hamming• Paridad horizontal y vertical

• Códigos lineales• Códigos cíclicos• CRC16• CRC32

8 Véase también• Información

• Teoría algorítmica de la información

9 Referencias[1] Teoría matemática de la comunicación

[2] Teoría Matemática de la Comunicación

[3] Teoría de la Información

[4] Teoría Matemático-informacional

[5] Teoría de la Información | Textos Científicos

[6] Teoría de la Información

[7] Teoría Matemática de la Información

6 10 TEXT AND IMAGE SOURCES, CONTRIBUTORS, AND LICENSES

10 Text and image sources, contributors, and licenses

10.1 Text• Teoría de la información Fuente: http://es.wikipedia.org/wiki/Teor%C3%ADa%20de%20la%20informaci%C3%B3n?oldid=80080605Colaboradores: AstroNomo, PACO, ManuelGR, Interwiki, Sms, Ivan.Romero, Loco085, Yurik, Edub, Rembiapo pohyiete (bot), LP, Ro-botQuistnix, Sebasg37, Chobot, Jesuja, Eloy, Er Komandante, Chlewbot, Paintman, Fercufer, BOTpolicia, ULIF050020014, Valdrik, Da-vius, CaesarExcelsus, Thijs!bot, JAnDbot, Gbsuar, TXiKiBoT, Lalaconyforever, Elisardojm, Humberto, Cinevoro, VolkovBot, Urdangaray,Technopat, Muro Bot, SieBot, Pompilio Zigrino, Correogsk, Estirabot, BetoCG, Nerika, Julian leonardo paez, Ucevista, AVBOT, Diegus-jaimes, Arjuno3, Luckas-bot, Nallimbot, Barnacaga, SuperBraulio13, Xqbot, Jkbw, Botarel, Execoot~eswiki, Rcamacho, Frandzi.rangel,Velual, EmausBot, ChessBOT, WikitanvirBot, Loekiller, Earnaor, MerlIwBot, Nicoletis, Invadibot, Acratta, RosenJax, Addbot, JacobRo-drigues, Egis57 y Anónimos: 63

10.2 Images• Archivo:Esquema_de_comunicación_Shannon.png Fuente: http://upload.wikimedia.org/wikipedia/commons/b/b6/Esquema_de_comunicaci%C3%B3n_Shannon.png Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Nicoletis

10.3 Content license• Creative Commons Attribution-Share Alike 3.0