TEORIA DE LA INFORMACION Claude Elwood

Shannon

Claude Elwood Shannon Nacimiento: Claude Elwood

Shannon nació el 30 de abril de 1916 en Petoskey, Michigan, en el seno de una culta familia media americana. Su padre, Claude Elwood, era el juez de una pequeña localidad de tres mil habitantes, llamada Gaylord, y su madre la directora del instituto. Además de sus padres, Shannon recibió una influencia decisiva de su abuelo, un granjero al que gustaba construir todo tipo de máquinas agrícolas, el cual le inculcó dos aficiones que siempre practicaría, la construcción de ingenios electromecánicos y los juegos malabares.

InicioInicio

Estudios Los primeros años de su vida los pasó en

Gaylord, donde se graduó de la secundaria en 1932. Desde joven, Shannon demostró una inclinación hacia las cosas mecánicas. Resaltaba respecto a sus compañeros en las asignaturas de ciencias. Su héroe de la niñez era Edison, a quien luego se acercó bastante en sus investigaciones.

En 1932 ingresó en la Universidad de Míchigan, siguiendo a su hermana Catherine, doctora en matemática. En 1936 obtuvo los títulos de ingeniero electricista y matemático. Su interés por la matemática y la ingeniería continuó durante toda su vida.

En 1936 aceptó la posición de asistente de investigación en el departamento de ingeniería eléctrica en el Instituto de Tecnología de Massachusetts (MIT). Su situación le permitió continuar estudiando mientras trabajaba por horas para el departamento, donde trabajó en el computador analógico más avanzado de esa era, el Differential Analyzer de Vannevar Bush.

InicioInicio

Teoría De La Información Utilizó su teoría para medir

la información y su contenido.

Cuanto más inesperado es un suceso, mas cantidad de información puede generar

El contenido de la información de un suceso = una función decreciente de la probabilidad de su aparición.

Para traducir las probabilidades en información Shannon uso el logaritmo de la inversa de la probabilidad

La teoría de la información surgió a finales de la segunda guerra mundial en los años cuarenta. En esta época se buscaba utilizar de manera más eficiente los canales de comunicación, mandando así una cantidad de información por un determinado canal y como medir su capacidad. Esta teoría buscaba la transmisión óptima de los mensajes.

Es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.

InicioInicio

N° de sucesos por ShannonFormalmente si tenemos un conjunto de n

sucesos, uno de los cuales sabemos con certeza que va a ocurrir, y cada uno con una probabilidad de que ocurra entonces:

El contenido de información expresado por Shannon es:

1

1

n

iix

i

n

ii xxxH

1log)(

1

InicioInicio

Entropía (H) y capacidad del emisor

n variables aleatorias con

probabilidades P1….Pn

H medida en bits por símbolo

H mide la cantidad deinformación de una fuente Concepto clave de la TI Capacidad de la fuente H/t

i

n

ii ppxH

1log)(

1

InicioInicio

El nivel de la entropía se interpreta como la diferencia relativa del contenido de la información

Menos entropía es equivalente a más igualdad

El caso con más desigualdad es cuando un solo individuo recibe toda la renta

Si la renta se reparte equitativamente entre mas personas la medida debería incrementarn

Si quitamos renta a n individual (con la misma renta cada uno) y se la damos a un individuo la medida debería decrecer

n Sequence of xi sum y=sum x*ln(1/x)1 1.00 . . . . . . . . . 1 0.0002 0.50 0.50 . . . . . . . . 1 0.3014 0.25 0.25 0.25 0.25 . . . . . . 1 0.60210 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.0002 0.50 0.50 . . . . . . . . 1 0.3012 0.60 0.40 . . . . . . . . 1 0.2922 0.90 0.10 . . . . . . . . 1 0.14110 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.00010 0.91 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 1 0.217

n Sequence of xi sum y=sum x*ln(1/x)1 1.00 . . . . . . . . . 1 0.0002 0.50 0.50 . . . . . . . . 1 0.3014 0.25 0.25 0.25 0.25 . . . . . . 1 0.60210 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.0002 0.50 0.50 . . . . . . . . 1 0.3012 0.60 0.40 . . . . . . . . 1 0.2922 0.90 0.10 . . . . . . . . 1 0.14110 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.00010 0.91 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 1 0.217

InicioInicio

Modelo De La Comunicación El modelo comunicacional desarrollado por Shannon y Weaver se

basa en un sistema de comunicación general que puede ser representado de la siguiente manera:

InicioInicio

Modelo De La ComunicaciónFUENTE DE INFORMACION: selecciona el mensaje

deseado de un conjunto de mensajes posibles. TRANSMISOR: transforma o codifica esta

información en una forma apropiada al canal. SEÑAL: mensaje codificado por el transmisor. CANAL: medio a través del cual las señales son

transmitidas al punto de recepción. FUENTE DE RUIDO: conjunto de distorsiones o

adiciones no deseadas por la fuente de información que afectan a la señal. Pueden consistir en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.), errores de transmisión (telégrafo), etc.

RECEPTOR: decodifica o vuelve a transformar la señal transmitida en el mensaje original o en una aproximación de este haciéndolo llegar a su destino.

InicioInicio

Medición De La InformaciónEste establece que

mientras más probable sea un mensaje menos información proporcionará.

la probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo.

I(xi) : cantidad de información proporcionada por xi.

p(xi) : probabilidad de xi

I(Xk) > I(Xi)

P(Xk) < P(Xi)

Si y soloSi

InicioInicio

MuerteClaude Elwood

Shannon falleció el 24 de febrero del año 2001, a la edad de 84 años, después de una larga lucha en contra la enfermedad de Alzheimer.