Teorias de información

4

description

Regresión con datos de starcraf

Transcript of Teorias de información

Universidad de ConcepciónFacultad de Ingeniería

Departamento de Ingeniería Eléctrica

Problemas MiniProyecto 1

Teorías de Información

Profesor: Sr. Jorge Pezoa N.

Alumnos: Fabián A. Quiroz Gatica, Felipe A. Seguel Mora

Fecha de entrega: 26 de octubre de 2014

Semestre II - 2014

Ingeniería Civil en Telecomunicaciones

�Problemas Miniproyecto 01�

1. Teoría

Derive los estimadores de máxima verosimilitud de los parámetros de las siguientes distribuciones:

Exponencial de parámetro λ

La función de densidad de la distribución exponencial es la siguiente.

f(t) = P (t) =

{λe−λt , t > 0

0 , o.c.(1)

Ahora se tienen N datos de una muestra, suponga que estos datos son independientes. Por lo tanto que secumple que.

f(t1, t2, ...tN |λ) = f(x1|λ) · f(x2|λ)...f(xN |λ) (2)

f(t1|λ) · f(t2|λ)...f(tN |λ) =N∏n=1

λetnλ (3)

• Aplicando logaritmo natural a la ecuación:

ln

(N∏n=1

λetnλ

)=

N∑n=1

ln(λ)− tnλ (4)

• Luego derivamos la expresión respecto a λ e igualamos a cero para maximizar el parámetro λ

d

(N∑n=1

ln(λ)− tnλ

)=

N∑n=1

1

λ− tn = 0 (5)

• Separamos la sumatoria

N∑n=1

1

λ− tn =

N∑n=1

1

λ−

N∑n=1

tn = 0 (6)

• Se resuelve la sumatoria

N

λ=

N∑n=1

tn (7)

• Despejamos λ

λ =N∑Nn=1 tn

(8)

Rayleigh de parámetro σ

Se realiza el mismo análisis realizado para la distribución exponencial.

f(tn|σ) =N∏n=1

[ tnexp(−t2n2σ2

)σ2

](9)

• Aplicando el ln() a la ecuación

N∑n=1

[ln(tn) +

(−t2n2σ2

)− ln(σ2)

](10)

Teoría de Información 1 Semestre II - 2014

�Problemas Miniproyecto 01�

• Derivando la ecuación anterior

N∑n=1

[(−t2n2σ2

)− 2

σ

](11)

• Igualando la derivada a cero para maximizarla se obtiene

1

σ3

N∑n=1

(t2n)−2N

σ= 0 (12)

N∑n=1

(t2n) = 2Nσ2 (13)

σ =

√∑Nn=1(t

2n)

2N(14)

Resolución del problema 1.1 del libro.Considerar la función de errores cuadráticos dados en la ecuación (1.2) in que la función y(x,w) esta dado

por la ecuación polinomial (1.1). Muestre que los coe�cientes w = {wi} que minimizan esta función están dadospor la solución al siguiente conjunto de ecuaciones lineales.

M∑j=0

Aijwi = Ti (15)

donde

Aij =

N∑n=1

(xn)i+j , Ti =

N∑n=1

(xn)itn (16)

Se tiene la ecuación 1.1 y 1.2 del libro respectivamente

E(w) =1

2

N∑n=1

{y(xn,w)}2 (1.1) y(x,w) =

M∑i=0

wixi (1.2) (17)

Se sustituye la ecuación 1.1 en la ecuación 1.2.

E(w) =1

2

N∑n=1

{M∑i=0

wixin − tn}2 (18)

Luego como queremos minimizar el error respecto a los parámetros, entonces debemos derivar respecto a wi.

d

dwiE(w) =

1

2

N∑n=1

d

dwi{M∑i=0

wixin − tn}2 (19)

=1

2

N∑n=1

(2

M∑i=0

wixin − tn)xin (20)

=

N∑n=1

(

M∑i=0

wixin − tn)xin (21)

Ahora igualamos a cero debido a que queremos minimizar.

N∑n=1

(

M∑i=0

wixin − tn)xin = 0 (22)

Teoría de Información 2 Semestre II - 2014

�Problemas Miniproyecto 01�

En ahora nos queda reemplazar las ecuaciones 17 en 16 y reordenar los términos quedando el resultadopedido.

M∑j=0

N∑n=1

(xn)i+jwi =

N∑n=1

(xn)itn (23)

Pasando el término de la derecha hacia la izquierda restando, uni�cando las sumatorias y sacando factorcomún.

M∑j=0

N∑n=1

((xn)jwi − tn)xin = 0 (24)

Finalmente cambiando el orden de las sumatorias, se llega a la misma ecuación 25.

N∑n=1

(

M∑i=0

wixin − tn)xin = 0 (25)

Referencias

[1] Fabián Quiroz �Obtención de variables con sensores en dispositivos con Android �.

[2] De�nición de socket: http://es.wikipedia.org/wiki/Socket_de_Internet.

[3] http://androideity.com/2012/08/05/sockets-en-android/

[4] http://codigoprogramacion.com/cursos/java/103-sockets-en-java-con-cliente-y-servidor.html#.VEqsFYU2l-h

[5] http://developer.android.com/reference/java/net/Socket.html

[6] Jesús Tomás Girones, �El gran libro de Android�, 2◦ Edición, Editorial Alfaomega, 2012. Capítulo 10,�Internet: sockets, HTTP y servicios web� (páginas 321 - 326)

Teoría de Información 3 Semestre II - 2014