BorradorEstimacion de ParametrosGerman Bassi9 de septiembre de 20101. Estimacion de la MediaDada la variable aleatoria X , podemos estimar el valor esperado de la mismamediante la siguiente formula:X = 1N Ni=1 X(i) = 1N 1TX.Ambas representaciones son iguales pero, en ciertas circunstancias, conviene utilizaruna antes que la otra.Una propiedad importante en un estimador es el valor esperado del mismo. Sedenomina sesgo de un estimador a la diferencia entre dicho valor y el verdaderovalor del parametro a estimar. Es deseable que un estimador sea insesgado, es decir,que su sesgo sea nulo por ser su esperanza igual al parametro que se desea estimar.En nuestro caso,

E[X ] = E

[1

N

Ni=1

X(i)

]=

1

N

Ni=1

E[X(i)] =1

N

Ni=1

X = X .

Esto significa que el estimador de la media presentado es insesgado.Otra caracterstica que nos da una idea de la bondad del estimador es la va-rianza del mismo. Nuevamente, es deseable que la varianza disminuya conforme elnumero de muestras tomadas por el estimador aumente. Se dice que un estimador esconsistente cuando este converge a su valor verdadero cuando el numero de datosde la muestra tiende a infinito. En nuestro caso,Var[X ] = E

[(X X)2

]= E

[(1

N1T (X X)

)2]

= E

[1

N21T (X X) (X X)T 1

]=

1

N21TCX1.

La operacion 1TCX1 resulta en la sumatoria de todas las componentes de la matrizCX. Dado que dichas componentes estan acotadas en valor absoluto por 2X , la

1

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametrossumatoria no puede exceder el valor 2XN2. En el imposible caso lmite, donde lacovarianza de la variable aleatoria fuese 2X para cualquier retardo, la varianza dela estimacion sera 2X . Sin embargo, para los procesos normales y no periodicos, endonde la funcion de covarianza tiene un maximo en el origen y siempre disminuyea medida que tendemos a infinito, el valor de la sumatoria de las componentes deCX aumenta mas lentamente que N2. Como resultado, el estimador de la media esconsistente.En el caso de que las realizaciones de X esten descorrelacionadas entre s, lamatriz CX resulta 2XI. De esta manera, podemos reescribir la ecuacion anterior auna mas sencilla:

Var[X ] =2XN. (1)Aqu vemos claramente que la varianza de la estimacion tiende a cero a medida queaumenta el numero de muestras tomadas.

2. Estimacion de la VarianzaDada la variable aleatoria X , podemos estimar la varianza de la misma mediantela siguiente formula:

2X =1

N 1Ni=1

(Xi X

)2.

A diferencia del estimador de la media, este estimador posee un factor de escaladoigual a 1/(N 1), denominado correccion de Bessel. En el caso de que las muestrassean independientes entre s, este factor permite obtener un estimador insesgado dela varianza.Demostracion.E[2X

]=E

[1

N 1Ni=1

(Xi X

)2]

=1

N 1E[Ni=1

(Xi X + X X

)2]

=1

N 1E[Ni=1

(Xi X

)2 2(X X) Ni=1

(Xi X

)+

Ni=1

(X X

)2]

=1

N 1E[Ni=1

(Xi X

)2 2(X X)N (Ni=1XiN

X)+N

(X X

)2]

=1

N 1E[Ni=1

(Xi X

)2 2N(X X)2 +N(X X)2]

=1

N 1E[Ni=1

(Xi X

)2 N(X X)2]

=1

N 1

{Ni=1

E[(Xi X

)2]NE[(X X)2]}

2

Borrador

Apuntes de Procesos Estocasticos Estimacion de ParametrosEn el primer termino de la ecuacion anterior se encuentra la formula analtica para lavarianza de una variable aleatoria, mientras que en el segundo termino, encontramosla varianza del estimador de la media. En el caso de variables i.i.d., este ultimotermino resulta el encontrado en (1). Por lo tanto,

E[2X

]=

1

N 1

(Ni=1

2X N2XN

)=

1

N 1(N2X 2X

)= 2X .

La distribucion de probabilidad de los valores del estimador de la varianza sigueuna distribucion 2. Es por esto que la derivacion de la varianza del estimador resultacompleja y no se tratara en este apunte. Sin embargo, dejamos el resultado a mododescriptivo:Var[2X

]=

(N 1)2N3

E[(X X)4

] (N 1)(N 3)N3

2X .

Debido a que la dependencia de la varianza con respecto al numero de muestras es 1/N , podemos ver que este estimador tambien es consistente.3. Estimacion de la Autocorrelacion

La funcion de autocorrelacion de un proceso es, de manera informal, la similitudentre las observaciones de dicho proceso en funcion del tiempo de separacion entreellas. Dado el proceso estocastico Xn podemos estimar su funcion de autocorrelacionmediante la siguiente formula:R

(i)X (k) =

1

N kNki=1

XiXi+k,

para 0 < k < N . Este estimador es insesgado como vemos a continuacion:E

[R

(i)X (k)

]=

1

N kNki=1

E[XiXi+k]

=1

N kNki=1

RX(k)

= RX(k).

Sin embargo, el estimador anterior tiene un inconveniente. A medida que el valorde k aumenta, la sumatoria anterior contiene cada vez menos terminos, lo que provocaun promedio mas ruidoso. El efecto es mas notorio en los extremos del vector demuestras, cuando k N . Dado que la funcion de autocorrelacion tiende a cero entiempo infinito1, el resultado del estimador nos provee de informacion invalida enesta zona, como se aprecia en la Figura 1(a).1En el caso de un proceso de media nula y que no sea periodico. Si el proceso tiene media, laautocorrelacion tiende a un valor fijo igual a 2X .

3

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametros

k-400 -200 0 200 400

-0,5

0

0,5

1

1,5

(a) Estimacion insesgada de la autocorrelacion.

k-400 -200 0 200 400

0

0,4

0,8

1,2

(b) Estimacion sesgada de la autocorrelacion.Figura 1: Comparacion de los estimadores de la autocorrelacion para ruido blancoGaussiano Xn N (0, 1) para N = 390.

En el caso de que el proceso sea de media nula, una manera de remediar elproblema mencionado es utilizando un estimador sesgado:R

(s)X (k) =

1

N

Nki=1

XiXi+k.

El objetivo de este nuevo estimador es anular las colas en la estimacion. Vemos acontinuacion que, para valores de k > 0, el estimador sesgado es simplemente una4

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametrosversion escalada del estimador insesgado:

R

(s)X (k) =

N kN k

1

N

Nki=1

XiXi+k

=

(1 k

N

)1

N kNki=1

XiXi+k

=

(1 k

N

)R

(i)X (k).

El escalado resulta por el producto entre el valor insesgado y una ventana triangular.Si el intervalo donde la autocorrelacion verdadera posee valores no nulos es muchomenor que el largo de las muestras N , el sesgo puede despreciarse.En las Figuras 1(a) y 1(b), podemos apreciar los dos estimadores de la auto-correlacion para la misma realizacion de un mismo proceso. Este consiste de 390muestras de un ruido blanco Gaussiano de media nula y varianza unitaria. En elcaso del estimador insesgado, Figura 1(a), es notorio el efecto de las pocas muestrasen la estimacion en los lmites del intervalo. Incluso, los valores all son superioresal de k = 0. Por el contrario, en la Figura 1(b), el estimador sesgado nos provee deinformacion mas exacta acerca de la dinamica del proceso.La distribucion de probabilidad de los valores del estimador de la autocorrelaciones similar al caso del estimador de la varianza. Es decir, este estimador, en cualquierade sus dos versiones, es consistente. Por esta razon, necesitamos muchas muestraspara que el valor del estimador en cada uno de los retardos tenga poco error. Comovemos en los graficos, los valores cercanos a k = 0 poseen bastante aleatoriedaddebido a las pocas muestras utilizadas.4. Estimacion de la Densidad Espectral de Potencia

La densidad espectral de potencia de una senal SX() es una funcion matematicaque nos informa de como esta distribuida la potencia de dicha senal en las distin-tas frecuencias que la forman, es decir, su espectro. Segun el teorema de Wiener-Khinchin, en el caso de los procesos estocasticos tenemos que:SX() = F{RX(k)},

donde F{} es la transformada de Fourier. Por simplicidad, a continuacion solotendremos en cuenta el caso discreto y utilizaremos la siguiente notacion:X() = F{Xn} =

N1i=0

Xie2pii.

El estimador de la densidad espectral de potencia mas utilizado es el del perio-dograma de la senalSX() =

|X()|2N

.

5

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametros

m

i

0 N 1

N 1

m i=N 1

m i=0

m i=(N 1)

Figura 2: Representacion grafica de las sumatorias de (2). Los puntos grises corres-ponden a los terminos de las sumatorias.Desarrollando la esperanza de este estimador podemos ver de donde proviene:

E[SX()

]=

1

NE[X()X()

]=

1

NE

[N1m=0

Xme2pim

N1i=0

Xie2pii

]

=1

N

N1m=0

N1i=0

E[XmXi] e2pi(mi)

=1

N

N1m=0

N1i=0

RX(m i)e2pi(mi). (2)La Figura 2 muestra los rangos y la cantidad de terminos que poseen las sumatoriasde esta ecuacion. Asimismo, notemos que los terminos en las diagonales m = m ison todos iguales pero no as su cantidad. Si tenemos en cuenta estos factores,simplificamos la esperanza anterior de la siguiente manera:

E[SX()

]=

1

N

N1m=(N1)

(N |m|)RX(m)e2pim

=N1

m=(N1)

(1 |m

|N

)RX(m

)e2pim. (3)

El resultado anterior nos muestra dos aspectos de la esperanza del estimador dela densidad espectral. Primero, los lmites de la sumatoria no son , y segundo, eltermino entre parentesis representa el mismo sesgo que el estimador de la funcionde autocorrelacion. En resumen, este estimador es sesgado. Sin embargo, a medida6

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametrosque N , el termino entre parentesis tiende a uno, y los lmites de la sumatoriatienden a , por lo tanto,

E[SX()

]

NSX().

Importante: En (3) podemos ver que el periodograma es equivalente a tomar laTransformada de Fourier del estimador sesgado de la autocorrelacion, es decir,SX() =

N1k=(N1)

R

(s)X (k)e

2pik.

Al igual que en los casos anteriores, debemos analizar el comportamiento de lavarianza de este estimador para ver si es consistente. La derivacion de esta varianzaes compleja y vara dependiendo del proceso Xn en particular. Sin embargo, derealizar estos analisis veramos que la varianza del estimador no tiende a anularse amedida que el numero de muestras aumenta. De manera general, el comportamientode la varianza es:Var[SX()

]= SX()

2.En la Figura 3(a), vemos la estimacion de la densidad espectral para el procesoXn =

Wn +Wn12

,

donde Wn es ruido blanco Gaussiano de media nula y varianza unitaria. Aqu apre-ciamos claramente el comportamiento de la varianza enunciado anteriormente. Dadoque el proceso Xn es un promediador, sus componentes espectrales estan en lasbajas frecuencias. All, donde los valores son altos, tambien lo es la varianza delestimador. Por otro lado, en el lmite de la alta frecuencia, pi, la densidad espectralde potencia es nula y la varianza del estimador, mnima.Para combatir este problema, recurrimos a un segundo estimador de la densidadespectral:S

(ave)X () =

1

L

L1l=0

SX,l().

Este nuevo estimador es el promedio de L periodogramas distintos del proceso Xn,con lo que logramos suavizar las variaciones de los mismos.La esperanza del estimador resulta igual al caso anterior ya que solo estamospromediando varias estimaciones:E[S

(ave)X ()

]=

1

L

L1l=0

E[SX,l()

]

N1

L

L1l=0

SX() = SX().

Y por ultimo, dado que las distintas realizaciones del estimador son indepen-dientes entre s2, la varianza del estimador suavizado tiende a cero a medida que el2Esto surge del analisis de la varianza del estimador, ver [1].

7

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametros

-4 -3 -2 -1 0 1 2 3 40

2

4

6

8

10

(a) Periodograma del proceso Xn.

-4 -3 -2 -1 0 1 2 3 40

0,2

0,4

0,6

0,8

1

1,2

1,4EstimadaTerica

(b) Periodograma suavizado del proceso Xn.Figura 3: Comparacion de los estimadores de la densidad espectral de potencia parael proceso Xn = (Wn +Wn1)/2, donde Wn N (0, 1) i.i.d..numero de bloques crece:

Var[S

(ave)X ()

]=

1

L2

L1l=0

Var[SX,l()

]=

1

L2LSX()

2

=

LSX()

2 L

0.

En la Figura 3(b), vemos el estimador suavizado donde podemos apreciar como8

Borrador

Apuntes de Procesos Estocasticos Estimacion de Parametroseste sigue mas fielmente el valor teorico de la densidad espectral de potencia delproceso Xn. Para esta simulacion el tamano de los bloques fue N = 1024 y lacantidad de bloques promediados, L = 64. En el caso de la Figura 3(a), la cantidadde muestras utilizadas para el periodograma simple fue N = 1024 64.En este segundo estimador, el numero de muestras necesario para la estimaciones N L, N muestras por periodograma y L periodogramas promediados. Dado queuno dispone de una cantidad determinada de muestras, debemos elegir en cuantosbloques de N muestras dividiremos nuestro total. Si elegimos un valor de L muygrande para disminuir el error de estimacion, el valor de N sera chico, y por consi-guiente, la discriminacion en frecuencia que logramos con la Transformada de Fouriersera poca. Por el contrario, si tomamos un valor de N grande para tener una grandiscriminacion en frecuencia, el error de estimacion sera mas notorio.Referencias[1] Leon-Garcia, Alberto: Probability and Random Processes for Electrical Enginee-ring, 2da edicion. Massachusetts: Addison-Wesley, 1994.[2] Papoulis, Athanasios: Probability, Random Variables and Stochastic Processes,3ra edicion. New York: McGraw-Hill, 1991.[3] Wolfram MathWorld: Sample Variance Distribution from Wolfram Math-World. http://mathworld.wolfram.com/SampleVarianceDistribution.html(consultado el 27 de agosto de 2010).

9

Estimacin de la MediaEstimacin de la VarianzaEstimacin de la AutocorrelacinEstimacin de la Densidad Espectral de Potencia