ESTIMACIN LINEAL DE ERROR CUADRTICO MEDIO MNIMO

MOTIVACIN: Los estimadores ptimos segn el criterio de Bayes son, en

general, funciones no lineales de las observaciones. Es necesario conocer la f.d.p. de la variable aleatoria dadas las

observaciones. Usando estimadores lineales (el estimador es combinacin lineal

de los datos):

Slo necesitamos los momentos de segundo orden.

El estimador se obtiene como solucin de un sistema de ecuaciones lineales.

PLANTEAMIENTO: Disponemos de un vector de observaciones: [ ]Nxxxx ,,,, 321 K=x

El estimador aproxima la variable aleatoria y por una

combinacin lineal de las observaciones:

=

= Ni

ii xay1

*

El criterio seguido es el de minimizacin del valor cuadrtico

medio del error de estimacin:

( )[ ]

=

=

2

1

2N

iii xayEeE

PRINCIPIO DE ORTOGONALIDAD El estimador lineal de error cuadrtico medio mnimo es el que

produce un error de estimacin que es ortogonal a los datos:

[ ] NkexExxayE kkNi

ii ==

=1 ;0

1

Demostracin: { }Niia 1= : vector de coeficientes del estimador lineal ptimo. { }Niia 1' = : vector de coeficientes de otro estimador lineal. { }Niix 1= : datos utilizados en la estimacin.

El error de estimacin con el nuevo estimador:

= = = =

=== Ni

N

i

N

i

N

iiiiiiiiiii xaaexaaxayxaye

1 1 1 1)'()'(''

Su valor cuadrtico medio:

( )[ ]

=

=

2

1

2 )'('N

iiii xaaeEeE

[ ] [ ]

+=

==

N

iiii

N

iiii xaaeExaaEeEeE

1

2

1

22 )'(2)'()'(

0)'(1

=

=

N

iiii xaaeE

( )[ ] ( )22' eEeE

CONCLUSIN: El valor cuadrtico medio mnimo se obtiene

cuando el error es ortogonal a los datos.

ECUACIONES NORMALES El principio de ortogonalidad permite obtener fcilmente los

coeficientes del estimador lineal de error cuadrtico medio mnimo.

[ ] NkexExxayE kkNi

ii ==

=1 ;0

1

[ ] [ ]=

=Ni

kkii NkyxExxEa1

1 ;

=

=Ni

yxixx NkRaR kki1

1 ;

Observacin:

El clculo de los coeficientes del estimador slo requiere informacin de los estadsticos de segundo orden en general, peor solucin que en el caso Bayesiano.

CONSIDERACIONES DE INTERS El error cuadrtico medio es la diferencia de los valores

cuadrticos medios de la variable a estimar y de su estimador lineal.

Demostracin: Por ser el error ortogonal a los datos: [ ] [ ] [ ] [ ] 0)()( 2***** === yEyyEyyyEeyE es decir: [ ] [ ]2** )(yEyyE = Finalmente, el error cuadrtico medio se expresa como:

( )[ ] ( )[ ] [ ] ( )[ ]( )[ ] [ ] ( )[ ] [ ]22*2

**2

)( ======

yEyEyyEyE

yyyEeyEyyeEeE

El error cuadrtico medio puede reducirse utilizando ms datos

en la estima, si estos datos no son ortogonales a la variable a estimar:

=

= Ni

yxiyyee iRaRR1

La reduccin del error cuadrtico medio es tanto mayor, cuanto

mayor sea la correlacin del dato extra introducido con la variable a estimar.

Interpretacin geomtrica:

x2

x1

y*

y

e

FILTRO DE WIENER-HOPF DE TIEMPO

DISCRETO La estimacin lineal de error cuadrtico medio mnimo puede

extenderse fcilmente a la estimacin de seales de tiempo discreto, con las siguientes consideraciones:

Las observaciones son muestras de un proceso estocstico. Los coeficientes del estimador son las muestras de la

respuesta impulsiva de un filtro lineal.

[ ] [ ] [ ]inxnand Ni

i = =

1

0

[ ] [ ] [ ]ndndn =

d[n]: seal a estimar (deseada). x[n]: seal observada. [n]: error de estimacin. Los coeficientes del filtro se obtienen aplicando el principio de

ortogonalidad:

[ ] [ ][ ] [ ] [ ] [ ] [ ] 1,....,1,0 ;0 10

==

=

=NlinxnandlnxEnlnxE

N

ii

[ ] [ ] [ ]=

==10

110 ;,,N

idxxi ,...,N,llnnRinlnRna

Para el caso estacionario:

[ ] [ ]=

==10

.1,...,1,0 ;N

idxxi NllRliRa

[ ] [ ] [ ]iRaRE dxNi

id =

= 10

2 0

APLICACIONES TPICAS

Problema Forma de la observacin

Secuencia deseada

Filtrado de la seal con ruido

[ ] [ ] [ ]nnsnx += [ ] [ ]nsnd = Prediccin de la seal con ruido

[ ] [ ] [ ]nnsnx += [ ] [ ] 0 ; >+= ppnsnd Suavizado de la seal con ruido

[ ] [ ] [ ]nnsnx += [ ] [ ] 0 ; >= ppnsnd Prediccin lineal

[ ] [ ]1= nsnx [ ] [ ]nsnd =

PROBLEMA PRCTICO:

Desconocimiento de la caracterizacin estadstica del problema (funciones de autocorrelacin de la seal observada y de correlacin cruzada de las seales observada y deseada).

SOLUCIN: Estimacin de las funciones de autocorrelacin y correlacin

cruzada (necesitamos ergodicidad). Utilizacin de algoritmos iterativos Filtro de Widrow-Hopf.

PREDICCIN LINEAL Se utilizan las muestras disponibles de un proceso para generar

muestras futuras del mismo.

[ ] [ ]=

= Nk

k knxanx1

Puede resolverse el problema sin utilizar algoritmos iterativos

estimando la secuencia de autocorrelacin (ergodicidad). El predictor lineal se obtiene aplicando el principio de

ortogonalidad:

[ ] [ ] [ ] NmmnxknxanxE Nk

k ,...,1 ;01

==

=

[ ] [ ] NmkmRamR Nk

xkx ,...,1 ;1

== =

APLICACIN: Codificacin diferencial:

Codificador Diferencial.

Decodificador Diferencial.