1

Laboratori de Càlcul Numèric (LaCàN)Departament de Matemàtica Aplicada III

Universitat Politècnica de Catalunya (Barcelona)http://www-lacan.upc.es

Laboratori de Càlcul Numèric (LaCàN)Departament de Matemàtica Aplicada III

Universitat Politècnica de Catalunya (Barcelona)http://www-lacan.upc.es

Aproximación funcional por mínimos cuadrados

Aproximación funcional por mínimos cuadrados

MÍNIMOS CUADRADOS· 2

IntroducciónIntroducción

� Interpolación polinómica pura puede no ser la mejor opción:• si el número de datos (n+1) es elevado, el polinomio

interpolador puede presentar oscilaciones importantes• poca flexibilidad para elegir el tipo de interpolante

(polinomio de grado n)• si los datos son experimentales o susceptibles de tener

un cierto error no tiene sentido imponer que el interpolante pase exactamente por los datos, es suficiente exigir “que se acerque lo máximo posible”

criterio de aproximación

2

MÍNIMOS CUADRADOS· 3

Mínimos cuadrados: criterio de aproximaciónMínimos cuadrados: criterio de aproximación

� Mínimos cuadrados es un criterio de aproximación que se puede utilizar para ajustar cualquier tipo de función:• interpolación polinómica

• interpolación trigonométrica

• otros, por ejemplo,

MÍNIMOS CUADRADOS· 4

Caso particular: regresión linealCaso particular: regresión lineal

3

MÍNIMOS CUADRADOS· 5

Producto escalar y normaProducto escalar y norma

� Producto escalar <·,·>: es una forma1. bilineal

2. simétrica

3. y definida positiva

MÍNIMOS CUADRADOS· 6

� Todo producto escalar tiene una norma asociada

� Norma || · ||:

1. y

2.

3.

4

MÍNIMOS CUADRADOS· 7

� Producto escalar continuo

� Producto escalar discreto

MÍNIMOS CUADRADOS· 9

Ecuaciones normalesEcuaciones normales

� El espacio de aproximación es un espacio vectorial (el interpolante depende linealmente de los coeficientes)

• base

• interpolante

• buscamos los coeficientes c0, c1,...,cm que minimicen

5

MÍNIMOS CUADRADOS· 10

� Para encontrar el mínimo derivamos respecto a los coeficientes

MÍNIMOS CUADRADOS· 11

ProyecciónProyección

� p(x) es la proyección de f(x) sobre Ψ

6

MÍNIMOS CUADRADOS· 12

� Sustituyendo

se obtienen las ecuaciones normales

(notación)

MÍNIMOS CUADRADOS· 13

TeoremaTeorema

Si las funciones son linealmente independientes, el problema de mínimos cuadrados tiene una única solución.

� demostración: • basta comprobar que la matriz de las ecuaciones normales A es

regular• la matriz es regular si la única solución del sistema homogéneo es

el vector 0 (hay que comprobarlo)

7

MÍNIMOS CUADRADOS· 14

Consideremos un vector solución del sistema homogéneo, es decir,

Por lo tanto, la norma de la función es

MÍNIMOS CUADRADOS· 15

|| · || norma

ψi linealmente independientes

8

MÍNIMOS CUADRADOS· 16

Teorema fundamental de MCTeorema fundamental de MC

� Si son linealmente independientes, el problema de mínimos cuadrados, planteado como solución de las ecuaciones normales, 1. Tiene solución única2. La solución se caracteriza por la propiedad de

ortogonalidad

3. Si son una base ortogonal

(coeficientes de Fourier)

MÍNIMOS CUADRADOS· 17

Malcondicionamiento de las ecuaciones normales

Malcondicionamiento de las ecuaciones normales

� Las ecuaciones normales pueden estar muy mal condicionadas (depende de la elección de la base)

� Por ejemplo, la matriz de las ecuaciones normales con base natural de polinomios

y producto escalar continuo

se llama matriz de Hilbert

9

MÍNIMOS CUADRADOS· 18

� Matriz de Hilbert de dimensión m+1

m Número de condición

2 1.9 101

3 5.2 102

5 4.8 105

10 1.6 1013

15 6.1 1020

MÍNIMOS CUADRADOS· 19

Bases ortogonalesBases ortogonales

� Ecuaciones normales con matriz diagonal

10

MÍNIMOS CUADRADOS· 20

Familias de polinomios ortogonalesFamilias de polinomios ortogonales

� Polinomios de Legendre:

� Polinomios de Gram:

con puntos equiespaciados en [-1,1]

� Para intervalo [a,b] se hace un cambio de variable

MÍNIMOS CUADRADOS· 21

Interpolación polinómica por mínimos cuadrados

Interpolación polinómica por mínimos cuadrados

� n+1 datos: f(xi) con i=0,...,n� Aproximación con un polinomio de grado m

donde es una base de Pm(espacio de polinomios de grado menor o igual que m)

� Condición

11

MÍNIMOS CUADRADOS· 22

� Si m>n el producto escalar discreto

es degenerado en Pm (no cumple la 3ª propiedad)

cumple aunque

� Si m=n el polinomio pn(x) es el polinomio de interpolación pura

MÍNIMOS CUADRADOS· 23

Regresión linealRegresión lineal

12

MÍNIMOS CUADRADOS· 24

Paradoja de RungeParadoja de Runge

� Interpolación polinómica pura

5 9 17