Álgebra Matricial y Optimización Ma130cb.mty.itesm.mx/materias/ma4011/materiales/a130-08.pdf ·...

Producto Interno y Ortogonalidad Ma130 - p. 1/90

Álgebra Matricial y OptimizaciónMa130

Producto Interno y OrtogonalidadDepartamento de Matemáticas

ITESM

ContextoIntroduccionProducto PuntoPropiedades •NormaEjercicio 5

Propiedades ‖‖Desigualdad deSchwarzDistancia entreMatricesEjercicio 10

Angulo entrematricesOrtogonalidadEjercicio 15Ejercicio 20BasesOrtonormalesExistencia deBasesOrtonormalesProyeccionOrtogonalDescomposicionQRAplicacion¿Y la TI?


Contexto

Hemos mencionado que el problema fundamental del álgebra lineal

consiste en resolver un sistema de ecuaciones lineales Ax = b y

hemos introducido varios conceptos sofisticados para manejar la

solución y el análisis. El concepto de espacio generado resuelve el

problema de la consistencia: El sistema es consistente si y sólo si

b ∈ C(A) (el espacio generado por las columnas de A). Otro

concepto importante es el concepto de dependencia lineal y

resuelve el problema de la unicidad: Si el sistema Ax = b es

consistente, entonces Ax = b tiene infinitas soluciones si y sólo si

las columnas de A forman un conjunto linealmente dependiente.

Los conceptos de dimensión y de base de un espacio lineal

permiten tener una idea qué tan grande es el conjunto solución y

cómo generarlo: Si el sistema Ax = b es consistente, entonces la

fórmula de todas las soluciones es y = yo + ns(A) donde yo es

una solución particular y ns(A) es el espacio nulo de A, es decir, el

conjunto de todos los vectores que satisfacen Ax = 0.





De hecho, si B = {x1, . . . ,xr} es una base para ns(A), entoncesla solución general será

y = yo +

r∑

i=1

ci · xi

y esta será la solución general en su forma más reducida posible.

El caso consistente ha dado origen a toda la teoría que hemos visto

hasta ahora. Pasemos ahora a la inconsistencia. De alguna forma

debemos cambiar la pregunta por que el tema se agotó: Si es

Ax = b inconsistente, entonces no hay solución. Una forma

adecuada de reformular la pregunta es: No habiendo solución para

Ax = b, ¿qué es lo más cerca posible que podemos estar de una

solución? Esto involucra dos conceptos hermanados: distancia y

perpendicularidad. Y ellos tienen como origen el concepto de

producto interno o producto punto que es el tema de esta lectura.





Introducción

En esta lectura veremos cómo definir un producto punto o producto

interno en espacios de matrices (pues tenga presente que nos

interesa el paso de Ax = b a AX = B también en el caso

inconsistente). Veremos que aunque en un principio la definición

del producto punto apartir del uso de la traza sea extraña, esta

definición es de lo más cómoda porque hace coincidir el producto

punto entre matrices con el producto punto tradicional entre

vectores cuando las matrices son vectorizadas. La estructura

clásica de la construcción del Algebra Lineal referente al producto

interno es: definir un producto interno, probar ciertas propiedades

básicas, estas propiedades incluyen en concepto de ortogonalidad,

y entonces mostrar que se puede definir una norma a partir del

producto interno; para llegar la definir una distancia con la norma

se requiere probar la desigualdad de Cauchy-Schwarz. Cuando se

dice que se tiene una distancia en el espacio lineal se tiene el

concepto de cercanía y el de error.





Las propiedades importantes que deben ser deducidas para que la

distancia definida sea cabalmente una distancia son de identidad

(que si la distancia entre dos objetos es cero, entonces los objetos

son idénticos), de simetría (que la distancia medida de un objeto a

otro es independiente de cual de los dos sea el punto de

referencia), la desigualdad del triángulo (la distancia entre dos

puntos no excede la suma de las distancias de uno de ellos a otro

intermedio mas la distancia de ese intermedio al segundo punto; y

habrá igualdad cuando el punto intermedio esté en el segmento

que une ambos puntos). El proceso de Gram-Schmidt será la clave

para encontrar una base para C(A) desde donde será fácil

encontrar el punto más próximo de C(A) a b y allí a la mejor

solución posible a Ax = b.





Un producto punto mediante la traza

Definici onSean A y B dos matrices m× n, el productointerno o producto punto de A y B se define como:

A •B = tr (B′ ·A)


Ejemplo

Determine A •B si

A =

3 −1

2 0

5 −2

, B =

1 −1

0 1

4 −3


Ejemplo

Determine A •B si

A =

3 −1

2 0

5 −2

, B =

1 −1

0 1

4 −3

Soluci on

B′ ·A =

1 0 4

−1 1 −3

3 −1

2 0

5 −2

=

23 −16

−9 7


Ejemplo

Determine A •B si

A =

3 −1

2 0

5 −2

, B =

1 −1

0 1

4 −3

Soluci on

B′ ·A =

1 0 4

−1 1 −3

3 −1

2 0

5 −2

=

23 −16

−9 7

Por tanto:

A •B = tr

23 −16

−9 7

= 23 + 7 = 30 �





Ejercicio 1

Para las matrices siguientes calcule A •B.

1. A =

[

2 −1

3 1

]

y B =

[

1 0

−1 0

]

2. A =

[

2 −1 3

1 0 1

]

y B =

[

1 0 −1

0 2 1

]

3. A =

2 −1

3 1

0 1

y B =

1 0

−1 0

2 1





Propiedades del producto punto

Teorema

Sean A, B y C matrices m× n y sea k unescalar. Entonces el producto punto cumplelas siguientes propiedades:






Teorema

Sean A, B y C matrices m× n y sea k unescalar. Entonces el producto punto cumplelas siguientes propiedades:1. Simetría: A •B = B •A






Teorema

Sean A, B y C matrices m× n y sea k unescalar. Entonces el producto punto cumplelas siguientes propiedades:1. Simetría: A •B = B •A2. No negatividad: A •A ≥ 0, habiendo

igualdad ssi A = 0






Teorema


igualdad ssi A = 0

3. Proporcionalidad: (kA) •B = k (A •B)






Teorema


igualdad ssi A = 0


4. Distributividad:(A+B) •C = A •C+B •C






Teorema


igualdad ssi A = 0


4. Distributividad:(A+B) •C = A •C+B •C

5. 0 •A = 0





Demostraci on1. Directo de la definición:

A •B = tr (B′A)

=






A •B = tr (B′A)

= tr(

(B′A)′)

=






A •B = tr (B′A)

= tr(

(B′A)′)

= tr (A′B)

=






A •B = tr (B′A)

= tr(

(B′A)′)

= tr (A′B)

= B •A





2. De la sección anterior:

A •A =






A •A = tr (A′A)

=






A •A = tr (A′A)

=∑m

i=1

∑nj=1

a2ij






A •A = tr (A′A)

=∑m

i=1

∑nj=1

a2ij ≥ 0






A •A = tr (A′A)

=∑m

i=1

∑nj=1

a2ij ≥ 0

Además, A •A = 0 ssim∑

i=1

n∑

j=1

a2ij = 0






A •A = tr (A′A)

=∑m

i=1

∑nj=1

a2ij ≥ 0

Además, A •A = 0 ssim∑

i=1

n∑

j=1

a2ij = 0

ssi aij = 0 para todo i = 1 . . .m y j = 1 . . . n ssiA = 0 �





Ejercicio 2

Demuestre el punto 3 del teorema anterior:Sean A y B matrices m× n y sea k unescalar. Pruebe que:

(kA) •B = k (A •B)

Sugerencia

Utilice la definición de •, la propiedad de latranspuesta, y la propiedad 1 del Lema 5.1.





Ejercicio 3

Demuestre el punto 4 del teorema anterior:Sean A, B y C matrices m× n. Pruebe que:

(A+B) •C = A •C+B •C

Sugerencia

Utilice la definición de •, la propiedad de latranspuesta, y la propiedad 2 del Lema 5.1.





Ejercicio 4

Demuestre el punto 5 del teorema anterior:Sea A una matriz m× n. Pruebe que:

0 •A = 0





La norma de una matriz

Definici onLa norma de la matriz A m× n se define como:

‖A‖2= ‖A‖ =

√A •A





La norma de una matriz

Definici onLa norma de la matriz A m× n se define como:

‖A‖2= ‖A‖ =

√A •A

Observe que por el punto 2 del teorema anterior,A •A ≥ 0; así que la raíz cuadrada entregará unreal mayor o igual a cero.





EjemploDetermine la norma de la matriz:

A =

3 −1

2 0

5 −2






A =

3 −1

2 0

5 −2

Soluci on Como

A′A =

3 2 5

−1 0 −2

3 −1

2 0

5 −2

=

38 −13

−13 5






A =

3 −1

2 0

5 −2

Soluci on Como

A′A =

3 2 5

−1 0 −2

3 −1

2 0

5 −2

=

38 −13

−13 5

Así

A •A = tr

38 −13

−13 5

= 43

y por tanto, ‖A‖ =√43 �





Ejercicio 5

Para las matrices siguientes calcule sunorma.

1. A =

[

2 −1

3 1

]

2. A =

[

2 −1 3

1 0 1

]

3. A =

2 −1

3 1

0 1





Un hecho importante sobre la norma de unamatriz es:

‖A‖ = tr (A′A) =

(

m∑

i=1

n∑

j=1

(aij)2

)1/2

Lo cual hace coincidir la definición tradicional denorma de un vector con la norma de una matrizcuando la matriz es utilizada para formar un solovector formado por los renglones de ella. Algo m asimportante de observar es que el producto punto entrematrices usando la traza equivale al producto puntotradicional aplicado a los vectores obtenidos devectorizar las matrices.





Ejemplo

Verifiquemos la afirmación en el caso de matrices2× 2.Comprobaci on

Digamos que

A =

[

a11 a12

a21 a22

]

B =

[

b11 b12

b21 b22

]

Así

B′ A =

[

a11b11 + a21b21

a12b12 + a22b22

]

De donde

A •B = (a11b11 + a21b21) + (a12b12 + a22b22)





Propiedades de la norma de matrices

Teorema

Sea A una matriz m× n y k un escalar:






Teorema

Sea A una matriz m× n y k un escalar:1. ‖A‖ ≥ 0, además ‖A‖ = 0 ssi A = 0






Teorema


2. ‖ −A‖ = ‖A‖






Teorema


2. ‖ −A‖ = ‖A‖3. ‖kA‖ = |k| ‖A‖






Teorema


2. ‖ −A‖ = ‖A‖3. ‖kA‖ = |k| ‖A‖

Demostraci on

1. De lo visto

‖A‖ =√A •A =

(

m∑

i=1

n∑

j=1

(aij)2

)1/2

≥ 0

Y también de lo mismo se deduce que ‖A‖ = 0 ssi A = 0.






Teorema


2. ‖ −A‖ = ‖A‖3. ‖kA‖ = |k| ‖A‖

Demostraci on

3. Por las propiedades conocidas:

‖kA‖ =√

(kA) • (kA) =√k2A •A = |k|

√A •A = |k| ‖A‖





Ejercicio 6

Demuestre el punto 2. del teorema anterior:Sea A una matriz m× n. Pruebe que:

‖ −A‖ = ‖A‖

Sugerencia

Use directamente la definición de lamagnitud de una matriz.





Desigualdad de Schwarz

En la línea tradicional, el siguiente paso para verque nuestro producto punto llega a definir unadistancia a través de la definición de la norma, esprobar que nuestro producto punto y la normacumplen una relación de desigualdad llamada ladesigualdad de Cauchy-Schwarz.

Teorema

Sean A y B matrices m× n:

|A •B| ≤ ‖A‖ · ‖B‖

Además, la igualdad se tiene si y sólo si unamatriz es un múltiplo de la otra.


Demostraci on

En esta demostración es importante que vigile el rol de los factores en losproductos: en los productos • los factores en ambos lados deben ser matrices,mientras en los productos · el factor a la izquierda es escalar y el factor a laderecha debe ser una matriz. Para cualesquiera escalares x y y:

0 ≤ (x ·A− y ·B) • (x ·A− y ·B)

= x2‖A‖2 − 2xy (A •B) + y2‖B‖2


Demostraci on


0 ≤ (x ·A− y ·B) • (x ·A− y ·B)

= x2‖A‖2 − 2xy (A •B) + y2‖B‖2

Suponiendo B 6= 0, tomamos x = ‖B‖ y y = (A •B)/‖B‖:


Demostraci on


0 ≤ (x ·A− y ·B) • (x ·A− y ·B)

= x2‖A‖2 − 2xy (A •B) + y2‖B‖2


0 ≤ ‖B‖2 ‖A‖2 − (A •B)2


Demostraci on


0 ≤ (x ·A− y ·B) • (x ·A− y ·B)

= x2‖A‖2 − 2xy (A •B) + y2‖B‖2


0 ≤ ‖B‖2 ‖A‖2 − (A •B)2

De donde se obtiene:

(A •B)2 ≤ ‖B‖2 ‖A‖2

y tomando raíz cuadrada se obtiene la conclusión.


Además, si A = k ·B se tiene que ‖A‖ = |k| ‖B‖ y así

|A •B| = |k| (B •B) = |k| ‖B‖2 = ‖A‖ ‖B‖



|A •B| = |k| (B •B) = |k| ‖B‖2 = ‖A‖ ‖B‖

Por otro lado, si |A •B| = ‖A‖ ‖B‖ definimos

C = ‖B‖2 ·A− (A •B) ·B



|A •B| = |k| (B •B) = |k| ‖B‖2 = ‖A‖ ‖B‖

Por otro lado, si |A •B| = ‖A‖ ‖B‖ definimos

C = ‖B‖2 ·A− (A •B) ·B

se puede confirmar que desarrollando el producto término a término: C •C = 0,implicando que C = 0, de donde ‖B‖2 ·A = (A •B) ·B si suponemos B 6= 0

deducimos que

A =(A •B)

‖B‖2 ·B

lo que dice que A es un múltiplo de B. Si B = 0, claramente B = 0 ·A y la

desigualdad se cumple con igualdad�





Ejercicio 7

Sean A y B dos matrices m× n. Demuestreque

‖A+B‖ ≤ ‖A‖+ ‖B‖y que existe igualdad sólo cuando una matrizes un múltiplo escalar de la otra.Sugerencia

Utilice

‖A+B‖2 = (A+B) • (A+B)

Desarrolle tal producto punto. Despuésutilice la desigualdad de Schwarz.Finalmente, tome raíz cuadrada. Para laigualdad se requiere igualdad en ladesigualdad de Schwarz.


Lema

Sean X y Y dos matrices m× n. Entonces X y Y son ortogonales, esdecir, cumplen X •Y = 0 si y sólo si

‖X±Y‖2 = ‖X‖2 + ‖Y‖2


Lema

Sean X y Y dos matrices m× n. Entonces X y Y son ortogonales, esdecir, cumplen X •Y = 0 si y sólo si

‖X±Y‖2 = ‖X‖2 + ‖Y‖2

Demostraci on

Tenemos en general que

‖X±Y‖2 = (X±Y) • (X±Y)

= X •X± 2X •Y +Y •Y= ‖X‖2 + ‖Y‖2 ± 2X •Y

Por tanto, si X •Y = 0 entonces de la fórmula anterior se deduce la igualdad que

queremos probar. Por otro lado, si la fórmula se cumple nuestra fórmula indica que

X •Y = 0. Es decir X y Y son perpendiculares. �





La distancia entre dos matrices

Definici onSean A y B dos matrices m× n la distancia entrematrices A y B se define como:

δ (A,B) = ‖A−B‖





Determine la distancia entre las matrices:

A =

3 −1

2 0

5 −2

B =

1 −1

0 1

1 −2






A =

3 −1

2 0

5 −2

B =

1 −1

0 1

1 −2

C = A−B =

2 0

2 −1

4 0

C′C =

[

2 2 4

0 −1 0

]

2 0

2 −1

4 0

=

[

24 −2

−2 1

]






A =

3 −1

2 0

5 −2

B =

1 −1

0 1

1 −2

Así

δ(A,B) = ‖C‖ =√C •C =

√

tr (C′C) =√24 + 1 = 5⋄





Ejercicio 8


1. A =

3 −1

2 1

5 2

y B =

1 1

−1 1

1 2

2. A =

[

3 −1

5 2

]

y B =

[

−1 1

1 2

]





Ejercicio 9

Sean A y B dos matrices de igualesdimensiones. Pruebe que:

δ(A,B) = δ(B,A)

Sugerencia

Use directamente la definición de distanciaentre matrices. Utilice también la propiedadconmutativa del producto punto.





Ejercicio 10

Sean A y B dos matrices de igualesdimensiones. Pruebe que:

δ(A,B) ≥ 0

Además, pruebe que hay igualdad si y sólo siA = B.Sugerencia

Utilice la definición de distancia entrematrices y la propiedad 1 del teorema 6.2sobre la norma para matrices.





Ejercicio 11

Sean A, B y C dos matrices de igualesdimensiones. Pruebe que:

δ(A,B) ≤ δ(A,C) + δ(C,B)

Vea que existe igualdad si sólo si existe unescalar t (0 ≤ t ≤ 1) tal queC = tA+ (1− t)B. Esta desigualdad sellama Desigualdad del triángulo.Sugerencia

Utilice como válido el resultado del ejercicio7 con A como A−C y con B como C−B.





Ejercicio 12

Sean A, B y C dos matrices de igualesdimensiones. Pruebe que:

δ(A,B) = δ(A+C,B+C)

Esta propiedad indica que la distancia entrematrices se preserva ante traslaciones.Sugerencia

Directamente de la definición de distancia.





Ángulo entre matrices

Definici onSean A y B dos matrices m× n, no nulas, elángulo entre matrices A y B, θ, se define como

cos (θ) =A •B

‖A‖ ‖B‖

Aquí θ debe cumplir: 0 ≤ θ ≤ π.





Ejemplo

Determine el ángulo en radianes entre las matrices

A =

3 −1

2 0

5 −2

, B =

−4 −1

0 0

1 −2





Ejemplo


A =

3 −1

2 0

5 −2

, B =

−4 −1

0 0

1 −2

Soluci on Como

A •B = −2, ‖A‖ =√43, ‖B‖ =

√22





Ejemplo


A =

3 −1

2 0

5 −2

, B =

−4 −1

0 0

1 −2

Soluci on Como

A •B = −2, ‖A‖ =√43, ‖B‖ =

√22

cos (θ) =−2√43√22

≈ −0.065, por tanto θ ≈ 1.63 radianes⋄





Ejercicio 13

Determine el ángulo en radianes entre lasmatrices

A =

[

3 −1

5 −2

]

, B =

[

−4 −1

1 −2

]





Ejercicio 14

Determine el valor de x para que el ánguloen radianes entre las matrices

A =

[

3 −1

5 −2

]

, B =

[

−4 −1

1 x

]

sea de 0.1.Sugerencia

Entréle sin miedo: A •B es una expresión lineal en x. |B|es una raíz cuadrada de un polinomio cuadrático en x.Cuando se iguala:

cos (0.1rad) =A •B

‖A‖ ‖B‖

después de elevar al cuadrado y multiplicar por

denominadores queda una ecuación cuadrática en x.





Ortogonalidad y espacios generados

Sean A y B dos matrices m× n, se dice que sonmatrices ortogonales si se cumple

A •B = 0







A •B = 0

Un conjunto {A1,A2, . . . ,Ak} de matrices m× nse dice conjunto ortogonal si Ai •Aj = 0 parai 6= j







A •B = 0

Un conjunto {A1,A2, . . . ,Ak} de matrices m× nse dice conjunto ortogonal si Ai •Aj = 0 parai 6= j El conjunto anterior se dice ortonormal si esortogonal y además cada matriz tiene norma 1.





Una vez que se tiene un conjunto ortogonal deelementos no cero

{A1,A2, . . . ,Ak}es posible convertirlo a uno ortonormal

{B1,B2, . . . ,Bk}definiendo:

Bi =1

‖Ai‖Ai





Ejercicio 15

Determine el valor de x para que lasmatrices sean ortogonales.

A =

[

3 −1

5 −2

]

, B =

[

−4 −1

1 x

]

Sugerencia

Al hacer A •B = 0 queda una ecuaciónlineal en x.





Ejercicio 16

Determine qué condición deben cumplir lasvariables para que A ⊥ B.

A =

[

3 −1

5 −2

]

, B =

[

x y

z w

]

Sugerencia

Al hacer A •B = 0 queda una ecuaciónlineal.





Ejercicio 17

Sea A una matriz m× n muestre que elconjunto

A⊥ = {X matriz m× n|A ⊥ X}es un espacio lineal.Sugerencia

Al hacer A •X = 0 queda una ecuaciónhomogénea. Las soluciones a los sistemashomogéneos son espacios lineales.





Ejercicio 18

Determine el espacio perpendicular a lamatriz:

[

1 1

−1 1

]

Escíbalo como un espacio generado.Sugerencia

Tome una matriz X 2× 2 con incógnitas. Alhacer A •X = 0 queda una ecuaciónhomogénea con 4 incógnitas; una de ellas esfija y las otras son libres. Despeje la fija ypóngala en función de las libres. En lugar dela notación de vector en la solución general,prefiera la notación de matriz.





Ejercicio 19

Sea V un subespacio lineal de matricesm× n muestre que el conjunto

V ⊥ = {X matriz m× n|Y ⊥ X para toda Y ∈ V }es un espacio lineal.Sugerencia

Muestre que■ no es vacío: la matriz de ceros está

(compruébelo!),■ es cerrado bajo la suma (compruébelo), y■ es cerrado bajo el producto por escalares

(compruébelo).





Ejercicio 20

Determine el espacio perpendicular alespacio generado por las matrices matrices:

A =

[

1 1

−1 1

]

y B =

[

1 −1

1 1

]

Sugerencia

Tome una matriz X 2× 2 de incógnitas:■ A •X = 0 da una ecuación en las incógnitas

■ B •X = 0 da otra ecuación en las incógnitas

Resuelva el sistema homogéneo, encuentre la solución

general y déle la notación matricial.


Lema

Un conjunto ortogonal de matrices no nulas es linealmente independiente


Lema


Demostraci on

Si {A1A2, . . . ,Ak} es un conjunto ortogonal de matrices no nulas y si se cumple:

c1A1 + c2A2 + · · ·+ ckAk = 0

veamos que los coeficientes ci son cero.


Lema


Demostraci on

Si {A1A2, . . . ,Ak} es un conjunto ortogonal de matrices no nulas y si se cumple:

c1A1 + c2A2 + · · ·+ ckAk = 0

veamos que los coeficientes ci son cero. Haciendo el producto punto con Ai:

Ai • (c1A1 + c2A2 + · · ·+ ckAk) = Ai • 0 = 0


Desarrollando el primer miembro:

Ai • (c1A1) +Ai • (c2A2) + · · ·+Ai • (ckAk) = 0



Ai • (c1A1) +Ai • (c2A2) + · · ·+Ai • (ckAk) = 0

Como el conjunto es ortogonal entonces Ai •Aj = 0 para i 6= j,



Ai • (c1A1) +Ai • (c2A2) + · · ·+Ai • (ckAk) = 0

Como el conjunto es ortogonal entonces Ai •Aj = 0 para i 6= j, la expresiónanterior queda:

ciAi •Ai = 0



Ai • (c1A1) +Ai • (c2A2) + · · ·+Ai • (ckAk) = 0


ciAi •Ai = 0

Puesto que ninguna matriz Ai es nula, Ai •Ai 6= 0 :

ci = 0



Ai • (c1A1) +Ai • (c2A2) + · · ·+Ai • (ckAk) = 0


ciAi •Ai = 0

Puesto que ninguna matriz Ai es nula, Ai •Ai 6= 0 :

ci = 0

Así, cada coeficiente en la combinación lineal es cero. Por tanto, el conjunto de

matrices es linealmente independiente.�


Lema

Sea A una matriz y V = Gen{B1, . . . ,Bk} en Mm×n. Entonces: A esortogonal a todo V si y sólo si A es ortogonal a cada Bi.

Demostraci on


Lema


Demostraci on

Suficiencia: Si suponemos que A es ortogonal a todo V y sabiendo que cada Bi

está en V , entonces es inmediato que A es ortogonal a Bi.


Lema


Demostraci on

Necesidad: Supongamos ahora que A es ortogonal a todo Bi, es decir queA •Bi = 0 para todo i = 1, . . . , k. Veamos que entonces es ortogonal a cualquierX de V . Tomemos un X cualquiera de V . Como V está generado por los Bi,entonces deben existir escalares ci tales que

X =

k∑

i=1

ck ·Bi

Por tanto,

A •X = A • (∑k

i=1 ck ·Bi)

=∑k

i=1 A • (ck ·Bi)

=∑k

i=1 ci(A •Bi)∑





Bases Ortonormales

El siguiente resultado es importante porquepermite cambiar la base de un espacio generadopor otra que es ortogonal. La misma demostracióndel resultado da el algoritmo de conversión.

Teorema

Sea un conjunto {A1,A2, . . . ,Ak} dematrices m× n linealmente independiente.Entonces existen escalares únicos xi,j(i < j)tales que:

B1 = A1

B2 = A2 − x1,2B1

...Bj = Aj − x1,jB1 − x2,jB2 − · · · − xj−1,jBj−1

...


Demostraci on

Definimos los valores escalares xi,j como precisamente se requieren:

xi,j =Aj •Bi

Bi •Bi

Un punto importante a observar es que los {A1,A2, . . . ,Aj} son combinacioneslineales de los {B1,B2, . . . ,Bj} y por consiguiente el conjunto de los Bs eslinealmente independiente. La base inductiva para i = 2 se comprueba revisandoque B1 y B2 son ortogonales:

B2 •B1 = A2 •B1 − x1,2B1 •B1 = A2 •B1 −A2 •B1

B1 •B1B1 •B1 = 0


Supongamos que {B1, . . . ,Bi} es un conjunto ortogonal para 1 ≤ i ≤ k − 1,veamos {B1, . . . ,Bi,Bi+1} también lo será. Para ello basta probar que Bi+1 esortogonal a cada Bj para 1 ≤ j ≤ i. Como

Bi+1 = Ai+1 −i∑

l=1

xl,i+1Bl

Así

Bi+1 •Bj =(

Ai+1 −∑i

l=1 xl,i+1Bl

)

•Bj

= Ai+1 •Bj −∑i

l=1 xl,i+1Bl •Bj

= Ai+1 •Bj − xj,i+1Bj •Bj

= 0

Note que en el penúltimo paso fue requerida la base inductiva: que Bj era

ortogonal a sus compañeros en {B1, . . . ,Bi}.�





Ejemplo

Aplique el algoritmo anterior al conjunto formadopor las matrices:

A1 =

[

1 0

1 0

]

,A2 =

[

1 −1

1 0

]

,A3 =

[

1 1

0 2

]





Ejemplo


A1 =

[

1 0

1 0

]

,A2 =

[

1 −1

1 0

]

,A3 =

[

1 1

0 2

]

Soluci on

B1 = A1

B1 •B1 = 2 y A2 •B1 = 2; x12 = 1

B2 = A2 − x12B1 =

[

0 −1

0 0

]





Realizando los cálculos:

B2 •B2 = 1;A3 •B1 = 1;A3 •B2 = −1;

Obtenemos:

x13 = 1/2, x23 = −1;

Y así:

B3 = A3 − x13B1 − x23B2 =

[

1/2 0

−1/2 2

]

⋄





Estos cálculos pueden hacerse en la calculadoraTI, para ello habrá que vectorizar las matrices yseguir las fórmulas: en la figura 1 aparecencapturadas las matrices como vectores y en lafigura 2 aparecen los cálculos del algoritmo deortogonalización.

Figura 1: Captura de la matrices vectorizadas del ejemplo 7.





Figura 2: Obtención del conjunto ortogonal del ejemplo 7.





Ejemplo


A1 =

[

1 0

1 0

]

,A2 =

[

2 0

2 0

]

,A3 =

[

1 1

0 2

]





Ejemplo


A1 =

[

1 0

1 0

]

,A2 =

[

2 0

2 0

]

,A3 =

[

1 1

0 2

]

Soluci on

B1 = A1

B1 •B1 = 2 y A2 •B1 = 4; x12 = 2

B2 = A2 − x12B1 =

[

0 0

0 0

]

este cálculo indica que vector A2 es combinación lineal de los

vectores anteriores a él y por tanto el conjunto original es

linealmente dependiente. Debemos descartar al vector A2.





Realizando solo el cálculo:

A3 •B1 = 1;

Obtenemos:x13 = 1/2

Y así:

B3 = A3 − x13B1 =

[

1/2 1

−1/2 2

]

⋄





Ejercicio 21

Aplique el algoritmo anterior al conjuntoformado por las matrices:

A1 =

[

1 0

1 1

]

,A2 =

[

1 −1

1 1

]

,A3 =

[

1 0

0 2

]

Sugerencia

Siga el algoritmo; no hay de otra.





Existencia de Bases Ortonormales

EL resultado anterior se conoce como elprocedimiento de Gram-Schmidt, y permitecambiar una base por una base ortogonal, dedonde es fácil obtener una base ortonormal:

Teorema

Todo espacio lineal de matrices m× n poseeuna base ortonormal





Demostraci onSabemos que todo espacio lineal posee una base,digamos {A1, . . . ,Ak}. Sean lo Bj los las matricesobtenidas de aplicar el proceso de Gram-Schmidt.Los espacios generado por los Bi y los Ai soniguales pues las matrices Bi son combinacioneslineales de los vectores Ai y viceversa. Así, losconjuntos generados son los mismos. Si lasmatrices Ai forman un conjunto linealmenteindependiente, también lo debe ser el conjuntoformado por los Bi. Por tanto, el conjunto formadopor los Bi es también una base para el espaciogenerado por los Ai.⋄





Una ventaja inmediata de una base ortonormal{A1,A2, . . . ,Ak} es que si A es una combinaciónlineal de las matrices anteriores entonces:

A = (A •A1)A1 + (A •A2)A2 + · · ·+ (A •Ak)Ak

es decir, que no hace falta utilizar el proceso deeliminación gaussiana para determinar loscoeficientes, si no simplemente hacer un productopunto con el vector correspondiente.





Una consecuencia también inmediata es que sepuede completar un conjunto linealmenteindependiente y ortogonal a una base ortogonalen un espacio lineal de matrices m× n. Una formaconviente es aplicar el proceso de Gram-Schmidtal conjunto li y ortogonal aumentado con una basecualquiera del espacio y detener el proceso hastaobtener el primer vector cero. El resultadoesperado debe ser el conjunto inicial adicionadocon algunos vectores. Este conjunto debe ser unabase para el espacio completo.





Proyección ortogonal

Teorema

Sea Y una matriz m× n y un espacio lineal V de dimensiónr, ambos dentro de un espacio lineal U .






Teorema

Sea Y una matriz m× n y un espacio lineal V de dimensiónr, ambos dentro de un espacio lineal U . Entonces, existeuna unica matriz Z en V tal que (Y − Z) ⊥ V .






Teorema

Sea Y una matriz m× n y un espacio lineal V de dimensiónr, ambos dentro de un espacio lineal U . Entonces, existeuna unica matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0

entonces Z = 0,






Teorema


entonces Z = 0, y si r > 0 entonces Z se puede expresarcomo

Z = c1X1 + . . .+ crXr,

donde {X1, . . . ,Xr} forman una base ortonormal de V yci = Y •Xi para i = 1, . . . , r.






Teorema



Z = c1X1 + . . .+ crXr,

donde {X1, . . . ,Xr} forman una base ortonormal de V yci = Y •Xi para i = 1, . . . , r. Además, Z = Y si y sólo siY ∈ V .






Teorema



Z = c1X1 + . . .+ crXr,

donde {X1, . . . ,Xr} forman una base ortonormal de V yci = Y •Xi para i = 1, . . . , r. Además, Z = Y si y sólo siY ∈ V . La matriz Z se llamará la proyección ortogonal deY sobre V y cumple que d(Z, Y ) ≤ d(X,Y ) para toda X enV y hay igualdad si y sólo si Z = X.





Demostraci onSi r = 0 entonces dim(V ) = 0, y por tanto V = {0}.





Demostraci onSi r = 0 entonces dim(V ) = 0, y por tanto V = {0}.Para Z = 0 se tiene (Y−Z) ⊥ V .





Demostraci onSi r = 0 entonces dim(V ) = 0, y por tanto V = {0}.Para Z = 0 se tiene (Y−Z) ⊥ V . Y es claramentela única matriz en V que cumple esto.


Si r > 0 sea {X1, . . . ,Xr} una base ortonormal de V ydefinamos ci = Y •Xi para i = 1, . . . , r y Z =

∑ri=1

ciXi.



∑ri=1

ciXi.Claramente, Z ∈ V y

(

Y −r∑

i=1

ciXi

)

•Xj = Y •Xj − cj = cj − cj = 0

para cada j = 1, . . . , r.



∑ri=1


(

Y −r∑

i=1

ciXi

)

•Xj = Y •Xj − cj = cj − cj = 0

para cada j = 1, . . . , r. Y por tanto, (Y − Z) ⊥ V .



∑ri=1


(

Y −r∑

i=1

ciXi

)

•Xj = Y •Xj − cj = cj − cj = 0

para cada j = 1, . . . , r. Y por tanto, (Y − Z) ⊥ V . Si ahoraX ∈ V y cumple (Y −X) ⊥ V entonces:

(X− Z) • (X− Z) = (X−Y +Y − Z) • (X− Z)

= −(Y −X) • (X− Z) + (Y − Z) • (X− Z)

= −0 + 0 = 0





Si X es una matriz en V entonces X− Z tambiénestá en V y por tanto X− Z será ortogonal aY − Z. De donde deducimos que

‖X−Y‖2 = ‖X− Z‖2 + ‖Y − Z‖2

de donde

d(X,Y)2 = d(X,Z)2 + d(Y,Z)2

y por tanto d(Z,Y) ≤ d(X,Y). Y esto se cumplecon igualdad si y sólo si X = Z �





Ejercicio 22

Considere el espacio lineal formado por todas lassoluciones al sistema homogéneo:

x+ y + z − w = 0

x− y − z + w = 0

y el vector d =< 1, 3, 2, 1 >.■ Usando el orden primero x, luego y, luego z, y por último

w, encuentre una base para el espacio solución.

■ Ortogonolice la base encontrada.

■ Usando la base encontrada, determine la proyecciónortogonal de d sobre tal espacio.

■ Usando el orden primero y, luego w, luego y, y por últimoz, encuentre una base para el espacio solución.

■ Ortogonolice la base nueva base.

■ Usando la nueva base encontrada, determine laproyección ortogonal de d sobre tal espacio.





Descomposición QR

Sea A una matriz m× k de rango columnacompleto. Simbolicemos por a1, a2, . . . , ak lascolumnas de la matriz A. Por el resultado anterior,deben existir escalares xi,j(i < j = 1, . . . , k) talesque los vectores columna b1, . . . ,bk definidos enforma recursiva por las igualdades:

b1 = a1

b2 = a2 − x1,2b1

...bj = aj − x1,jb1 − · · · − xj−1,jbj−1

...bk = ak − x1,kb1 − · · · − xk−1,kbk−1





o por las igualdades:

a1 = b1

a2 = b2 + x1,2b1

...aj = bj + x1,jb1 + · · ·+ xj−1,jbj−1

...ak = bk + x1,kb1 + · · ·+ xk−1,kbk−1

forman un conjunto ortogonal. Sea B la matrizcuya columna i es el vector bi, y sea X la matrizk × k triangular superior unitaria cuyo elemento(i, j) es xi,j entonces:

A = BX





Si se define la matriz D como

D = diag (‖b1‖−1, ‖b2‖−1, . . . , ‖bk‖−1) ,

E = diag (‖b1‖, ‖b2‖, . . . , ‖bk‖)y como

Q = BD y R = EX

entoncesA = QR

es una factorización de A en dos matrices: laprimera formada por columnas que sonortonormales y la segunda triangular superior conelementos de la diagonal principal positivos.





Ejemplo

Determine la factorización QR de la matriz:

A =

1 1

1 2

1 3

1 4

1 5

1 6





Soluci on : Trabajemos con las columnas de A:

a1 = (1, 1, 1, 1, 1, 1)′, a2 = (1, 2, 3, 4, 5, 6)′

Así:b1 = a1

Calculando:

b1 • b1 = 6 y a2 • b1 = 21

Obtenemos:x12 = 7/2





Y así:

b2 = a2−x12 b1 = (−5/2,−3/2,−1/2, 1/2, 3/2, 5/2)′

Calculando:b2 • b2 = 35/2





Por tanto

Q = [b1,b2]D =

1 −5/2

1 −3/2

1 −1/2

1 1/2

1 3/2

1 5/2

[ √6/6 0

0√70/35

]





Q =

1/6√6 −1/14

√70

1/6√6 −3/70

√70

1/6√6 −1/70

√70

1/6√6 1/70

√70

1/6√6 3/70

√70

1/6√6 1/14

√70





R =

[ √6 0

0 1/2√70

][

1 x12

0 1

]

=

[ √6 7

2

√6

0 1

2

√70

]





Ejercicio 23

Determine la factorización QR de la matriz:

A =

2 1

−1 1

2 2

−1 0





Aplicación de la factorización QR

Teorema

Si A es una matriz cuyas columnas sonlinealmente independientes y si A = QR esuna factorización QR de A. Entonces laúnica solución x de Ax = b por mínimoscuadrados se expresa teóricamente como

x = R−1QTb





Ejemplo

Aplique la factorización QR para resolver pormínimos cuadrados el sistema:

1 1

1 2

1 3

1 4

1 5

1 6

x =

1

2

0

1

1

2





Soluci on Por el ejemplo anterior, la factorización dela matriz de coeficientes es:

A = QR =

1/6√6 −1/14

√70

1/6√6 −3/70

√70

1/6√6 −1/70

√70

1/6√6 1/70

√70

1/6√6 3/70

√70

1/6√6 1/14

√70

[ √6 7

2

√6

0 1

2

√70

]





Siguiendo la estrategia descrita en el últimoresultado la solución por el método de mínimoscuadrados se calcula por la fórmula:

x = R−1QTb

R−1 =

[

1/6√6 −1/10

√70

0 1/35√70

]

y por tanto,

x = R−1QTb =

13

15

3

35

⋄





Ejercicio 24

Aplique la factorización QR para resolver pormínimos cuadrados el sistema:

2 1

−1 1

2 2

−1 0

x =

1

2

0

1





Uso de la TI

La calculadora TI 89 o TI Voyage 200 puede ser utilizada para lafactorización QR. La ventaja de la rutina numérica programada esque da información sobre el espacio nulo de la matriz de entradacuando las columnas de la matriz no son linealmenteindependientes. Considere por ejemplo la matriz

A =

1 2

2 4

Las figuras 3 y 4 muestran la entrada y los cálculos en la TI. El

punto a señalar es que habiendo ceros en la diagonal de R se

indica que los vectores correspondientes en Q están en el espacio

nulo de la matriz A. De hecho, todos los vectores correspondientes

a ceros en la diagonal de R forman la base para el espacio nulo de

A.





Figura 3: Descomposición QR de A en la TI.





Figura 4: La naturaleza de los ceros en la diagonal de R.


Ejemplo

Determine la distancia de P (0,−2,−1) al espacio que generanlos vectores:

v1 =

−2

3

−1

,v2 =

1

5

−3


Ejemplo

Determine la distancia de P (0,−2,−1) al espacio que generanlos vectores:

v1 =

−2

3

−1

,v2 =

1

5

−3

Con los vectores v1 y v2 formamos la matriz A a la cual leaplicamos la factorización QR:

A = [v1 v2] = QR =

−1/7√14 17/1365

√1365

3/14√14 4/273

√1365

1/14√14 −2/105

√1365

·

√14 5/7

√14

0 1/7√1365


De donde los coeficientes de Fourier del vector que representa aP ,v =< 0,−2, 1 > son:

[v]Q

= QT · v =

− 12

√14

− 2195

√1365



[v]Q

= QT · v =

− 12

√14

− 2195

√1365

y de allí que la proyección de v a C(A) es:

vC(A) = Q · [v]Q

=

161195

− 13378

− 730



[v]Q

= QT · v =

− 12

√14

− 2195

√1365

y de allí que la proyección de v a C(A) es:

vC(A) = Q · [v]Q

=

161195

− 13378

− 730

Por tanto, la distancia de v a C(A) es

d(v, C(A)) =∣

∣

∣

∣v − vC(A)

∣

∣

∣

∣ =

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

− 161195

− 2378

− 2330

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

=23

390

√390


Ejemplo

Determine la distancia de P (0,−2,−1, 1) al conjunto de soluciones del sistema

Bx =

2 1 3 1

−1 0 2 1

x1

x2

x3

x4

=

0

0


Ejemplo

Determine la distancia de P (0,−2,−1, 1) al conjunto de soluciones del sistema

Bx =

2 1 3 1

−1 0 2 1

x1

x2

x3

x4

=

0

0

Este problema se resuelve como el anterior, pero debemos encontrar un conjuntogenerador. Para ello tenemos dos alternativas: o seguir el proceso descrito enlecturas anteriores o calcular lo que se conoce como el espacio nulo de B:Aquellos vectores x tal que Bx = 0. En general, los conjuntos generadoresobtenidos por ambos procesos son diferentes pero ambos son base para el mismoconjunto. Si utilizamos la alternativa del espacio nulo tenemos:

nullspace(B) = Gen

2

−7

1

0

,

1

−3

0

1


Así el problema se ha transformado en encontrar la distancia de P (= v) a C(A)

donde A es la matriz cuyas columnas son el generador de nullspace(B). Se dejacomo ejercicio comprobar que:

A =

2 1

−7 −3

1 0

0 1

= QR =

1/9√6 4/585

√390

−7/18√6 −1/1170

√390

1/18√6 −23/1170

√390

0 3/65√390

·

3√6 23/18

√6

0 1/18√390

vC(A) =

43/65

−19/65

−47/65

−14/65

d(v, C(A)) = 1/65√4615


Ejemplo

Determine la matriz X que mejor resuelve el sistema AX = B para

A =

1 2

0 −1

1 1

, B =

1 2 −1

0 −1 8

1 1 2


Ejemplo

Determine la matriz X que mejor resuelve el sistema AX = B para

A =

1 2

0 −1

1 1

, B =

1 2 −1

0 −1 8

1 1 2

La factorización QR de A es

A = QR =

1/2√2 1/6

√6

0 −1/3√6

1/2√2 −1/6

√6

√2 3/2

√2

0 1/2√6

Por tanto, la matriz X que minimiza el error cuadrático es:

X = R−1

Q′B =

1 0 10

0 1 −19/3

Y el error cometido con X es 25/3 �

Álgebra Matricial y Optimización Ma130cb.mty.itesm.mx/materias/ma4011/materiales/a130-08.pdf ·...

Documents

Transcript of Álgebra Matricial y Optimización Ma130cb.mty.itesm.mx/materias/ma4011/materiales/a130-08.pdf ·...