Análisis de Componentes Principales (ACP) · elementos de la Matriz de Varianza y Covarianza de la...

Sistemas de VisiónSistemas de Visiónen Manufacturaen Manufactura

Análisis de Análisis de Componentes Componentes

Principales Principales (ACP)(ACP)

Maestría en Maestría en MIC, UDBMIC, UDB

Presenta: Sergio Miguel García PérezPresenta: Sergio Miguel García Pérez Enero de 2015Enero de 2015

IntroducciónIntroducción

Cuando se recoge información de una muestra de datos, lo más

frecuente es tomar el mayor número posible de variables. Sin

embargo, si se toman demasiadas variables sobre un conjunto, por

ejemplo 20 variables, se tendrá que considerar 180 posibles

coeficientes de correlación. Evidentemente, en este caso es difícil

visualizar relaciones entre las variables.

SVM, Maestría en MIC Análisis de Componentes Principales

Otro problema que se presenta es, la fuerte correlación que muchas

veces se presenta entre las variables: si tomamos demasiadas variables,

lo normal es que estén relacionadas o que midan lo mismo bajo distintos

puntos de vista. Se hace necesario, reducir el número de variables.

Es importante resaltar el hecho de que el concepto de mayor información

se relaciona con el de mayor variabilidad o varianza. Cuanto mayor sea

la variabilidad de los datos (varianza) se considera que existe mayor

información, lo cual está relacionado con el concepto de entropía.


El Análisis de Componentes Principales (ACP) pertenece a un grupo

de técnicas estadísticas multivariantes, eminentemente descriptivas.

Concepto que ha sido muy difundido, especialmente en el

tratamiento de grandes masas de datos.

Estas técnicas fueron inicialmente desarrolladas por Pearson a

finales del siglo XIX y posteriormente fueron estudiadas por

Hotelling en los años 30 del siglo XX. Sin embargo, hasta la

aparición de los ordenadores no se empezaron a popularizar.


En estadística, el Análisis de Componentes Principales, es una técnica

utilizada para reducir la dimensionalidad de un conjunto de datos.

Intuitivamente la técnica sirve para hallar las causas de la variabilidad de un

conjunto de datos y ordenarlas por importancia.

Técnicamente, el ACP busca la proyección según la cual los datos queden

mejor representados en términos de mínimos cuadrados. El ACP se emplea

sobre todo en análisis exploratorio de datos y para construir modelos

predictivos. El ACP comporta el cálculo de la descomposición en

autovalores de la matriz de covarianza, normalmente tras centrar los datos en

la media de cada atributo.


Para estudiar las relaciones que se presentan entre p variables

correlacionadas (que miden información común) se puede

transformar el conjunto original de variables en otro conjunto de

nuevas variables incorreladas entre sí (que no tenga repetición o

redundancia en la información) llamado conjunto de componentes

principales.

“Las nuevas variables son combinaciones lineales de las

anteriores y se van construyendo según el orden de importancia

en cuanto a la variabilidad total que recogen de la muestra”.SVM, Maestría en MIC Análisis de Componentes Principales

De modo ideal, se buscan m < p variables que sean combinaciones

lineales de las p originales y que estén incorreladas, recogiendo la

mayor parte de la información o variabilidad de los datos.

Si las variables originales están incorreladas de partida, entonces no

tiene sentido realizar un análisis de componentes principales.


Las aplicaciones del ACP son numerosas y entre ellas podemos

citar:

(a) La clasificación de individuos; la comparación de poblaciones; la

estratificación multivariada.

(b) Como técnica de análisis exploratorio que permite descubrir

interrelaciones entre los datos y de acuerdo con los resultados,

proponer los análisis estadísticos más apropiados.


(c) Reducir la dimensionalidad de la matriz de datos con el fin de

evitar redundancias y destacar relaciones. En la mayoría de los

casos, tomando sólo los primeros componentes, se puede explicar la

mayor parte de la variación total contenida en los datos originales.

(d) Es de gran utilidad usar estos componentes incorrelacionados,

como datos de entrada para otros análisis. Por ejemplo, en el caso

de la regresión múltiple cuando las variables independientes

presentan alta colinealidad es preferible hacer la regresión sobre los

componentes principales en lugar de usar las variables originales.SVM, Maestría en MIC Análisis de Componentes Principales

(e) Construir variables no observables (componentes) a partir de

variables observables. Por ejemplo, la inteligencia de una persona no

es observable directamente, en cambio, se puede medir distintos

aspectos de ésta mediante pruebas psicométricas. Las variables que

miden los distintos aspectos de la inteligencia tienden a covariar;

esto sugiere que expresan la mismas características pero de

diferente forma y que sólo hay un pequeño número de rasgos no

directamente medibles, que se denominan Indicadores sintéticos y

que vienen estimados por los componentes.


Fundamentación Teórica

Permite reducir la dimensionalidad de los datos, transformando el

conjunto de p variables originales en otro conjunto de q variables no

correlacionadas (q ≤ p) llamadas componentes principales. Las p

variables son medidas sobre cada uno de los n individuos,

obteniéndose una tabla de datos o matriz de datos de orden np (p <

n).


La varianza de la primera componente mientras mayor sea, mayor

será la cantidad de información en dicha componente.

Por ello las sucesivas combinaciones o variantes de las

componentes se ordenan en forma descendente de acuerdo a la

proporción de la varianza total presente en el problema, que cada

una de ellas explica.


La primer componente es por lo tanto, la combinación de máxima varianza;

la segunda es otra combinación de variables originarias que obedece a la

restricción de ser ortogonal a la primera y de máxima varianza, la tercer

componente es aún otra combinación de máxima varianza, con la

propiedad de ser ortogonal a las dos primeras; y así sucesivamente.

Por sus propiedades de ortogonalidad, las sucesivas componentes

después de la primera se pueden interpretar como las combinaciones

lineales de las variables originarias que mayor varianza residual explican,

después que el efecto de las precedentes ha sido ya removido y así

sucesivamente hasta que el total de varianza ha sido explicado.


Cuando las variables están correlacionadas en mayor grado, las

primeras componentes explican un alta proporción de la varianza

total, por eso las componentes principales pueden sustituir a las

múltiples variables originarias, esto permitiría resumir en unas

pocas variantes o componentes no correlacionadas gran parte

de la información.


Las Etapas en un ACP

El análisis de componentes principales todas las variables surgen sobre un

fundamento igual es apropiado, esto implica que:

(1) Todas las variables deben estar medidas en las mismas unidades o, por

lo menos, en unidades comparables, esto significa que si las variables de

respuestas no miden en las mismas unidades, entonces cualquier cambio

en la escala de medición en una o mas de las variables tendrá un efecto

sobre las componentes principales. Ese cambio de escala podría invertir

los papeles de las variables importantes y las no importantes.SVM, Maestría en MIC Análisis de Componentes Principales

(2) Las variables deben tener varianzas que tengan tamaños

aproximadamente semejantes, por lo general las componentes

principales se modifican por un cambio de escala de las variables;

por lo que no son una característica única de los datos.

Si una de las variables tiene una varianza mucho más grande que las

demás, dominará la primera componente principal, sin importar la

estructura de las covarianzas de las variables y, en este caso, tiene

poco objeto la realización de un ACP.


Eigenvalores y Eigenvectores

Cuando no parezca que las variables están ocurriendo sobre un

fundamento igual, muchos investigadores aplican el ACP a la matriz de

correlación de las respuestas, en lugar de la matriz de covarianzas.

Esto es equivalente a aplicar el ACP a los datos estandarizados, en lugar

de aplicarlo a los valores de los datos en bruto. En este caso, los

componentes principales se definen por los eigenvalores y eigenvectores

de R, la matriz de correlación, en lugar de por aquellos correspondientes a

S, la matriz de covarianzas.SVM, Maestría en MIC Análisis de Componentes Principales

Los eigenvalores y eigenvectores de R son distintos a los de S y no

existe simplificación sencilla para pasar de un conjunto de valores a

otro.

Los eigenvalores y eigenvectores de R se denotarán por

y a1, a2,….,ap, respectivamente.

λ1≥ λ2≥. .. .≥λp


Estandarización de datos de la matriz (Valores Z)

Al estandarizar los datos, estamos haciendo que las variables se midan en

unidades comparables.

Se define: para r = 1, 2, …, n y j = 1, 2,…, p.

Donde xrj son los valores de las variables medidas en sus unidades originales.

Las variables Zrj son los valores estandarizados de las variables xrj. Se les

conoce como “valores Z”.

Z rj=xrj− x j

√s jj


Estos datos pueden acomodarse en una matriz como sigue:

Z= [z11 z12 . . . z1 pz21 z22 . . . z2 p. .. .. .z n1 zn2 . . . znp

]


Matriz de Varianza y Covarianza

Una vez estandarizados los datos se utiliza la matriz de datos

estandarizados procediendo a utilizar la matriz de varianzas y Covarianza

S original.

La matriz de Varianza y Covarianza consiste en un arreglo de p filas y p

columnas, es decir, es una matriz cuadrada propiamente simétrica. Existen

variaciones de las variables a lo largo de la diagonal principal y las

covariaciones entre cada par de variables en las otras posiciones de la

matriz.SVM, Maestría en MIC Análisis de Componentes Principales

La matriz de varianzas y covarianzas de una muestra se define:

Σ̂=S=1n [∑

r= 1

n

( xr− μ̂ )( xr− μ̂) ' ] S= [S11 S12 . . . S1 pS21 S22 . . . S2 p. . . .. . . .. . . .S p1 S p 2 . . . S pp

]

S ii=1n∑r= 1

n

( xri− x̄ i )2 i=1,2,. .. . .. ,p

En donde la varianza muestral de la i-ésima característica están

dadas por:


y la Covarianza entre la característica i y la característica j en la

muestra es calculada por:

Por lo tanto, la Matriz de varianzas covarianzas S es igual a la Matriz

de Correlaciones R pero con cada entrada estandarizada. Los

elementos de la Matriz de Varianza y Covarianza de la muestra se

puede estimar utilizando un esquema matricial calculado por:

S ij=1n∑r= 1

n

( xri− x̄i )( xrj− x̄ j)j=1,2, .. .. . . ,p

i≠ j

{}

S= [(z1−μ1z 2−μ2...z p−μ p

) ( z1−μ1 z 2−μ2 . . . z p−μ p ) ]SVM, Maestría en MIC Análisis de Componentes Principales

¿Se podrá

utilizar Matlab

para este

tema?


Bibliografía

[1] Delgado Alvarado, S. M. “Una aplicación del Análisis de Componentes

Principales Categóricas para determinar el posicionamiento de espol en el

contexto de los Estudiantes de Tercer Año de Bachillerato”. Tesis de Grado,

Ingeniería en Estadística Informática. Escuela Superior Politécnica del Litoral.

Guayaquil, Ecuador, 2006.

[2] González Martín, P., Díaz de Pascual, A., Torres Lezama, E.,Garnica Olmos,

E. “Una aplicación del análisis de componentes principales en el área

educativa”. Instituto de Investigaciones Económicas y Sociales.


[3] Gorgas, J., Cardiel, N. Análisis de componentes principales (PCA).

Facultad de Ciencias Físicas. Universidad Complutense de Madrid.

Sitios Web:

http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/AMult/tema3am.pdf

http://iies.faces.ula.ve/revista/articulos/revista_09/pdf/rev09gonzalez_diaz.pdf

https://www.mhe.es/universidad/ciencias_matematicas/pena/home/CAPITULO.PDF


Análisis de Componentes Principales (ACP) · elementos de la Matriz de Varianza y Covarianza de la...

Documents

Transcript of Análisis de Componentes Principales (ACP) · elementos de la Matriz de Varianza y Covarianza de la...