Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

1

CAPÍTULO 3

Tensores.

Muchos fenómenos físico se representan matemáticamente mediante

Tensores, los cuales, por necesidad son representados en un sistema de referencia,

de este modo surge el concepto de componentes del tensor. Si bien los tensores

son independientes del sistema de referencia, las componentes serán dependientes

y variarán con éste.

Los tensores pueden clasificarse según su orden como:

• Escalar (Tensor de orden 0). Cantidad que tiene magnitud pero no

dirección (ejemplo: densidad, temperatura, presión). Los escalares

pueden ser funciones del espacio y del tiempo y no necesariamente han

de ser constantes.

• Vector (Tensor de orden 1). Cantidad que tiene magnitud y dirección

(ejemplo: velocidad, aceleración, fuerza). Será simbolizado por una

letra en negrita en minúscula.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

2

• Tensor de segundo orden (Tensor de orden 2). Cantidad que tiene

magnitud y dos direcciones (ejemplo: tensión, deformación). Será

simbolizado por una letra negrita en mayúscula, también para los

tensores de orden superior.

Este capítulo trata del estudio detallado de los tensores y de algunas

herramientas matemáticas que darán soporte al desarrollo de las teorías que se

exponen en los capítulos posteriores.

1. Propiedades de Tensores y Base del Álgebra de Tensores

Dada una matriz de dato no negativa � ∈ ℝ��×�, y un rango reducido , encontrar dos matrices no negativas = � �, �, … , �� ∈ ℝ��×� y � = �� =���, ��, … , ���� ∈ ℝ��×� lo que factoriza a � de la mejor forma:

� = � + � = �� + �

(3.1)

Esta NMF (Nonnegative Matrix Factorization) se puede representar,

también, como una forma especial de un modelo bilineal.

� = � � ∘ ������ + � =� �����

��� + �

(3.2)

donde el símbolo ∘ indica el producto externo de dos vectores.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

3

Un tensor es una matriz multi-dimensional. El orden del tensor es el

número de la dimensión, también conocido como las direcciones o modos. Se

define formalmente como:

Definición de tensor.- Se indica los índices de límites superiores como ��, ��, … , �� ∈ �. Un tensor � ∈ ℝ� ×�!×⋯×�# de orden N es un vector de N

direcciones donde los elementos $% %!⋯%# están indexados por &' ∈ (1,2,⋯ , �'+ para 1 ≤ - ≤ �.

Los tensores son, obviamente, generalizaciones de vectores y matrices, por

ejemplo, un tensor de tercer orden tiene tres índices (o modos o direcciones) como

se muestra en la figura nº6. Un tensor de orden cero es un escalar, de orden uno un

vector, de segundo orden una matriz, y un tensor de tercer orden o mayor se les

denomina tensores de más altor orden (ver figura nº7).

Figura nº 6 . Tensor de tercer orden � ∈ ℝ.×/×0 con elementos $%12 .

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

4

Figura nº 7 . Ilustración de datos con múltiples direcciones (órdenes). Los tensores de 4º y 5º

orden se representan aquí como un conjunto de tensores de 3er orden.

La nomenclatura a utilizar es la siguiente: los tensores se representan en

mayúscula, negrita y subrayado, por ejemplo � ∈ ℝ� ×�!×⋯×�# . Mientras que las

matrices se representa en mayúscula y negrita, por ejemplo Y, y los vectores en

minúscula y negrita, como el caso de . Sea el caso de una matriz A, sus columnas

se denotan como � y los elementos como 3%�. Análogamente, los elementos de un

tensor de tercer orden de dimensiones (&, 5, 6), es decir � ∈ ℝ�×�×8, se

representan como $%12 , donde & = 1,2,⋯ , �; 5 = 1,2,⋯ , :; 6 = 1,2,⋯ , ;.

La matricización es un proceso por el cual se reordenan los elementos de

un tensor de orden N en una matriz. Con frecuencia, es muy conveniente

representar tensores como matrices.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

5

2. Productos externo y de Kronecker.

1.1. Producto externo.

El producto externo de dos tensores � ∈ ℝ� ×�!×⋯×�# y � ∈ ℝ� ×�!×⋯×�<

viene dado por la siguiente expresión:

= =� ∘ � ∈ ℝ� ×�!×⋯×�#×� ×�!×⋯×�<

(3.3)

donde >% %!⋯%#� �!⋯�< =$% %!⋯%#?� �!⋯�< (3.4)

Observe que, el tensor = contiene todas las posibles combinaciones de

pareja de productos con coherencia entre los elementos de � y �.

Un caso especial, el producto externo de dos vectores ∈ ℝ� y � ∈ ℝ�

producen una matriz de rango uno.

= ∘ � = �� ∈ ℝ�×�

(3.5)

y el producto externo de tres vectores: ∈ ℝ� , � ∈ ℝ� y @ ∈ ℝ8 producen un

tensor de rango uno y tercer orden.

= = ∘ � ∘ @ ∈ ℝ�×�×8

(3.6)

en el que,

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

6

>%�2 =3%A�B2.

(3.7)

1.2. Producto de Kronecker.

El dicho producto de dos matrices ∈ ℝ�×� y � ∈ ℝ�×C es una matriz

que se indica como ⨂� ∈ ℝ��×�C y se define como (en Matlab es la función

kron):

⨂� = E3��� ⋯ 3���⋮ ⋱ ⋮3��� ⋯ 3���H (3.8)

Es necesario considerar que, en general, el producto externo de vectores

produce un tensor mientras que el producto Kronecker nos da un vector.

2. Multiplicaciones modo-n. Producto reducido de Tensor.

Para multiplicar un tensor por una matriz, necesitamos especificar el

modo del tensor que se está multiplicando por las columnas o filas de una matriz

(ver figura nº8).

(a)

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

7

(b)

(c)

Figura nº 8 . Ilustración multiplicación modo-n de un tensor de 3er orden por matrices. (a)

modo-1, (b) modo-2 y (c) modo-3.

Definición (producto modo-n de tensor-matriz).- El producto modo-n � = I ×' de un tensor I ∈ ℝ� ×�!×⋯×�# y una matriz ∈ ℝ�J×�J es un tensor � ∈ ℝ� ×⋯×�JK ×�J×�JL ×⋯×�# , con elementos

$� ,�!,⋯,�JK ,%J,�JL ,⋯,�# = � M� ,�!,⋯,�#3%J�J�J�J��

(3.9)

El producto tensor-matriz se puede aplicar sucesivamente a lo largo de

varios modos, y es conmutativo, esto es:

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

8

NI ×' O ×P � = NI ×P �O ×' = I ×' ×P �(Q ≠ -) (3.10)

La iteratividad de este tipo de producto modo-n para matrices y � de

dimensiones apropiadas se puede simplificar de la siguiente forma:

NI ×' O ×P � = I ×' (�) (3.11)

Definición (producto modo-n de tensor-vector).- La multiplicación modo-n

de un tensor � ∈ ℝ� ×�!×⋯×�# por un vector ∈ ℝ�J se denota por ( ×S indica el

producto reducido):

= = � ×S' ∈ ℝ� ×⋯×�JK ×�JL ×⋯×�# (3.12)

Un elemento acertado, tenemos

>% ,%!,⋯,%JK ,%JL ,⋯,%# = � $% ,%!,⋯,%#3%J�J%J��

(3.13)

Es posible, también, multiplicar un tensor por un vector en más de una

dirección (índice o modo). Multiplicando un tensor de tres direcciones por un

vector en dos direcciones resulta un tensor de una dirección, es decir, un vector;

multiplicándolo en todas las direcciones resulta un escalar. Podemos intercambiar

el orden de la multiplicación por la siguiente regla:

� ×SP ×S' � = N� ×SP O ×S' � = N� ×S' �O ×SP para Q < -

(3.14)

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

9

Por ejemplo, la multiplicación modo-n de un tensor I ∈ ℝ�×C×U por los

vectores ∈ ℝ�, � ∈ ℝC y @ ∈ ℝU se puede expresar como:

> = I ×S� ×S� � ×SV @ = ���M�WX3�AWBXUX��

CW��

����

(3.15)

Esto se puede ver como ilustración la siguiente figura

Figura nº 9 . Ilustración de multiplicación de modo-n de un tensor de tercer orden I por vectores

produciendo un escalar.

Definición (producto escalar o producto interno).- El producto escalar de

dos tensores ,� ∈ ℝ� ×�!×⋯×�# del mismo orden se escribe como ⟨, �⟩ y se

calcula como una suma de productos de elementos en todos los índices, esto es,

B = ⟨,�⟩ = ��⋯�!%! �A% ,%!,⋯,%#3% ,%!,⋯,%#�[

%#� % ∈ ℝ

(3.16)

El producto escalar nos permite definir la norma de Frobenius de orden

alto de un tensor como

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

10

\\] = ^⟨, ⟩ = _��⋯�!%! �3�% ,%!,⋯,%#�[

%#� %

(3.17)

Mientras que la norma-`� de un tensor se define como:

\\� =��⋯�!%! �a3% ,%!,⋯,%#a�[

%#� %

(3.18)

Definición (producto reducido).- El producto reducido de dos tensores ∈ ℝ� ×⋯×�<×� ×⋯×�# y � ∈ ℝ� ×⋯×�<×b ×⋯×bc a lo largo de primeros M índices

es un tensor de tamaño � ×⋯× � × d� ×⋯× dU , dado por

⟨, �⟩�,…,e;�,…,e(f�, … , f� , g�, … , gU) = � ⋯� % �� � 3% ,…,%<,� ,…,�#A% ,…,%<,h ,…,hc�<

%<�� (3.19)

Los modos restantes están ordenados tal que esos de viene antes que �.

Los argumentos que especifican los índices de y de � no necesitas ser

consecutivos por contracción. Sin embargo, los tamaños de las correspondientes

dimensiones han de ser iguales.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

11

3. Formas especiales de expresar un tensor.

Los tensores pueden tomar formas o estructuras especiales.

3.1. Tensor de rango uno.

Usando el producto externo, el rango del tensor puede ser definido como

sigue.

Definición (tensor rango uno).- Un tensor � ∈ ℝ� ×�!×⋯×�# de orden N

tiene rango uno si puede escribirse como un producto externo de N vectores, i.e.,

� = (�) ∘ (�) ∘ ⋯ ∘ (�) (3.20)

donde (') ∈ ℝ�J y $% ,%!,⋯,%# = 3% (�)3%!(�)⋯3%#(�). El rango del tensor está definido

como el número mínimo de tensores de rango uno ��, … , �C tal que � = ∑ �WCW�� .

Los tensores de rango uno tiene muchas propiedades interesantes y

juegan un papel importante en análisis de multi-direcciones. Tal representación de

un tensor por una combinación lineal de tensores de rango uno es PARAFAC

(PARAllel FACtor descomposition) el cual preserva la singularidad bajo algunas

condiciones.

3.2. Tensor simétrico o súper simétrico.

Un vector de k direcciones se llama simétrico si sus entradas no cambian

después de cualquier permutación de sus índices. Para un caso particular cuando

todos los N vectores (�) son iguales al vector g, su producto externo se llama

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

12

tensor súper simétrico de rango uno. Un tensor súper simétrico tiene la misma

dimensión en cada dirección.

�W =j(W) ∘ j(W) ∘ ⋯ ∘ j(W)klllllmllllln�opqpr

(3.21)

y $% ,%!,⋯,%#(W) =M% (W)M%!(W)⋯M%#(W). Podemos expresar un rango R del tensor simétrico

como

� =� �WCW�� =� j(W) ∘ j(W) ∘ ⋯ ∘ j(W)C

W��

(3.22)

$% ,%!,⋯,%# =� $% ,%!,⋯,%#(W)CW�� =� M% (W)M%!(W)⋯M%#(W)C

W�� =� s M%J(W)�'��

CW��

(3.23)

El rango simétrico se obtiene cuando la formación de tensores de rango

uno está impuesta por ser ellos mismo simétricos.

3.3. Tensor diagonal.

Un tensor cúbico de orden N � ∈ ℝ� ×�!×⋯×�# es diagonal si los elementos $% ,%!,⋯,%# ≠ 0 solo si &� = &� = ⋯ = &�. Utilizamos u para referirnos al tensor cúbico

identidad con unos en la súper diagonal y el resto cero. Este concepto puede ser

generalizado o extendido.

4. Descomposición de tensores y factorización.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

13

Muchas modernas aplicaciones generan grandes cantidades de datos con

múltiples aspectos y gran dimensión para lo cual los tensores aportan una

representación natural. Estos incluyen text mining, clustering, tráfico de internet,

grabaciones de telecomunicaciones y una gran escala de redes sociales.

La descomposición tensorial y factorización se iniciaron en 1927 por

Hitchcock, y después fueron desarrolladas por Cattelin in 1944 y por Trucker en

1966. Estos conceptos y aproximaciones recibieron mayor atención después de

que Carroll y Chang propusieran la “Canonical Descomposition (CANDECOMP)” e

independientemente Harshman propuso un modelo equivalente llamado

“PARAFAC (Parallel Factor Analysis)” en 1970.

Möck redescubrió el PARAFAC cuando estaba abordando un problema de

neurociencia de potenciales de eventos relativos (ERP) en el contexto del escáner

del cerebro.

Aunque algunos modelos de descomposición tensorial han sido

propuestos a lo largo del tiempo, han atraído el interés de investigadores

trabajando en matemática, procesamiento de señales, data mining y neurociencia.

Esto probablemente explica por qué teorías matemáticas disponibles rara vez

tratan de aspectos computacionales y algorítmicos de la descomposición de

tensores, junto con muchos problemas fundamentales sin resolver todavía.

Nuestro principal objetivo aquí es la descomposición de señales multicanal

variando en el tiempo en múltiples canales con distinta modalidad en los dominios

de espacio, tiempo y frecuencia en orden de identificar entre ellos las componentes

comunes a través de los diferentes dominios, el cual al mismo tiempo son

discriminativos a través de diferentes condiciones.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

14

Nos centraremos, debido a nuestro interés en el algoritmo desarrollado

que ser verá después, en la descomposición PARAFAC.

4.1. PARAFAC (Parallel Factor analysis).

Se puede formular como sigue (ver figuras nº9 y nº10 para una

representación gráfica). Dada un tensor � ∈ ℝ�×�×8 y el índice positivo J,

encontrar matrices de tres componentes, también llamados factores, =� �, �, … , �� ∈ ℝ�×�, � = ���, ��, … , ��� ∈ ℝ�×� y v = �@�, @�, … , @�� ∈ ℝ8×� las

cuales provocan la siguiente factorización aproximada:

� = � ����� ∘ �� ∘ @� = w,�, vx

(3.24)

o equivalentemente,

$%12 =�3%�A1�B2����� + y%12

(3.25)

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

15

(a) Como un conjunto de tres matrices usando una representación escalar

(b) Como un conjunto de vectores usando un sumando de tensores de rango uno expresado por el

producto externo de los vectores.

(c) Descomposición desarrollada a lo largo de la fila dentro de dos matrices.

(d) Descomposición por el corte frontal.

Figura nº 9 . Representaciones alternativas del modelo PARAFAC de tercer orden.

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

16

El símbolo �z = w,�, vx es la notación corta de la factorización PARAFAC.

Es, a menudo, conveniente asumir que todos los vectores tienen unidad de

longitud, por ello podemos usar el modelo PARAFAC de Harshman modificado que

viene dado por

� = �{� ����� ∘ �� ∘ @� = w|, , �, vx

(3.26)

$%12 =�{�3%�A1�B2�����

(3.27)

donde {� son factores de escala. Si � = �� = @� , podremos llamar a esta ecuación

la descomposición simétrica del producto externo del tensor simétrico �. La

siguiente figura nº10 ilustra el modelo y su representación alternativa.

Figura nº 10 . Modelo PARAFAC de Harshman con tensor de núcleo superdiagonal I = }~ℝ�×�×�,

siendo } = �&3M({).

Caracterización de canal no lineal usando modelos de Volterra-Parafac. 2012

17

Las tres direcciones del modelo PARAFAC pueden describirse también

usando el corte frontal, lateral y horizontal como sigue:

�∷2 ≅ �2(@2:)��

(3.28)

�:1: ≅ �1(�1:)v�

(3.29)

�%∷ ≅ ��%( %:)v�

(3.30)

donde �%( %:), �1(�1:) y �2(@2:) son matrices diagonales que toman la fila i-ésima,

t-ésima y q-ésima de las matrices A, B y C, respectivamente, y produce matrices

diagonales colocando la fila correspondiente en la diagonal principal.