MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara...
Transcript of MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara...
![Page 1: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/1.jpg)
Métricas de EquivarianzaTransformacional paraRedes Neuronales ConvolucionalesFacundo Manuel QuirogaIII-LIDI Instituto de Investigación en InformáticaUniversidad Nacional de La Plata
9 de Marzo de 2020Directora: Laura Lanzarini
1
![Page 2: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/2.jpg)
Motivación
![Page 3: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/3.jpg)
![Page 4: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/4.jpg)
![Page 5: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/5.jpg)
![Page 6: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/6.jpg)
¿Cómo codificamos...
¿ = = ?
... con una Red Neuronal?
3
![Page 7: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/7.jpg)
Índice
1. Marcoteórico
2. Experi-mentos conInvarianza
3. Métricas 4. Análisiscon Métricas
4
![Page 8: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/8.jpg)
1. Marco teórico
![Page 9: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/9.jpg)
Invarianza
𝑓 es invariante a 𝑇 = 𝑡1, … , 𝑡𝑚 sii ∀𝑥:
𝑓(𝑡1(𝑥)) = 𝑓(𝑡2(𝑥)) = ⋯ = 𝑓(𝑡𝑚(𝑥)) [1]
t(x)
f(x)
f(x)
id(x)
5
![Page 10: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/10.jpg)
Auto Equivarianza
𝑓 es auto equivariante a 𝑇 = 𝑡1, … , 𝑡𝑚 sii ∀𝑥, ∀𝑡 ∈ 𝑇:
𝑓(𝑡(𝑥)) = 𝑡(𝑓(𝑥)) [2]
t(x)
f(x)
f(x)
t(x)
6
![Page 11: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/11.jpg)
Equivarianza
𝑓 es equivariante a 𝑇 = 𝑡1, … , 𝑡𝑚 sii ∀𝑡 ∈ 𝑇 , ∃𝑡′, ∀𝑥:
𝑓(𝑡(𝑥)) = 𝑡′(𝑓(𝑥)) [3]
t(x)
f(x)
f(x)
t'(x)
7
![Page 12: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/12.jpg)
Red Neuronal
Estructurada en capas/activaciones.Representaciones de caja negra complejas.
Salida
Mercedes Sosa
Activacioneso valoresintermedios
8
![Page 13: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/13.jpg)
Red vs Transformaciones
Difícil lidiar con entradas transformadas.
Mercedes Sosa
¿?
¿?
RedNeuronal
9
![Page 14: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/14.jpg)
Objetivo
¿Qué diferencia a estos modelos?
Mercedes Sosa
¿?
¿?
RedNeuronal
Mercedes Sosa
Mercedes Sosa
Mercedes Sosa
RedNeuronal
10
![Page 15: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/15.jpg)
Redes Neuronales Invariantes
1. Modelo de transformación:Mercedes Sosa
RedNeuronal
Modelo detransformación
2. Modelo con capas invariantes:Mercedes Sosa
RedNeuronalInvariante
3. Aumentación de datos:Red
NeuronalInvariante
RedNeuronal
Entrenamiento
Mercedes Sosa
11
![Page 16: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/16.jpg)
Spatial Transformer Network (STN)
Modelo de transformación (afín) end-to-end
• Red STNMercedes Sosa
RedNeuronal
SpatialTransformer
Layer
• Capa STLSpatial Transformer Layer
Red de Estimación de
Parámetros
Transfor-mación
Afín(Bilineal)
12
![Page 17: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/17.jpg)
Group CNN (GCNN)
Modelo con Capas Convolucionales InvariantesRed Neuronal
Capa GCNNCapa GCNN ...... Cabeza de Clasificación
Mercedes Sosa
Red GCNN
13 – 1
![Page 18: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/18.jpg)
Group CNN (GCNN)
Modelo con Capas Convolucionales InvariantesCapa GCNN Características
Equivariantes
CaracterísticasInvariantes
poolingt(x) conv13 – 2
![Page 19: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/19.jpg)
2. Experimentos con Invarianza
![Page 20: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/20.jpg)
Transformaciones y Bases de DatosMNIST
CIFAR10
Rotación Escala Traslación Combinadas 14
![Page 21: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/21.jpg)
Modelo
SimpleConv 15
![Page 22: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/22.jpg)
Experimento 1: Aumentación vs Modelos
RedNeuronal
RedNeuronal
Tasa de Aciertos
Conjunto de prueba
Conjunto de entrenamiento
Tasa de Aciertos
Tasa de Aciertos
Tasa de Aciertos
Entrenamiento
Entrenamiento
16
![Page 23: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/23.jpg)
Resultados Experimento 1: Rotación/SimpleConvMNIST
CIFAR10
SimpleConv+DA SimpleConv+STN SimpleConv+GCNN17
![Page 24: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/24.jpg)
Experimento 2: Re-entrenamiento
Conjunto de pruebaRe-Entrenamiento
Conjunto de entrenamiento Entrenamiento Copia
RedNeuronal
Base
......
......
RedNeuronal
Capas: 1
RedNeuronal
Capas: X
RedNeuronalCapas: Todas
Tasa de Aciertos
RedNeuronalCapas: Todas
Tasa de Aciertos
RedNeuronal
Capas: X
Tasa de Aciertos
RedNeuronal
Capas: 1
18
![Page 25: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/25.jpg)
Resultados Experimento 2: Rotación
MNIST
CIFAR10
19
![Page 26: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/26.jpg)
Conclusiones
⋆ Capas Invariantes ≠ Modelo Invariante⋆ Codificación de la (equi?) invarianza varía por capa
→ Estudiar la codificación por capa∘ Modelos Invariantes∘ Modelos comunes entrenados con aumentación de datos
20
![Page 27: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/27.jpg)
3. Métricas: Contribuciones
![Page 28: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/28.jpg)
Métricas para evaluar Invarianza
Invarianza = Tasa deacierto→ ejemplos originalesvs transformados
[Pen+14; FF15; TC16;Eng+17; KWT17; Kan17;Qui+18; BRW18; Amo+18;SG18; AW18; Kau18]
• Ejemplos originales.• Ejemplos transformados.
21
![Page 29: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/29.jpg)
Métricas por activaciones
8 activaciones distintas → 8 métricas independientes
22
![Page 30: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/30.jpg)
Fuentes de variacion𝑡1 𝑡2 𝑡3 𝑡4
𝑥1
𝑥2
𝑥3
𝑥4
𝑥5
• Muestras• 𝑥1, … , 𝑥𝑛• filas
• Transformaciones• 𝑡1, … , 𝑡𝑚• columnas
23
![Page 31: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/31.jpg)
Matriz MT:Muestra-Transformación de Activaciones
𝑡1 𝑡2 𝑡3 𝑡4
𝑥1
𝑥2
𝑥3
𝑥4
𝑥5
𝑡1 𝑡2 𝑡3 𝑡4
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
𝑥1 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))𝑥2 𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑥3 𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑥4 𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑥5 𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
(a) Muestrasy transformaciones (b) Matriz MT(𝑎)
24
![Page 32: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/32.jpg)
Matrices MT
Activac
iones
Transformaciones
Muestras
• 𝑛 Muestras• 𝑚 Transformaciones• 𝑘 Activaciones• → 𝑘 matrices MT de
𝑛 × 𝑚
25
![Page 33: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/33.jpg)
Matrices MT
𝑡1 𝑡2 𝑡3 𝑡4
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
𝑥1 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))𝑥2 𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑥3 𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑥4 𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑥5 𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
• Recorrido estándar:• Entrada: 𝑡𝑘(𝑥𝑖)• Salida: Vector de 𝑘elementos
• Recorrido deseado:• Entrada: activación 𝑎• Salida: Matriz MT(𝑎) de
𝑚 × 𝑛 26
![Page 34: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/34.jpg)
Librería para iterar sobre matrices MT
Act ivat ionsI terator
samples: SampleSet
t ransformat ions: Transformat ionSet
iterate_rows(batch_size) : Generator(Generator(np.ndarray) )
iterate_columns(batch_size) : Generator(Generator(np.ndarray) )
act ivat ion_names( ) : List (St r ing)
PyTorchAct ivat ionsI terator
model: PytorchAct ivat ionsModel
use_cuda: bool
TensorflowAct ivat ionsI terator ...
PytorchAct ivat ionsModel
torch.nn.Module
Iteradores y métricas:https://github.com/facundoq/transformational_measures
27
![Page 35: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/35.jpg)
Métricas propuestas
• Métricas de Invarianza• Basadas en ANOVA• Basadas en Varianza, Distancia• Con o sin normalización
• Métricas de Auto-Equivarianza• Basadas en Varianza o Distancia• Con o sin normalización
28
![Page 36: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/36.jpg)
Métrica ANOVA
Matriz MT ≃ matriz de ANOVA de una víaTransformaciones ≃ gruposInvarianza = NO rechazar
𝑡1 𝑡2 𝑡3 𝑡4
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
𝑥1 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))𝑥2 𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑥3 𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑥4 𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑥5 𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
Corrección de Bonferroni 29
![Page 37: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/37.jpg)
Métrica Varianza Transformacional
→ (1) Var
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦(2
)Media← 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))
𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
⟹ 𝑀𝑒𝑑𝑖𝑎
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
𝑉 𝑎𝑟([ 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1) ])𝑉 𝑎𝑟([ 𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2)) ])𝑉 𝑎𝑟([ 𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3) ])𝑉 𝑎𝑟([ 𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4) ])𝑉 𝑎𝑟([ 𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5) ])
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎠
𝑉 𝑇 (𝑎) = 𝑀𝑒𝑑𝑖𝑎 ⎛⎜⎜⎝
⎡⎢⎣
𝑉 𝑎𝑟(MT(𝑎)[1, ∶])⋯
𝑉 𝑎𝑟(MT(𝑎)[𝑛, ∶])
⎤⎥⎦
⎞⎟⎟⎠
[4]
30
![Page 38: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/38.jpg)
Métrica Varianza Transformacional- Visualización
• Columnas: Capas• Rectángulos: Activacionesde la capa
• Color: Valor de la métrica
31
![Page 39: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/39.jpg)
Métrica Varianza Muestral
→ (2) Media
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
(1)Var←
𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
⟹ 𝑀𝑒𝑑𝑖𝑎
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
𝑉 𝑎𝑟
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
𝑎(𝑡1(𝑥1))𝑎(𝑡1(𝑥2))𝑎(𝑡1(𝑥3))𝑎(𝑡1(𝑥4))𝑎(𝑡1(𝑥5))
⎤⎥⎥⎥⎥⎦
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎠
, 𝑉 𝑎𝑟
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
𝑎(𝑡2(𝑥1))𝑎(𝑡2(𝑥2))𝑎(𝑡2(𝑥3))𝑎(𝑡2(𝑥4))𝑎(𝑡2(𝑥5))
⎤⎥⎥⎥⎥⎦
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎠
, 𝑉 𝑎𝑟
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
𝑎(𝑡3(𝑥1))𝑎(𝑡3(𝑥2))𝑎(𝑡3(𝑥3))𝑎(𝑡3(𝑥4))𝑎(𝑡3(𝑥5))
⎤⎥⎥⎥⎥⎦
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎠
, 𝑉 𝑎𝑟
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
𝑎(𝑡4(𝑥1))𝑎(𝑡4(𝑥2))𝑎(𝑡4(𝑥3))𝑎(𝑡4(𝑥4))𝑎(𝑡4(𝑥5))
⎤⎥⎥⎥⎥⎦
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎠
⎤⎥⎥⎥⎥⎦
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎠
𝑉 𝑀(𝐴) = 𝑀𝑒𝑑𝑖𝑎 ([𝑉 𝑎𝑟(MT[∶, 1]) ⋯ 𝑉 𝑎𝑟( MT(𝑎)[∶, 𝑚] )])[5]
32
![Page 40: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/40.jpg)
Métrica Varianza Muestral- Visualización
Varianza Transformacional Varianza Muestral
33
![Page 41: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/41.jpg)
Métrica Varianza Normalizada
Definición:𝑉 𝑁(𝑎) = 𝑉 𝑇 (𝑎)
𝑉 𝑀(𝑎)[6]
Casos:
• 𝑉 𝑁(𝑎) = 0• 𝑉 𝑁(𝑎) < 1• Si 𝑉 𝑁(𝑎) > 1• Si 𝑉 𝑁(𝑎) ≃ 1
34
![Page 42: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/42.jpg)
Métrica Varianza Normalizada- Eficiencia
• Calculo online de varianza y media• Algoritmo de Welford• → 𝑉 𝑇 ∈ 𝒪(𝑛 × 𝑚 × 𝑘)• → 𝑉 𝑀 ∈ 𝒪(𝑛 × 𝑚 × 𝑘)
• → 𝑉 𝑁 ∈ 𝒪(𝑛 × 𝑚 × 𝑘)
35
![Page 43: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/43.jpg)
Métrica Varianza Normalizada- Visualización
(a) VarianzaTransformacio-
nal
(b) VarianzaMuestral
(c) VarianzaNormalizada
36
![Page 44: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/44.jpg)
Métrica Distancia Normalizada
• Reemplazar 𝑉 𝑎𝑟 por DistanciaMedia• DistanciaMedia entre pares de activaciones
• Cualquier medida de distancia
• Misma interpretación que Varianza Normalizada• Eficiencia 𝒪(𝑚𝑎𝑥(𝑚, 𝑛) × 𝑚 × 𝑛 × 𝑘)
• Versión aproximada 𝒪(𝑏 × 𝑚 × 𝑛 × 𝑘) (𝑏 tamaño de lote)• Para distancia euclídea
• DistanciaMedia([ 𝑥1 … 𝑥𝑛 ]) = 2𝑉 𝑎𝑟([ 𝑥1 … 𝑥𝑛 ])• 𝐷𝑁(𝑎) = 𝑉 𝑁(𝑎)
37
![Page 45: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/45.jpg)
Métricas de Auto-Equivarianza
• Equivarianza• Estimar 𝑡′
• Auto-Equivarianza• 𝑡′ = 𝑡
t(x)
f(x)
f(x)
t(x)
38
![Page 46: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/46.jpg)
Métricas de Auto-Equivarianza
• 𝑥 ∈ 𝐷𝑜𝑚(𝑡) (por def)• 𝑡′ = 𝑡 (Auto-Equivarianza)• → 𝑓(𝑥) ∈ 𝐷𝑜𝑚(𝑡)
• Si 𝑥 ∈ 𝑅ℎ×𝑤×𝑐
• y 𝑓(𝑥) ∈ 𝑅ℎ′×𝑤′×𝑐′
• puedo medir
• Si 𝑥 ∈ 𝑅ℎ×𝑤×𝑐
• y 𝑓(𝑥) ∈ 𝑅𝑙
• no puedo medir
t(x)
f(x)
f(x)
t(x)
t(x)
f(x)
f(x)
????
Medir conjuntos de activaciones 𝐴 = [𝑎1, … , 𝑎𝑘] ∈ 𝐷𝑜𝑚(𝑡)39
![Page 47: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/47.jpg)
Métricas de Auto-Equivarianza
• Asumimos 𝑖𝑑 ∈ 𝑇 = [𝑡1, … , 𝑡𝑚]• Asumimos 𝑡𝑖 invertible
t(x)
f(x)
f(x)
t(x) = t(x)
f(x)
f(x)
t-1(x)
40
![Page 48: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/48.jpg)
Métricas de Auto-Equivarianza
• Medir𝑓(𝑥) = 𝑡−1
1 (𝑓(𝑡1(𝑥))) = 𝑡−12 (𝑓(𝑡2(𝑥))) = ⋯ = 𝑡−1
𝑚 (𝑓(𝑡𝑚(𝑥)))
t1(x)
f(x)
f(x)
t1-1(x) t2(x)
f(x)
f(x)
t2-1(x) ...
41
![Page 49: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/49.jpg)
Auto-Equivarianza Transformacional de Varianza
• 𝐴 conj de activaciones tal que 𝐴 ∈ 𝐷𝑜𝑚(𝑡)• Matriz MT′ modificada
• MT′(𝐴)[𝑖, 𝑗] = 𝑡−1𝑗 𝐴(𝑡𝑗(𝑥𝑖))
• MT′(𝐴)[𝑖, 𝑗] ∈ 𝐷𝑜𝑚(𝑡)
𝐴𝐸𝑇 𝑉 (𝐴) = Media(𝑉 𝑎𝑟(MT′(𝐴)[1, ∶]),...,𝑉 𝑎𝑟(MT′(𝐴)[𝑛, ∶]))
[7]
42
![Page 50: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/50.jpg)
Mét. Auto-Equivarianza Normalizada de Varianza
• Auto-Equivarianza Muestral de Varianza• Similar a AETV
• Auto-Equivarianza Normalizada de Varianza
𝐴𝐸𝑁𝑉 (𝐴) = 𝐴𝐸𝑇 𝑉 (𝐴)𝐴𝐸𝑀𝑉 (𝐴)
[8]
• Misma interpretación que Varianza Normalizada• Misma generalización a 𝐴𝐸𝑇 𝐷
43
![Page 51: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/51.jpg)
Métrica Auto-Equivarianza de Distancia Simple
• Las métricasanteriores asumen𝑡𝑖 invertible
• Alternativa:Comparar 𝑓(𝑡(𝑥))con 𝑡(𝑓(𝑥))
t(x)
f(x)
f(x)
t(x)
44
![Page 52: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/52.jpg)
Métricas - Resumen
• Invarianza• ANOVA• Basadas en Varianza
• Transformacional• Muestral• Normalizada
• Basadas en Distancia• Transformacional• Muestral• Normalizada
• Auto-Equivarianza• Basadas en Varianza
• Transformacional• Muestral• Normalizada
• Basadas en Distancia• Transformacional• Muestral• Normalizada
• Auto-Equivarianza deDistancia Simple
45
![Page 53: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/53.jpg)
Métricas - Conclusiones
• Métricas de Invarianza y Auto-Equivarianza Normalizadas• Cociente entre Transformaciones y Muestras
• Métricas basadas en varianza• Eficientes: 𝒪(𝑘 × 𝑚 × 𝑛)
• Métricas basadas en distancia• Más flexibles• Aproximadas y menos eficientes: 𝒪(𝑏 × 𝑘 × 𝑚 × 𝑛)
• Sirven para cualquier red neuronal• Posibilidad de especializar para capas especiales• Código libre:https://github.com/facundoq/transformational_measures
46
![Page 54: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/54.jpg)
4.Experimentos de Análisis de Equivarianza
![Page 55: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/55.jpg)
Métrica de Invarianza de Goodfellow [Goo+09]
1. Independiente para cada activación 𝑎2. Noción de tasa de disparos conumbral 𝑢
3. Si 𝑎(𝑥) > 𝑢 entonces 𝑎(𝑥) está activa4. Definiciones
4.1 𝐺𝑙𝑜𝑏𝑎𝑙(𝑎, 𝑢) = 𝔼𝑥∈𝑋(𝑎(𝑥) > 𝑢)4.2 𝐿𝑜𝑐𝑎𝑙(𝑎, 𝑢) = 𝔼𝑥∈𝑋,𝑡∈𝑇(𝑎(𝑡(𝑥)) > 𝑢)4.3 𝐺𝑜𝑜𝑑𝑓𝑒𝑙𝑙𝑜𝑤(𝑎, 𝑢) = 𝐿𝑜𝑐𝑎𝑙(𝑎,𝑢)
𝐺𝑙𝑜𝑏𝑎𝑙(𝑎,𝑢)
5. 𝑢 ∶= 𝑢∗ tal que 𝐺𝑙𝑜𝑏𝑎𝑙(𝑎, 𝑢∗) = 0.01
Global
x1 x2 x3
a(x)
u
Local
t1(x1) t2(x1) t1(x2)
a(x)
u
Problemas: 𝑢 es percentil, tasa de disparos, interpretabilidad 47
![Page 56: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/56.jpg)
Experimentos con métricas
Objetivos
1. Validar las métricas2. Analizar sus propiedades3. Comprender modelos
48
![Page 57: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/57.jpg)
Modelos/Datos/Transformaciones/Métricas
• SimpleConv• MNIST/CIFAR10• Rotaciones• Invarianza de VN
49
![Page 58: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/58.jpg)
Métodología
Conjunto de prueba
Conjunto de entrenamiento
Métrica
Conjunto de Transformaciones
AEntrenamiento
Conjunto de Transformaciones
B
RedNeuronal
Posibilidades: 𝐴 = 𝐵, 𝐴 ≠ 𝐵, 𝐴 ⊆ 𝐵 𝐴 = [𝑖𝑑], 50
![Page 59: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/59.jpg)
Invarianza - Anova, Goodfellow
MNIST CIFAR10
51
![Page 60: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/60.jpg)
Invarianza - VT y VM
MNIST CIFAR10
52
![Page 61: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/61.jpg)
Invarianza - VN
MNIST CIFAR10
53
![Page 62: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/62.jpg)
Tamaño del Conjunto de Datos - Invarianza VN
MNIST CIFAR10
54
![Page 63: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/63.jpg)
Subconjunto de Datos - Invarianza VN
MNIST CIFAR10
55
![Page 64: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/64.jpg)
Tamaño del Conj. de Transformaciones - Invarianza VN
MNIST CIFAR10
56
![Page 65: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/65.jpg)
Inicialización Aleatoria - Invarianza VN
MNIST CIFAR10
57
![Page 66: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/66.jpg)
Pesos Aleatorios - Invarianza VN
MNIST CIFAR10
58
![Page 67: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/67.jpg)
Batch Normalization - Invarianza
MNIST CIFAR10
59
![Page 68: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/68.jpg)
Conclusiones y Trabajo Futuro
![Page 69: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/69.jpg)
Conclusiones
• Capas Invariantes ≠ Modelo Invariante• Necesidad de aumentación de datos
• Métricas eficientes e interpretables de Invarianza yAuto-Equivarianza
• Caracterización de de la invarianza y autoequivarianza devarios modelos/características
• Metodología para analizar invarianza y equivarianza
60
![Page 70: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/70.jpg)
Publicaciones principales
1. Quiroga y col., «Revisiting Data Augmentation for RotationalInvariance in Convolutional Neural Networks», 2018
2. Quiroga y col., «Measuring (in) variances in Convolutional Networks»,2019
3. Quiroga y col., «Invariance and Same-Equivariance Measures forNeural Networks (en prensa)», 2020
61
![Page 71: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/71.jpg)
Publicaciones secundarias
1. Quiroga y Corbalán, «A novel competitive neural classifier for gesture recognitionwith small training sets», 2013
2. Ronchetti y col., «Distribution of Action Movements (DAM): a Descriptor for HumanAction Recognition», 2015
3. Quiroga y col., «Handshape recognition for argentinian sign language usingprobsom», 2016
4. Quiroga y col., «Sign languague recognition without frame-sequencing constraints:A proof of concept on the argentinian sign language», 2016
5. Quiroga y col., «LSA64: An Argentinian Sign Language Dataset», 2016
6. Quiroga y col., «A study of convolutional architectures for handshape recognitionapplied to sign language», 2017
7. Cornejo Fandos y col., «Recognizing Handshapes using Small Datasets», 2019 62
![Page 72: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/72.jpg)
Trabajo Futuro
1. Herramienta• Soporte de TensorFlow• Mejor performance• Mejor reporte
2. Métricas• Caracterización teórica• Métrica de equivarianza• Unicidad de la equivarianza
3. Aplicaciones• Más modelos invariantes: GCNN, capsules, etc• Distintos tipos de modelos: recurrentes, GANs, etc• Otros dominios: sesgos y ejemplos adversariales 63
![Page 73: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/73.jpg)
¡Gracias!
63
![Page 74: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/74.jpg)
Recorrido por lotes de MT(a)
𝑡1𝑡2𝑡3𝑡4𝑥1𝑥2𝑥3𝑥4𝑥5
𝑡1𝑡2𝑡3𝑡4𝑥1𝑥2𝑥3𝑥4𝑥5
…
𝑡1𝑡2𝑡3𝑡4𝑥1𝑥2𝑥3𝑥4𝑥5
𝑡1𝑡2𝑡3𝑡4𝑥1𝑥2𝑥3𝑥4𝑥5
…
Por columnas Por filasEficiente: 𝒪(𝑘 × 𝑛 × 𝑚)
64
![Page 75: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/75.jpg)
Especialización para Mapas de Característica
• Mapa de características 𝐹de ℎ × 𝑤
• Activaciones 𝐹[𝑖, 𝑗]
𝑉 𝑇 (𝐹) =ℎ
∑𝑖=1
𝑤∑𝑗=1
𝑉 𝑇 (𝐹(𝑖, 𝑗))
𝑉 𝑀(𝐹) =ℎ
∑𝑖=1
𝑤∑𝑗=1
𝑉 𝑀(𝐹(𝑖, 𝑗))
𝑉 𝑁(𝐹) = 𝑉 𝑇 (𝐹)𝑉 𝑀(𝐹) 65
![Page 76: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/76.jpg)
Métrica Distancia Normalizada
• Reemplazar 𝑉 𝑎𝑟 por DistanciaMedia• DistanciaMedia entre pares de activaciones
• Cualquier medida de distancia• Misma interpretación que Varianza Normalizada
𝐷𝑇 (𝑎) = Media ([ DistanciaMedia(MT[1,∶]) ⋯ DistanciaMedia(MT[𝑛,∶]) ])𝐷𝑀(𝑎) = Media ([ DistanciaMedia(MT[∶,1]) ⋯ DistanciaMedia(MT[∶,𝑚]) ])
𝐷𝑁(𝑎) = 𝐷𝑇 (𝑎)𝐷𝑀(𝑎)
[9]66
![Page 77: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/77.jpg)
Métrica Distancia Transformacional: detalles→ (1) DistanciaMedia
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦(2
)Media← 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1))
𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2))𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3))𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4))𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5))
⟹ 𝑀𝑒𝑑𝑖𝑎
⎛⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎝
⎡⎢⎢⎢⎢⎣
⎤⎥⎥⎥⎥⎦
DistanciaMedia([ 𝑎(𝑡1(𝑥1)) 𝑎(𝑡2(𝑥1)) 𝑎(𝑡3(𝑥1)) 𝑎(𝑡4(𝑥1) ])DistanciaMedia([ 𝑎(𝑡1(𝑥2)) 𝑎(𝑡2(𝑥2)) 𝑎(𝑡3(𝑥2)) 𝑎(𝑡4(𝑥2)) ])DistanciaMedia([ 𝑎(𝑡1(𝑥3)) 𝑎(𝑡2(𝑥3)) 𝑎(𝑡3(𝑥3)) 𝑎(𝑡4(𝑥3) ])DistanciaMedia([ 𝑎(𝑡1(𝑥4)) 𝑎(𝑡2(𝑥4)) 𝑎(𝑡3(𝑥4)) 𝑎(𝑡4(𝑥4) ])DistanciaMedia([ 𝑎(𝑡1(𝑥5)) 𝑎(𝑡2(𝑥5)) 𝑎(𝑡3(𝑥5)) 𝑎(𝑡4(𝑥5) ])
⎞⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎠
𝐷𝑇 (𝑎) = 𝑀𝑒𝑑𝑖𝑎 ⎛⎜⎜⎝
⎡⎢⎣
DistanciaMedia(MT(𝑎)[1, ∶])⋯
DistanciaMedia(MT(𝑎)[𝑛, ∶])
⎤⎥⎦
⎞⎟⎟⎠
[10]
DistanciaMedia → Media( Matriz de distancias de 𝑚 × 𝑚)67
![Page 78: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/78.jpg)
Aproximación de Distancia Transformacional
• No hay calculo online de distancias por pares• Eficiencia 𝒪(𝑚 × 𝑚 × 𝑛 × 𝑘)
• → Aproximación de DistanciaMedia• Sólo calcular distancias entre los 𝑏 ejemplos de un lote
• Eficiencia 𝒪(𝑏 × 𝑏 × 𝑚×𝑛𝑏 × 𝑘) = 𝒪(𝑏 × 𝑚 × 𝑛 × 𝑘)
• 𝑏 más grande → mejor aproximación• 𝑏 más chico → menor cómputo
68
![Page 79: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/79.jpg)
Distancia Normalizada vs Varianza Normalizada
• Para distancia euclídea• DistanciaMedia([ 𝑥1 … 𝑥𝑛 ]) = 2𝑉 𝑎𝑟([ 𝑥1 … 𝑥𝑛 ])• 𝐷𝑁(𝑎) ≃ 𝑉 𝑁(𝑎)
• → 𝑉 𝑁 es un caso particular de 𝐷𝑁• Más eficiente• Sin aproximación
69
![Page 80: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/80.jpg)
Métrica Auto-Equivarianza de Distancia Simple
𝐴𝐸𝐷𝑆(𝐴) = Media(𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎(𝐴(𝑡1(𝑥0)), 𝑡1(𝐴(𝑥0))),𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎(𝐴(𝑡2(𝑥0)), 𝑡2(𝐴(𝑥0))),… ,𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎(𝐴(𝑡𝑚(𝑥0)), 𝑡𝑚(𝐴(𝑥0))),… ,𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑖𝑎(𝐴(𝑡𝑚(𝑥𝑛)), 𝑡𝑚(𝐴(𝑥𝑛))),)
[11]
70
![Page 81: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/81.jpg)
Métrica Auto-Equivarianza de Distancia Simple
• 𝒪(𝑘 × 𝑚 × 𝑛) condistancia arbitraria
• No requiere 𝑡𝑖 invertible• Pierde transformaciones/-muestras
• Requiere normalizaractivaciones
t(x)
f(x)
f(x)
t(x)
71
![Page 82: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/82.jpg)
Métrica de Equivarianza por capas de Lenc
t(x)
f(x)
f(x)
t'(x)
1. Asume 𝑡′(𝑥) = 𝐴𝑥2. Aprende 𝑡′(𝑥) mediantedescenso de gradiente
3. Conjunto de datos:• Entrada: 𝑓(𝑥)• Salida: 𝑓(𝑡(𝑥))
4. |𝐴 − 𝐼| mide Invarianza
Problemas: aprendizaje, escalabilidad, interpretabilidad 72
![Page 83: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/83.jpg)
Modelos/Datos/Transformaciones/Métricas
• Probamos• MNIST, CIFAR10• SimpleConv, AllConvolutional, VGG16, ResNet, TIPooling• Rotaciones, Escalados, Translaciones, Combinaciones• Invarianza: VT/VM/VN, DT/DM/DN, ANOVA, Goodfellow• Autoequivarianza: AEVT/AEVM/AEVN, AEDT/AEDM/AEDN, AEDS
• Veremos: MNIST/CIFAR10, SimpleConv, Rotaciones,Invarianza de VN/ Auto-Equivarianza de VN
73
![Page 84: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/84.jpg)
Auto-Equivarianza - VN
MNIST CIFAR10
74
![Page 85: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/85.jpg)
Tamaño del Conjunto de Datos - Auto-Equivarianza VN
MNIST CIFAR10
75
![Page 86: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/86.jpg)
Subconjunto de Datos - Auto-Equivarianza VN
MNIST CIFAR10
76
![Page 87: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/87.jpg)
Tamaño del Conj. de Transformaciones - Auto-Equivarianza VN
MNIST CIFAR10 77
![Page 88: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/88.jpg)
Inicialización Aleatoria - Auto-Equivarianza VN
MNIST CIFAR10
78
![Page 89: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/89.jpg)
Pesos Aleatorios - Auto-Equivarianza VN
MNIST CIFAR10
79
![Page 90: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/90.jpg)
Batch Normalization - Auto-Equivarianza
MNIST CIFAR10
80
![Page 91: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/91.jpg)
MaxPool. vs Convoluciones con paso=2 - Invarianza
MNIST CIFAR10
81
![Page 92: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/92.jpg)
MaxPool. vs Convoluciones con paso=2 - Auto-Equivarianza
MNIST CIFAR10 82
![Page 93: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/93.jpg)
Comparación de modelos - Invarianza
MNIST CIFAR10
83
![Page 94: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/94.jpg)
Comparación de modelos - Auto-Equivarianza
MNIST CIFAR10
84
![Page 95: MétricasdeEquivarianza Transformacionalpara ... · MétricasdeEquivarianza Transformacionalpara RedesNeuronalesConvolucionales FacundoManuelQuiroga III-LIDIInstitutodeInvestigaciónenInformática](https://reader034.fdocuments.es/reader034/viewer/2022052013/602a78a5305ebb09d139ce97/html5/thumbnails/95.jpg)
Estudio de modelos - Conclusiones
• Batch Normalization• → No cambia la estructura de la invarianza/auto-equivarianza
• Max Pooling vs Convoluciones con paso = 2• → Cambia la estructura de la invarianza• → No cambia la estructura de la auto-equivarianza
• Comparación de modelos• → Distribución similar de equivarianza
85