Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Convolución
• Caso continuo:
• Propiedades:
• asociativa
• conmutativa
• distributiva frente a la suma
• ...
3
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Convolución
• Media móvil: sirve para calcular tendencias
6
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Convolución
• Media móvil: sirve para calcular tendencias
7
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNN: Reconocimiento de dígitos
• 12 ejemplos de16x13 bits de cada dígito, dibujados con un ratón. Cada ejemplo se coloca en 4 posiciones horizontales: 480 casos de 16x16.
• Conjunto de entrenamiento: 32 ejemplos aleatorios de cada dígito
• Pruebas con 5 redes distintas, todas con entrenamiento on-line
Elements of Statical Learning, Hastie et al. (01) Generalization and Network Design Strategies, Le Cun (89)
10
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Net-1 y Net-2
1112 ocultas, 3214 links
16x16 12 10
3084 links 130 links
0 ocultas, 2570 links
16x1610
• Net-1:
• 10 unidades sigmoides de salida
• completamente conectada.
• ajusta muy rápido (7-5 épocas)
• 70%-80% en test
• superposición ponderada de entradas
• Net-2:
• +12 unidades (¿sigmoides?) ocultas
• completamente conectada
• ajusta muy rápido (6 épocas)
• 87% test
• sobreparametrizada
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Net-3
12
16x16
8x84x4
10
640 links 416 links 170 links
80 ocultas, 1226 links
• 2 capas ocultas, H1 de 8x8 y H2 de 4x4.
• H1 y H2 con conexión local: subsampleo de la entrada
• capa de salida completamente conectada
• 88,5% test
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Net-4
13
d
16x168x8
4x4
10
1280 links146 pesos
816 links816 pesos 170 links
170 pesos
144 ocultas, 2266 links, 1132 pesos
8x8
• H1 de 8x8x2 y H2 de 4x4.
• H1 y H2 con conexión local
• En cada mapa de H1 se comparten los pesos (¡convolución!)
• 94% test
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Net-5
14
192 ocultas, 5194 links, 1060 pesos
16x16 8x8
4x4
10
1280 links146 pesos
3264 links264 pesos
650 links650 pesos
• H1 de 8x8x2, H2 de 4x4x4.
• H1 y H2 convoluciones
• 98,4% test (con picos de 100%)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Resultados
15
links pesos performance
Net-1 2570 2570 80,0%
Net-2 3240 3240 87,0%
Net-3 1226 1226 88,5%
Net-4 2266 1132 94,0%
Net-5 5194 1060 98,4% %
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
LeNet-5
16
Gradient-based learning applied to document recognition, Le Cun et al. (98)
Neuronas Links Pesos
C1 4704 122304 156S2 1176 5880 12
C3 1600 151600 1516
S4 400 2000 32
C5 120 48120 48120
F6 84 10164 10164
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Características
• Grandes cantidades de neuronas pero pocas conexiones que disminuyen el sobreajuste debido a la sobreparametrización.
• Distintos tipos de capas:• convolutiva (feature map): las neuronas están conectadas
localmente y comparten pesos; extraen características locales y son invariantes respecto al espacio.
• subsampleo/agrupación (pooling): condensan salidas de capas anteriores, aplicando subsampleo y alguna función de reducción (máximo, k-máximo, media, etc.); reducen el espacio.
• completamente conectadas: al estilo clásico, normalmente son la última capa.
18
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Características
• Se puede entrenar con backpropagation con alguna pequeña modificación.
• A tener en cuenta:• cantidad de capas convolución / subsampleo
• tamaño de los filtros y separación entre zonas de recepción (stride)• función de agrupamiento
• Hay conocimiento del dominio detrás de estas elecciones.
19
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Who put the D in Deep?
21
ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky et al. (12)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Who put the D in Deep?
22
GoogLeNet, Szegedy et al. (14)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
Who put the D in Deep?
23
Deep Residual Learning for Image Recognition, He et al. (15)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
ImageNet Challenge
• 1,2 millones de imágenes en 1000 categorías.
24
ImageNet Large Scale Visual Recognition Challenge, Russakovsky et al (15)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNLP
• Convolución, sí. Profunda, no.
26
Convolutional Neural Networks for Sentence Classification, Yoon Kim (14)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNLP
27
Convolutional Neural Networks for Sentence Classification, Yoon Kim (14)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNLP
28
A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNLP
29
• ¿Existe el mejor conjunto de vectores?
• ¿Tamaño de los filtros?
• ¿Cantidad de mapas de características?
• ¿Función de agrupamiento?
• ¿Regularización?
• ¿Con cuáles parámetros quedarse?
A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16)
Redes neuronales convolutivas, Seminario DLPLN 2016, InCo
CNLP
31
Natural Language Processing (Almost) from Scratch, Collobert et al. (11)
Top Related