PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 •...
Transcript of PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 •...
1/60
PERCEPCIÓN AVANZADA
Fusión Sensorial
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS
2/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
3/60
• Objetivos:
– Explotar las sinergias entre medidas: la unión de medidas es mejor que la suma de todas ellas
– Mejorar fiabilidad: ruido, fallos de algún sensor
• Consideraciones:
– Asociación: determinar si datos de dos o más sensores provienen del mismo fenómeno
– Filtrado de datos: evitar datos contradictorios
– Carga computacional: velocidad de repuesta necesaria
Sensor
Fusión de información
Mejora en la Percepción
Sensor Sensor
Ruido RuidoRuido
Fusión Sensorial
4/60
Tipos de fusión sensorial:
• Complementaria
– Sensores obtienen información que se complementa
– Los sensores no dependen unos de otros
– Es sencilla de implantar
• Competitiva
– Sensores proporcionan información redundante
– Posibles conflictos
– Se usa en sistemas críticos
• Cooperativa
– Sensores colaboran para proporcionar información que uno sólo no podría
– Obtiene medida que no podría obtener por ninguno de ellos solos
Visión estéreo
Cámaras cubrenzonas muertas
Sistema estéreo y efector final
Fusión Sensorial
5/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
6/60
• Clasificación básica:
– Nivel de datos (nivel bajo)
– Nivel de características (nivel medio)
– Nivel de decisión (nivel alto)
Fusión Sensorial
7/60
• Fusión de nivel de datos
– Se aplican sobre los datos capturados por los sensores, e.g. fusión de
intensidades de píxeles
– Los datos a funcionar sean de características similares, e.g. sumables
– Ventaja: fácil implantación
– Desventaja: opera sobre todos los datos, originando carga computacional
Fusión Sensorial
8/60
• Fusión de nivel de características
– Combinan características obtenidas de datos procesados
Fusión Sensorial
9/60
• Fusión de nivel decisión
– Se fusionan decisiones, e.g. decisión del tipo de objeto
– Normalmente emplean técnicas probabilísticas
Feature
Feature
Feature
Fusión Sensorial
10/60
Representación de la incertidumbre
– No existe incertidumbre
– Empleo de lógica borrosa
– Empleo de incertidumbre estadística
• Máxima verosimilitud
• Filtros Bayesianos. Filtros de Kalman
– Empleo de incertidumbre de Dempster-Shafer
Técnicas de fusión sensorial
11/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
12/60
• Determinar si datos de dos o más sensores provienen del mismo fenómeno
• Paso previo a la fusión de datos
• Relativamente sencillo si los sensores están concentrados
• Muy complejo si los sensores están distribuidos:
– Mido velocidades de coches en una autopista con varios Doppler. ¿Qué medidas de
los Doppler 1 y 2 son del mismo coche?
• Problema muy complejo en el caso general
• Criterios para asociación:
– Posición del fenómeno medido mediante ambos sensores
– Similitud de lecturas tomadas por ambos sensores
– ...
– ¿Cómo puede aplicarse a imágenes? �
Asociación de datos
Asociación de datos
Fusión
de datos
rectificación de imágenes
13/60
Asociación temporal:– Algoritmos de sincronización de máquinas remotas
• NTP
– Establecimiento de etiquetas temporales
Asociación espacial:– Asociación del mismo objeto en dos imágenes de cámaras distribuidas
Asociación de datos
14/60
Matriz de homografía
• Permite relacionar escenas planas tomadas desde puntos diferentes
• Permite alinear imágenes de escenas planas
12 ImIm H=
=
44434241
34333231
24232221
14131211
hhhh
hhhh
hhhh
hhhh
H
Asociación de datos
15/60
Matriz de Homografía
Buen ajuste
Mal ajuste
Escenas planas
Asociación de datos
16/60
Matriz de Homografía
Permite asociar los píxeles y aplicar métodos de fusión de
datos, por ejemplo sumando niveles de píxeles
Detección de objetos
Asociación de datos
17/60
Correspondencia Visual/IR
• Problema:
18/60
� Paso 1 de 6: Selección de las imágenes
Imagen visual de referencia Imagen de infrarrojos a corregir
Sector representativo de imagen
(píxeles)
64x64
128x128
256x256
512x512
Resolución/Rango de detección
Correspondencia Visual/IR
19/60
� Paso 2 de 6: Detección de bordes para hallar la rotación
Suma cuadrática
del gradiente
bidireccional
Normalización
en el rango
[0,255]
Igualación de
histogramas
Imagen visual Imagen de infrarrojos
Correspondencia Visual/IR
20/60
� Paso 3 de 6: Cálculo de la DFT
Visual
IRElimina DC
Correspondencia Visual/IR
21/60
� Paso 4 de 6: Conversión a polar-semilogarítmica
Visual IR - Discretización logarítmica polar
- Interpolación bilineal
- Suavizado mediante un filtro de
la mediana con máscara 5x5
- Filtro sinosoidal y ventana de
Hanning
θ
log ρ
θ- Desplazamiento centro
de masas umbralizado
- SPOMF
log ρ
Correspondencia Visual/IR
22/60
Suma cuadrática
del gradiente
direccional
� Paso 5 de 6: Preprocesamiento en detección de traslación
0 255 255
255
127
255
255
255
191
191
Visual
Infrarrojos
Esquema de inversiones
de intensidad
Normalización
en el rango
[0,255]
Igualación de
histogramas
Detector debordes direccional
Correspondencia Visual/IR
23/60
� Paso 6 de 6: Cálculo SPOMF para hallar la traslación
Desplazamiento vertical
Desplazamiento horizontal
Parámetro de calidad: Comparación entre
picos máximos distantes para desestimar
detecciones incorrectas
Correspondencia Visual/IR
24/60
� Adquisición de imágenes
� Representación por pantalla
Estabilización conjunta Visual/IR
25/60
o Ejemplo de fusión de imágenes:
Imagen visual Imagen IR
Objetos calientes sobre imagen visual Suma de ambas imagenes
Fusión IR/Visual
26/60
Fusión IR/Visual
Fusión mediante
selección de umbralFusión con media
sobre la visual
Fusión con media de niveles sobre la de IR
Fusión con media ponderada sobre la de IR
27/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
28/60
� Objetivo: medir automáticamente parámetros del incendio en tiempo real
� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios
� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes
� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser
Fusión sensorial para mejorar medidas
Monitorización de Incendios
29/60
Fusión sensorial para mejorar medidas
Vista frontalVista aérea
Vista lateral B
Vista lateral A
30/60
Fusión sensorial para mejorar medidas
� Percepción combinada: obtención indirecta de magnitudes
� Fusión sensorial: magnitudes obtenidas de varias fuentes
� Filtrado de Kalman
∑
∑
=
jjk
jjkjk
k
m
Mω
ω2jkjjk rF=ω
--0.670.71Lateral IR
--0.760.89Frontal IR
Altura de llamaAncho frentePosición frente
0.24
0.67
0.22
0.53
0.58Lateral Visual
0.51Frontal Visual
31/60
Fusión sensorial para mejorar medidas
Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006
Puntos: evolución real
Líneas: evolución estimada
32/60
Fusión sensorial para mejorar medidas
33/60
1) Identificación del punto D VF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
34/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de A VF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
35/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de C IR en la imagen de infrarrojos.4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
36/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de A IR y C IR sobre el terreno para obtener A y C empleando :
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
37/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
38/60
1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:
AIR = HIR H-1VF AVF
3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:
A = H-1IR AIR
5) Cálculo de B como el punto medio entre A y C6) Cálculo de B VL como la proyección de B sobre la imagen lateral vis ual:
BVL = HVL B
D
A
vista lateral
terreno
vista IR visual frontal
Sistemas multi-cámara. Coordenadas comunes
39/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
40/60
• Frecuentemente se emplea en
Fusión de niveles medio y alto
• Representan la información de
forma deliberadamente imprecisa
• Permite recoger información de
la aplicación
Sistemas borrosos
• Expresa las relaciones entre medidas mediante reglas explícitas
cercanas al lenguaje natural
Reglas
– Conocimiento de expertos humanos
– Análisis del problema
41/60
Ejemplo: Conducción automática de automóviles
– Sensores:
• Cámaras � Detecta carretera mediante proces. de imágenes
• GPS � Conoce su posición y dispone de mapa de carretera
– Funciones de pertenencia:
cámara GPS
CI CC CDMI I C D MD
GiroIzq Centro Der
Sistemas borrosos
42/60
Ejemplo: Conducción automática de automóviles
– cámara: -20 grados
– GPS: -35 gradosGPS
cámaraCI CC CD
MI I C D MD
cámara es CI con valor 0.35
cámara es CC con valor 0.6
GPS es MI con valor 0.32
GPS es I con valor 0.65
Sistemas borrosos
43/60
Ejemplo: Conducción automática de automóviles
SI (cámara es CI) O (GPS es I) ENTONCES (Giro es Izq)
0.35 O 0.65 ENTONCES (Giro es Izq)
Giro es Izq con peso 0.65
GiroIzq Centro Der
GiroIzq Centro DerGiro es Centro con peso 0.95
Otras reglas:
Sistemas borrosos
44/60
Ejemplo: Conducción automática de automóviles
Salida:
Cálculo del centroide
Giro0.65
0.95
Gira 30 Grados a la izquierda
Sistemas borrosos
45/60
Detección de Incendios. Reducción de falsas alarmas
Tasa de Detección: 100%
Tasa de Falsa Alarmas: 1,93 %
90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual
9,1 % información geográfica
46/60
Detección de Incendios. Reducción de falsas alarmas
� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas
� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio
� Sistema Borroso para integración de información
a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)
Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)
47/60
Detección de Incendios. Reducción de falsas alarmas
• Interpretación:
– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias
• 10 neuronas 120 iteraciones • ME = 9 13 iteraciones
– Neuronas Wavelet binarias
• MME: ME=9 6 iteraciones (PD=100% PFA=0%)
• Al-Jaroudi: ME=9 6 iteraciones (PD=100% PFA=0%)
( )
∑ −−−==
N
1iiiMME T))T)(f(x(yu N
N
1E ∑=
=
N
1iiiJM ))f(x-y-ln(1
N
1E
Falsas alarmas Incendio
48/60
• Introducción
• Clasificación
• El problema de la asociación de datos
• Fusión sin incertidumbre
• Lógica borrosa en fusión sensorial
• Técnicas estadística de fusión sensorial
Fusión Sensorial
49/60
• Se emplea para fusionar características
• Sensores que obtienen información complementaria del fenómeno
mi es la medida del sensor i
• Supone que los sensores y medidas son estadísticamente independientes
• La medida M resulta de suma ponderada:
Las medidas con más ruido contribuyen menos a la medida global
Cov2i matriz de covarianzas de la medida del sensor i
Técnicas estadísticas. Máxima verosimilitud
( )1
1 1
1 1
N N
i i i
i i
M Cov mCov
−− −
= =
= ∑ ∑
50/60
Ejemplo
• Sensor 1: {1,09 1,13 0,97 0,87 0,86 1,05 1,04}
• Sensor 2: {0,74 1,33 1,07 0,81 0,93 1,21 1,18}
• Supongamos ruido Gaussiano
• Varianza: σ21=0,0095 y σ22=0,0412
{1.02 1.17 0.99 0.86 0.87 1.08 1.07}
Falla si algún sensor deja de tomar medidas
Técnicas estadísticas. Máxima verosimilitud
51/60
• Se emplea para fusionar características
• Estima iterativamente el estado de un sistema a partir de medidas
• Ventajas:
– Estimador óptimo en presencia de ruido blanco Gaussiano de media 0
– Permite integrar medidas de
varios sensores
• Desventajas:
– Requiere conocimiento preciso de
modelos de sistema y sensores
Técnicas estadísticas. Filtro de Kalman
52/60
– Fenómeno sigue modelo lineal:
El modelo puede ser no invariante en el tiempo: Ak, Bk, Ck
– wk y rk son muestras de ruido blanco Gaussiano de media nula
y matriz de covarianza:
kkkk wBuAxx ++=+1
kkk rCxy +=
[ ] QwwE kT
k =
[ ] RrrE kT
k =
Imprecisiones del modelo o perturbaciones
Ruido en el sensor
Técnicas estadísticas. Filtro de Kalman
53/60
Fases:
– Predicción: predice estado del sistema• Modelo de predicción
– Actualización: compara predicción con medidas y corrige• Modelo de observación
En cada paso estima:-
-
kkx /
⌢
kkP /
medidasyk
Filtro
Predicción
Actualización
Técnicas estadísticas. Filtro de Kalman
54/60
• Fase de predicción:
• Fase de actualización
Predicción del estado
Matriz de covarianza de la estimación del estado
kkkkk uBxAx +=+ //1
⌢⌢
QAPAP T
kkkk +=+ //1
Corrección de la estimación del estado futuro
Ganancia del filtro de Kalman
[ ]kkkkkkkk xCyLxx /111/11/1 ++++++ −+= ⌢⌢⌢
kkkkkkk PCLPP /11/11/1 +++++ −=
[ ] 1
/1/11
−+++ += RCPCCPL T
kk
T
kkk
Técnicas estadísticas. Filtro de Kalman
55/60
• La estimación del estado se realiza considerando el modelo del sistema y de los sensores
• R y Q determinan el peso relativo de cada contribución
– Si el ruido del sensor es alto � se fía más del modelo
– Si el modelo es impreciso � se fía más del sensor
• Si no hay medidas, se toma el
modelo para interpolar
Técnicas estadísticas. Filtro de Kalman
56/60
Modelos no lineales: Filtro de Kalman extendido (EKF)
• Modelos no lineales: linealizar
• Resto queda igual
( )( )
( )( )
( )( )
,
,
k k k
k
k k k
k
k k
k
A F x ux
B F x uu
C G xx
∂=∂∂=
∂∂=
∂
⌢
⌢
⌢
kkkk wBuAxx ++=+1
kkk rCxy +=
( )1 ,k k k kx F x u w+ = +
( )k k ky G x r= +
F o G son no lineales
Técnicas estadísticas. Filtro de Kalman
57/60
• Una red de cámaras WSN
Seguimiento de objetos con cámara motes
58/60
• Técnicas ML
( )∑∑=
−−
=
−
=
N
i
ii
N
i
i CovXCovX1
1
1
1
1
Seguimiento de objetos con cámara motes
59/60
• Técnicas EKF
– Modelo dinámico del sistema
• Velocidad lineal
– Modelo de observación (no lineal)
[ ] [ ][ ] [ ] kT
kiT
ki
Tki
Tki
kkik vXtXt
XtXtvXhZ +
==
11
11),(
,3,2
,3,1,
∂∂
∂∂
∂∂
∂∂
∂∂
∂∂
∂∂
kkk
kkk
k
k
z
h
y
h
x
h
z
h
y
h
x
h
=X
h=H
222
111
Seguimiento de objetos con cámara motes
60/60
• Técnicas EKF
Seguimiento de objetos con cámara motes
61/60
PERCEPCIÓN AVANZADA
Fusión Sensorial
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS