Campo de movimiento en el plano de la imagen. Flujo óptico ... fileRafael Molina Campo de...
27
Rafael Molina Campo de Movimiento en el plano de la imagen 1 Campo de movimiento en el plano de la imagen. Flujo óptico y correspondencia Rafael Molina Departamento de Ciencias de la Computación e I.A.
Transcript of Campo de movimiento en el plano de la imagen. Flujo óptico ... fileRafael Molina Campo de...
Rafael Molina Campo de Movimiento en el plano de la imagen
1
Campo de movimiento en el plano de la imagen. Flujo óptico
y correspondencia
Rafael MolinaDepartamento de Ciencias de la
Computación e I.A.
Rafael Molina Campo de Movimiento en el plano de la imagen
2
Contenidos
Movimiento 2-D vs movimiento aparente.Desplazamiento y velocidad 2-D.Correspondencia y flujo óptico.Ejemplo.
Correspondencia 2-DFlujo óptico.Validez de la ecuación del flujo óptico.
Rafael Molina Campo de Movimiento en el plano de la imagen
3
El problema de la oclusiónEl problema de la aperturaBibliografía
Rafael Molina Campo de Movimiento en el plano de la imagen
4
I. Movimiento 2-D vs Movimiento Aparente
El objetivo de esta sección es clarificar la diferencia entre velocidad 2-D y flujo óptico y entre desplazamiento 2-D y correspondencia
2-D.
Recordemos que en temas anteriores hemos utilizado el término campo de movimiento para referirnos tanto a la velocidad como al desplazamiento 2-D.
Rafael Molina Campo de Movimiento en el plano de la imagen
5
El movimiento 2-D es la proyección del movimiento 3-D en el
plano de la imagen.
El objetivo es estimar el movimiento 2-D, bien sea la velocidad instantánea o el desplazamiento, a partir de la secuencia de imágenes de que disponemos.
Tanto la velocidad 2-D como el desplazamiento pueden no ser observables, las razones las veremos después.
En su lugar observaremos el llamado movimiento aparente (flujo óptico o correspondencia).
Rafael Molina Campo de Movimiento en el plano de la imagen
6
I.1 Desplazamiento y Velocidad 2-D
El desplazamiento proyectado entre los tiempos t y t´ se puede definir para todos los puntos (x,t)=(x,y,t) ∈R3.
Tendríamos así
dc(x,t;t’-t)
que hay que entenderlo como que el punto x en el instante t se ha desplazado a x+ dc(x,t;t’-t) en el instante t’.
El subíndice c se refiere a que hasta ahora todo es continuo.
Rafael Molina Campo de Movimiento en el plano de la imagen
7
Una versión muestreada, dm(x,t;l∆t), de los vectores de desplazamientos 2-D definida sobre las variables continuas espacio-temporales se obtiene mediante
dm(x,t;l∆t)= dc(x,t;l∆t),
con l∈Z. Esto significa fijar un intervalo de muestreo ∆t y tomar t’=t+l ∆t
Si ahora suponemos que x=n con n=(i,j), (i,j) ∈Z2 y los tiempos de observación los notamos k∈Z podremos escribir
d(n,k,l)= dm(x,t;l∆t)
Igual puede hacerse con los vectores velocidades obteniendo v(n,k). ¿por qué ha desaparecido l?.
Rafael Molina Campo de Movimiento en el plano de la imagen
8
I.2 Correspondencia y Flujo Óptico.•El desplazamiento de las coordenadas del plano de la imagen x del tiempo t al t´ basado en la variación del nivel de gris, f(x,t), recibe el nombre de vector de correspondencias.
•El vector de flujo óptico se define como la razón de cambio temporal de las coordenadas del plano de la imagen, (u,v)=(dx1/dt,dx2/dt), en un punto (x,t)∈R3 determinado por la variación espacio-temporal del patrón de intensidades f(x,t).
•El campo de correspondencias y el campo de flujo óptico reciben también el nombre campo aparente de desplazamiento 2-D y campo aparente de velocidad 2-D, respectivamente.
Ya que sólo podemos observar el flujo óptico y las correspondencias supondremos que son lo mismo que el campo de movimiento y los desplazamientos. Sin embargo ....
Rafael Molina Campo de Movimiento en el plano de la imagen
9
Puesto que estamos estimando el movimiento a partir de los niveles de gris, tenemos problemas:
Problema 1: Tiene que haber suficiente variación en el nivel de gris de la región que se mueve para que su movimiento se detecte. (esfera con nivel de gris constante que gira, su movimiento no se detecta). Flujo: No, Movimiento: Sí.
Problema 2: Puede detectarse flujo óptico cuando no haya movimiento. (cambio en la iluminación externa). Flujo: Sí, Movimiento: No.
Rafael Molina Campo de Movimiento en el plano de la imagen
10
I.3 Ejemplo
Las imágenes han sido obtenidas del Computer Vision Research Group , Department of Computer Science, University of Otago Dunedin, New Zealand (http://www.cs.otago.ac.nz/research/vision/Research/OpticalFlow/opticalflow.html) que posee generadores, de libre disposición, de flujo óptico basados en Tcl/Tk y ray-tracer.
Rafael Molina Campo de Movimiento en el plano de la imagen
11
La esfera gira de izquierda a derecha y genera el movimiento que vemos en la imagen
Imagen 2Imagen 1 Flujo óptico
En el directorio pub/vision de ftp.csd.uwo se encuentran los códigos que implementan los métodos de estimación de flujo óptico que veremos a continuación, así como varias secuencias y programas que generan imágenes y su flujo óptico. Ver el trabajo de Barron y col. (1992) (material adicional de la asignatura en pdf)
Rafael Molina Campo de Movimiento en el plano de la imagen
12
II. Correspondencia 2-D
El problema de la correspondencia puede establecerse como la estimación hacia delante o hacia atrás del movimiento, d, que tiene la forma d=(d1(x1,x2),d2(x1,x2))
Hacia delante:f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k+l)
con l>0, se ha suprimido en d su dependencia de k y l, de hecho debemos escribir dlk.
Hacia atrás (usado más en compresión):
f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k-l) con l>0.
Rafael Molina Campo de Movimiento en el plano de la imagen
13
Se dice que un problema está mal definido si no existe una solución única y/o sus soluciones no dependen continuamente de los datos. La estimación del movimiento es un problema mal definido ya que sufre de:
•Problema de la oclusión,
•Problema de la apertura,
•No continuidad de la solución.
Veremos estos problemas con posterioridad.
Rafael Molina Campo de Movimiento en el plano de la imagen
14
III. Flujo óptico
El problema de la estimación del flujo óptico consiste en la estimación de la velocidad 2-D v(x,t). Nótese que la estimación de la correspondencia y el flujo son equivalentes cuando usamos sólo dos imágenes. Es decir,
d(x,t;l∆t)=v(x,t) l∆t
Consideremos la distribución de intensidades en un sistema espacio-temporal continuo, f(x,y,t) (es importante recordar que luego tendremos que aproximar nuestros cálculos a partir de las secuencias de imágenes, discretas en el espacio y el tiempo).
Rafael Molina Campo de Movimiento en el plano de la imagen
15
Hipótesis: la intensidad de cada objeto permanece constante durante el movimiento
por tantof(x+u δt ,y+v δt ,t+ δt )=f(x,y,t) (1)
Vamos ahora a desarrollar por Taylor f(x+u δt ,y+v δt ,t+ δt ) y luego tendremos en cuenta la ecuación anterior.
Si usamos desarrollo en serie de Taylor tendremos
f(x+u δt ,y+v δt ,t+ δt )
= f(x,y,t)+ u δt (∂f/ ∂x)+v δt (∂f/ ∂y)+ δt (∂f/ ∂t)+ε
sustituyendo el valor de f(x+u δt ,y+v δt ,t+ δt ) de la ec. (1)
Rafael Molina Campo de Movimiento en el plano de la imagen
16
tendremos
f(x,y,t) = f(x,y,t)+ u δt (∂f/ ∂x)+v δt (∂f/ ∂y)+ δt (∂f/ ∂t)+ε
y dividiendo por δt, cuando δt →0, obtenemos la llamada ecuación del flujo óptico
ufx+vfy+ft=0 (2)
donde u y v denotan las componentes del vector de velocidades (nótese que hemos suprimido, por comodidad, su dependencia de (x,y,t), al igual que hemos hecho con fx, fy y ft) y los subíndices indican derivadas parciales.
Rafael Molina Campo de Movimiento en el plano de la imagen
17
Esta ecuación puede reescribirse como
interno producto denota ,y )),,(),,,((
,),,(),,(),,( donde
0),,(),,,(
T
T
tyxvtyxuc
ytyxf
xtyxftyxf
ttyxfctyxf
=
∂
∂∂
∂=∇
=∂
∂+∇
Rafael Molina Campo de Movimiento en el plano de la imagen
18
Es importante notar que esta ecuación se puede obtener desde otro punto de vista.
La constancia de la intensidad puede escribirse como
df(x,y,t)/dt=0
Tengamos en cuenta que esta derivada no es lo mismo que (∂f/ ∂t) y que lo que estamos afirmando es que el nivel de gris como función del tiempo no cambia durante la trayectoria (veremos, posteriormente, en qué casos esto es cierto). Es decir, afirmamos
df(x(t),y(t),t)/dt=0
Por la regla de la cadena tendremos
Rafael Molina Campo de Movimiento en el plano de la imagen
19
)3(
0),,(),,(),,(
),,(),,(),,()),(),((
=∂
∂+
∂∂
+∂
∂=
∂∂
+∂
∂+
∂∂
=
ttyxfv
ytyxfu
xtyxf
ttyxf
dtdy
ytyxf
dtdx
xtyxf
dtttytxdf
que es la misma ecuación que habíamos obtenido antes.
En esta ecuación aparecen derivadas parciales, teniendo en cuenta que nosotros trabajamos con imágenes discretas, tanto en el espacio como en el tiempo ¿Cómo reescribiríamos esta ecuación en su versión discreta?.
Rafael Molina Campo de Movimiento en el plano de la imagen
20
Si z=(x,y) podemos utilizar
),,()1,,(),(
),,(),1,(),(
),,(),,1(),(
tyxftyxfttzf
tyxftyxfytzf
tyxftyxfxtzf
−+=∂
∂
−+=∂
∂
−+=∂
∂
aunque es más razonable filtrar las imágenes tanto espacial como temporalmente antes de realizar los cálculos.
En cuanto al tamaño del bloque B, se suele usar 5x5.
Rafael Molina Campo de Movimiento en el plano de la imagen
21
IV. Validez de la ecuación de flujo óptico(*).¿Es buena la aproximación que proporciona la ec. (2), pg 16, o ec. (3), pg 19, al campo de movimiento?.
Consideremos una superficie lambertiana S iluminada por una fuente puntual muy alejada de la cámara. Si ignoramos las posibles distorsiones fotométrica podemos escribir la luminosidad f de la superficie como
f= ρItn (4)
Donde ρ es el albedo de la superficie, I indica la intensidad y dirección de la iluminación y n es el vector unitario normal a S en P.
(*) esta sección es opcional. Sólo para los interesados
Rafael Molina Campo de Movimiento en el plano de la imagen
22
Calculemos ahora la derivada temporal de ambos lados de la ec. (4), pg 21.
Si la superficie se mueve con relación a la cámara con velocidad de traslación T y angular ω, la orientación del vector normal cambia de acuerdo con
ndtdn
×= ω
Utilizando ec. (2), pg 15, tendremos
( )nIttyxfv
ytyxfu
xtyxf t ×=
∂∂
+∂
∂+
∂∂ ωρ),,(),,(),,(
Rafael Molina Campo de Movimiento en el plano de la imagen
23
Obtenemos, por tanto, que incluso bajo la hipótesis simple de superficie Lambertiana la ecuación del flujo óptico es válida sólo para
•Movimiento de traslación pura,•Movimiento rígidos en los que la dirección de iluminación sea paralela a la velocidad angular.
Por esto, en general, el movimiento aparente de los niveles de gris es casi siempre diferente del campo de movimiento. De aquí que sea muy importante distinguir entre flujo óptico y campo de movimiento.
Rafael Molina Campo de Movimiento en el plano de la imagen
24
V. Problema de oclusión
El término oclusión se refiere a `tapar/destapar´ una superficie debido a la rotación 3-D y a la traslación de un objeto que ocupa sólo parte del campo de visión.
Imagen k+lImagen k
Se descubre este fondo en esta imagen. Ninguna región en la imagen anterior predice esta región.
Se cubre este fondo en la imagen siguiente.Ninguna región en la imagen siguiente se corresponde con ésta.
Rafael Molina Campo de Movimiento en el plano de la imagen
25
VI. El problema de la apertura
Consideremos la ecuación del flujo óptico, ec. (2) pg 16,
ufx+vfy+ft=0
observemos que tenemos una ecuación y dos incógnitas y por tanto existen infinitas soluciones en u y v. Reexpresemos(u,v) en función de (fx,fy) y (fy,-fx) (dos vectores perpendiculares):
. variablecon
),(),(),( 22
λ
λ xyyxyx
t ffffff
fvu −++
−=
lo que significa que podemos determinar la componente de (u,v) en la dirección del gradiente espacial (fx,fy) pero no en su dirección perpendicular. Es el llamado problema de la apertura.
Rafael Molina Campo de Movimiento en el plano de la imagen
26
El problema de la apertura
dirección del gradiente (fx,fy)
dirección del gradiente (fx,fy)
dirección normal al gradiente (fy,-fx)
¿Cuál es su flujo óptico?
Rafael Molina Campo de Movimiento en el plano de la imagen
27
VII. BibliografíaTekalp, A.M., (1996), ‘Digital Video Processing’, Prentice-Hall.Trucco, E. Y Verri, A., (1998), ‘Introductory Techniques for 3-D Computer Vision’, Prentice Hall.
Complementaria (incluida en material adicional)
•J.L. Barron, D.J. Fleet, D.J., y S. Beauchemin, (1994) Performance of optical flow techniques. International Journal of Computer Vision, 12(1):43-77. •S. Beauchemin y J.L. Barron, (1996) The Computation of Optical Flow. ACM Computing Surveys 27(3):433-467.•J. Stiller and S. Stiller, (1999), Estimating Motion in Image Sequences, IEEE Signal Processing Magazine, 16(4):70-91.•A.J. Tabatabai and R.S. Jasinschi and T. Naveen, (1998) Motion estimation methods for video compression. A review, J. Franklin Institute, vol. 335B, 8, 1411-1441.
