Rafael Molina Campo de Movimiento en el plano de la imagen

1

Campo de movimiento en el plano de la imagen. Flujo óptico

y correspondencia

Rafael MolinaDepartamento de Ciencias de la

Computación e I.A.

Rafael Molina Campo de Movimiento en el plano de la imagen

2

Contenidos

§ Movimiento 2-D vs movimiento aparente.l Desplazamiento y velocidad 2-D.l Correspondencia y flujo óptico.l Ejemplo.

§ Correspondencia 2-D§ Flujo óptico.§ Validez de la ecuación del flujo óptico.

Rafael Molina Campo de Movimiento en el plano de la imagen

3

§ El problema de la oclusión§ El problema de la apertura§ Bibliografía

Rafael Molina Campo de Movimiento en el plano de la imagen

4

I. Movimiento 2-D vs Movimiento Aparente

El objetivo de esta sección es clarificar la diferencia entre velocidad 2-D y flujo óptico y entre desplazamiento 2-D y correspondencia

2-D.

Recordemos que en temas anteriores hemos utilizado el término campo de movimiento para referirnos tanto a la velocidad como al desplazamiento 2-D.

Rafael Molina Campo de Movimiento en el plano de la imagen

5

El movimiento 2-D es la proyección del movimiento 3-D en el

plano de la imagen.

El objetivo es estimar el movimiento 2-D, bien sea la velocidad instantánea o el desplazamiento, a partir de la secuencia de imágenes de que disponemos.

Tanto la velocidad 2-D como el desplazamiento pueden no ser observables, las razones las veremos después.

En su lugar observaremos el llamado movimiento aparente (flujo óptico o correspondencia).

Rafael Molina Campo de Movimiento en el plano de la imagen

6

I.1 Desplazamiento y Velocidad 2-D

El desplazamiento proyectado entre los tiempos t y t´ se puede definir para todos los puntos (x,t)=(x,y,t) ∈R3.

Tendríamos así

dc(x,t;t’-t)

que hay que entenderlo como que el punto x en el instante t se ha desplazado a x+ dc(x,t;t’-t) en el instante t’.

El subíndice c se refiere a que hasta ahora todo es continuo.

Rafael Molina Campo de Movimiento en el plano de la imagen

7

Una versión muestreada, dm(x,t;l∆t), de los vectores de desplazamientos 2-D definida sobre las variables continuas espacio-temporales se obtiene mediante

dm(x,t;l∆t)= dc(x,t;l∆t),

con l∈Z. Esto significa fijar un intervalo de muestreo ∆t y tomar t’=t+l ∆t

Si ahora suponemos que x=n con n=(i,j), (i,j) ∈Z2 y los tiempos de observación los notamos k∈Z podremos escribir

d(n,k,l)= dm(x,t;l∆t)

Igual puede hacerse con los vectores velocidades obteniendo v(n,k). ¿por qué ha desaparecido l?.

Rafael Molina Campo de Movimiento en el plano de la imagen

8

I.2 Correspondencia y Flujo Óptico.•El desplazamiento de las coordenadas del plano de la imagen x del tiempo t al t´ basado en la variación del nivel de gris, f(x,t), recibe el nombre de vector de correspondencias.

•El vector de flujo óptico se define como la razón de cambio temporal de las coordenadas del plano de la imagen, (u,v)=(dx1/dt,dx2/dt), en un punto (x,t)∈R3 determinado por la variación espacio-temporal del patrón de intensidades f(x,t).

•El campo de correspondencias y el campo de flujo óptico reciben también el nombre campo aparente de desplazamiento 2-D y campo aparente de velocidad 2-D, respectivamente.

Ya que sólo podemos observar el flujo óptico y las correspondencias supondremos que son lo mismo que el campo de movimiento y los desplazamientos. Sin embargo ....

Rafael Molina Campo de Movimiento en el plano de la imagen

9

Puesto que estamos estimando el movimiento a partir de los niveles de gris, tenemos problemas:

Problema 1: Tiene que haber suficiente variación en el nivel de gris de la región que se mueve para que su movimiento se detecte. (esfera con nivel de gris constante que gira, su movimiento no se detecta). Flujo: No, Movimiento: Sí.

Problema 2: Puede detectarse flujo óptico cuando no haya movimiento. (cambio en la iluminación externa). Flujo: Sí, Movimiento: No.

Rafael Molina Campo de Movimiento en el plano de la imagen

10

I.3 Ejemplo

Las imágenes han sido obtenidas del Computer Vision ResearchGroup , Department of Computer Science, University of Otago Dunedin, New Zealand(http://www.cs.otago.ac.nz/research/vision/Research/OpticalFlow/opticalflow.html) que posee generadores, de libre disposición, de flujo óptico basados en Tcl/Tk y ray-tracer.

Rafael Molina Campo de Movimiento en el plano de la imagen

11

La esfera gira de izquierda a derecha y genera el movimiento que vemos en la imagen

Flujo óptico Imagen 2Imagen 1

En el directorio pub/vision de ftp.csd.uwo se encuentran los códigos que implementan los métodos de estimación de flujo óptico que veremos a continuación, así como varias secuencias y programas que generan imágenes y su flujo óptico. Ver el trabajo de Barron y col. (1992) (material adicional de la asignatura en pdf)

Rafael Molina Campo de Movimiento en el plano de la imagen

12

II. Correspondencia 2-D

El problema de la correspondencia puede establecerse como la estimación hacia delante o hacia atrás del movimiento, d, que tiene la forma d=(d1(x1,x2),d2(x1,x2))

Hacia delante:f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k+l)

con l>0, se ha suprimido en d su dependencia de k y l, de hecho debemos escribir dlk.

Hacia atrás (usado más en compresión):

f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k-l) con l>0.

Rafael Molina Campo de Movimiento en el plano de la imagen

13

Se dice que un problema está mal definido si no existe una solución única y/o sus soluciones no dependen continuamente de los datos. La estimación del movimiento es un problema mal definido ya que sufre de:

•Problema de la oclusión,

•Problema de la apertura,

•No continuidad de la solución.

Veremos estos problemas con posterioridad.

Rafael Molina Campo de Movimiento en el plano de la imagen

14

III. Flujo óptico

El problema de la estimación del flujo óptico consiste en la estimación de la velocidad 2-D v(x,t). Nótese que la estimación de la correspondencia y el flujo son equivalentes cuando usamos sólo dos imágenes. Es decir,

d(x,t;l∆t)=v(x,t) l∆t

Consideremos la distribución de intensidades en un sistema espacio-temporal continuo, f(x,y,t) (es importante recordar que luego tendremos que aproximar nuestros cálculos a partir de las secuencias de imágenes, discretas en el espacio y el tiempo).

Rafael Molina Campo de Movimiento en el plano de la imagen

15

Hipótesis: la intensidad de cada objeto permanece constante durante el movimiento

por tantof(x+u δt ,y+v δt ,t+ δt )=f(x,y,t) (1)

Vamos ahora a desarrollar por Taylor f(x+u δt ,y+v δt ,t+ δt ) y luego tendremos en cuenta la ecuación anterior.

Si usamos desarrollo en serie de Taylor tendremos

f(x+u δt ,y+v δt ,t+ δt )

= f(x,y,t)+ u δt (∂f/ ∂x)+v δt (∂f/ ∂y)+ δt (∂f/ ∂t)+ε

sustituyendo el valor de f(x+u δt ,y+v δt ,t+ δt ) de la ec. (1)

Rafael Molina Campo de Movimiento en el plano de la imagen

16

tendremos

f(x,y,t) = f(x,y,t)+ u δt (∂f/ ∂x)+v δt (∂f/ ∂y)+ δt (∂f/ ∂t)+ε

y dividiendo por δt, cuando δt →0, obtenemos la llamada ecuación del flujo óptico

ufx+vfy+ft=0 (2)

donde u y v denotan las componentes del vector de velocidades (nótese que hemos suprimido, por comodidad, su dependencia de (x,y,t), al igual que hemos hecho con fx, fy y ft) y los subíndices indican derivadas parciales.

Rafael Molina Campo de Movimiento en el plano de la imagen

17

Esta ecuación puede reescribirse como

interno producto denota ,y )),,(),,,((

,),,(),,(

),,( donde

0),,(

),,,(

T

T

tyxvtyxuc

ytyxf

xtyxf

tyxf

ttyxf

ctyxf

=

∂

∂∂

∂=∇

=∂

∂+∇

Rafael Molina Campo de Movimiento en el plano de la imagen

18

Es importante notar que esta ecuación se puede obtener desde otro punto de vista.

La constancia de la intensidad puede escribirse como

df(x,y,t)/dt=0

Tengamos en cuenta que esta derivada no es lo mismo que (∂f/ ∂t) y que lo que estamos afirmando es que el nivel de gris como función del tiempo no cambia durante la trayectoria (veremos, posteriormente, en qué casos esto es cierto). Es decir, afirmamos

df(x(t),y(t),t)/dt=0

Por la regla de la cadena tendremos

Rafael Molina Campo de Movimiento en el plano de la imagen

19

)3(

0),,(),,(),,(

),,(),,(),,()),(),((

=∂

∂+∂

∂+∂

∂=

∂∂

+∂

∂+

∂∂

=

ttyxf

vy

tyxfu

xtyxf

ttyxf

dtdy

ytyxf

dtdx

xtyxf

dtttytxdf

que es la misma ecuación que habíamos obtenido antes.

En esta ecuación aparecen derivadas parciales, teniendo en cuenta que nosotros trabajamos con imágenes discretas, tanto en el espacio como en el tiempo ¿Cómo reescribiríamos esta ecuación en su versión discreta?.

Rafael Molina Campo de Movimiento en el plano de la imagen

20

Si z=(x,y) podemos utilizar

),,()1,,(),(

),,(),1,(),(

),,(),,1(),(

tyxftyxft

tzf

tyxftyxfy

tzf

tyxftyxfx

tzf

−+=∂

∂

−+=∂

∂

−+=∂

∂

aunque es más razonable filtrar las imágenes tanto espacial como temporalmente antes de realizar los cálculos.

En cuanto al tamaño del bloque B, se suele usar 5x5.

Rafael Molina Campo de Movimiento en el plano de la imagen

21

IV. Validez de la ecuación de flujo óptico(*).¿Es buena la aproximación que proporciona la ec. (2), pg 16, o ec. (3), pg 19, al campo de movimiento?.

Consideremos una superficie lambertiana S iluminada por una fuente puntual muy alejada de la cámara. Si ignoramos las posibles distorsiones fotométrica podemos escribir la luminosidad f de la superficie como

f= ρItn (4)

Donde ρ es el albedo de la superficie, I indica la intensidad y dirección de la iluminación y n es el vector unitario normal a S en P.

(*) esta sección es opcional. Sólo para los interesados

Rafael Molina Campo de Movimiento en el plano de la imagen

22

Calculemos ahora la derivada temporal de ambos lados de la ec. (4), pg 21.

Si la superficie se mueve con relación a la cámara con velocidad de traslación T y angular ω, la orientación del vector normal cambia de acuerdo con

ndtdn

×= ω

Utilizando ec. (2), pg 15, tendremos

( )nIt

tyxfv

ytyxf

ux

tyxf t ×=∂

∂+

∂∂

+∂

∂ωρ

),,(),,(),,(

Rafael Molina Campo de Movimiento en el plano de la imagen

23

Obtenemos, por tanto, que incluso bajo la hipótesis simple de superficie Lambertiana la ecuación del flujo óptico es válida sólo para

•Movimiento de traslación pura,•Movimiento rígidos en los que la dirección de iluminación sea paralela a la velocidad angular.

Por esto, en general, el movimiento aparente de los niveles de gris es casi siempre diferente del campo de movimiento. De aquí que sea muy importante distinguir entre flujo óptico y campo de movimiento.

Rafael Molina Campo de Movimiento en el plano de la imagen

24

V. Problema de oclusión

El término oclusión se refiere a `tapar/destapar´ una superficie debido a la rotación 3-D y a la traslación de un objeto que ocupa sólo parte del campo de visión.

Se cubre este fondo en la imagen siguiente.Ninguna región en la imagen siguiente se corresponde con ésta.

Imagen k

Se descubre este fondo en esta imagen. Ninguna región en la imagen anterior predice esta región.

Imagen k+l

Rafael Molina Campo de Movimiento en el plano de la imagen

25

VI. El problema de la apertura

Consideremos la ecuación del flujo óptico, ec. (2) pg 16,

ufx+vfy+ft=0

observemos que tenemos una ecuación y dos incógnitas y por tanto existen infinitas soluciones en u y v. Reexpresemos(u,v) en función de (fx,fy) y (fy,-fx) (dos vectores perpendiculares):

. variablecon

),(),(),( 22

λ

λ xyyxyx

t ffffff

fvu −+

+−=

lo que significa que podemos determinar la componente de (u,v) en la dirección del gradiente espacial (fx,fy) pero no en su dirección perpendicular. Es el llamado problema de la apertura.

Rafael Molina Campo de Movimiento en el plano de la imagen

26

dirección del gradiente (fx,fy)

dirección del gradiente (fx,fy)

dirección normal al gradiente (fy,-fx)

¿Cuál es su flujo óptico?

El problema de la apertura

Rafael Molina Campo de Movimiento en el plano de la imagen

27

VII. BibliografíaTekalp, A.M., (1996), ‘Digital Video Processing’, Prentice-Hall.Trucco, E. Y Verri, A., (1998), ‘Introductory Techniques for 3-D Computer Vision’, Prentice Hall.

Complementaria (incluida en material adicional)

•J.L. Barron, D.J. Fleet, D.J., y S. Beauchemin, (1994) Performance ofoptical flow techniques. International Journal of Computer Vision, 12(1):43-77. •S. Beauchemin y J.L. Barron, (1996) The Computation of Optical Flow. ACM Computing Surveys 27(3):433-467.•J. Stiller and S. Stiller, (1999), Estimating Motion in Image Sequences, IEEE Signal Processing Magazine, 16(4):70-91.•A.J. Tabatabai and R.S. Jasinschi and T. Naveen, (1998) Motionestimation methods for video compression. A review, J. Franklin Institute, vol. 335B, 8, 1411-1441.