Introducción T2. Visión Estereoscópica

Técnicas Avanzadas de Visión por Computador

Sistemas Informáticos Avanzados

T2. Visión EstereoscópicaT2. Visión Estereoscópica

2T2. Visión Estereoscópica

ÍndiceÍndice

Introducción• ¿Qué es la visión estereoscópica?

Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación

El problema de la correspondencia• Restricciones• Métodos de correspondencia

Métodos basados en áreasMétodos basados en primitivas

• Mapa de disparidades, oclusiones, consistenciaConclusiones


ÍndiceÍndice







Proyección de una escena (3D) en 2 o más planos (2D)• Sistema binocular• Cámara en movimiento• Sistema de cámara con espejos• Sistema de múltiples cámaras

IntroducciónIntroducción


Sistema binocular


http://users.rcn.com/mclaughl.dnai/products.htm

http://www.lucs.lu.se/Projects/Robots/Robots1990/StereoHead2.html


Cámara en movimiento


http://www.dis.uniroma1.it/~iocchi/stereo/stereo.html


Sistema de cámara con espejos


http://www-sop.inria.fr/robotvis/hardware/HardwarePictures.html

⇒


Sistema de múltiples cámaras


http://www.ptgrey.com/products/digiclops


ÍndiceÍndice

Introducción¿Qué es la visión estereoscópica?






Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D

¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?

⇒

http://www.ai.sri.com/~konolige/svs/pictures.htm




http://www.ai.sri.com/~konolige/svs/pictures.htm 12T2. Visión Estereoscópica



http://www.inria.fr/




http://www.dis.uniroma1.it/~iocchi/stereo/stereo.html




http://www.ptgrey.com/products/triclopsSDK/samples.html


ÍndiceÍndice







Geometría de 1 cámara:• Geometría de la proyección: 3D a 2D

Geometría de 2 cámaras:• Geometría paralela• Geometría no paralela

Calibración

Rectificación

Geometría de un Sistema BinocularGeometría de un Sistema Binocular


Modelo de cámara pinhole

Geometría de la proyecciónGeometría de la proyección

pinhole

Plano focalPlano retínico

Proyección Perspectiva

Eje ópticoCentro óptico




C

R

M

m

m = intersección de la recta CM con el plano R




Plano retínicoCentro óptico

ff


Sistemas de coordenadas


RC

x

yz

u

v

Sist. Coord. 2D = (c, u, v)u paralelo xv paralelo yc = intersección R y z

c

Sist. Coord. 3D = (C, x, y, z)C = centro ópticoz = eje óptico


De coordenadas de la cámara a coordenadas de la imagen


RC

x

yz

u

v

c

M=(x,y,z)

m=(u,v)

yv

xu

zf

==


Matriz de proyección perspectiva


⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1000

100

0

0

00

zyx

ff

SVU

yv

xu

zf

==

0// ≠== SsiSVvSUu

MPm ~~ =P = matriz de proyección

2D

3D

2D 3D


Lo que queremos es m en coordenadas normalizadas


R

M=(x,y,z)

m=(u,v)

C

f

C

x

y

u

v

c


De coordenadas de la imagen a coordenadas normalizadas


R

m

u

v

c

un

vn

cn

Coordenadas normalizadas de la imagen

cmccmc nn +=

Cambio de coordenadasde (c, u, v) a (cn, un, vn)

Sumar a m la posición de c respecto a cn :

(u0, v0)




Unidades de u, v metrosUnidades de un, vn pixels

ku, kv pixels/metro

Puede ser ku ≠ kvR

m

u

v

c

un

vn

cn





⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

11000

0

10

0

vu

vkuk

vu

v

u

n

n

R

m

u

v

c

un

vn

cn





⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1000

1000

0

0

0

zyx

vfkufk

SVU

v

u

Parámetros intrínsecos: f, ku, kv, u0, v0

0// ≠== SsiSVvSUu nn





⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1000

1000

0

0

0

zyx

vu

SVU

v

u

αα

Medida de la longitud focal en unidades de un y vn: αu, αv




⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡ −=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1000

100sin/0cot

0

0

zyx

vu

SVU

v

uu

θαθαα

Cuando es posible que haya una desviación del eje óptico


11 grados de libertad


Parámetros extrínsecos: de las coordenadas del mundo a las coordenadas de la cámara


R

M=(x,y,z)

m=(u,v)

C

f

C

x

y

u

v

c

z

Z

Y XORotación + Traslación

oMKM ~~ =

M0=(X,Y,Z)


Parámetros extrínsecos


Rotación + Traslación

oMKM ~~ =

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=

1000333231

232221

131211

z

y

x

trrrtrrrtrrr

K

Rotación + Traslación


Forma general de la matriz de proyección



⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1ZYX

PSVU


Forma general de la matriz de proyección


⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

1000000

1000

0

333231

232221

131211

0

0

z

y

x

v

u

trrrtrrrtrrr

vfkufk

P

Matriz 3x4


Calibración:• Paso 1: Estimar la matriz P• Paso 2: Estimar los parámetros intrínsecos y

extrínsecos a partir de P

Para algunas aplicaciones (como visión estéreo) sólo es necesario el paso 1.



ÍndiceÍndice


Geometría de un sistema binocular• Geometría de la proyección

Geometría binocular. Matriz fundamental• Rectificación





Geometría de 2 cámaras:• Geometría paralela• Geometría no paralela


P1

P2


El caso más simple:• Geometría paralela


P1 P238T2. Visión Estereoscópica



⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

000

1000

0

0

0

1 vfkufk

P v

u

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

100001000010

001

000

1000

0

0

0

2

b

vfkufk

P v

u




⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

000

1000

0

0

0

1 vfkufk

P v

u

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

00

1000

0

0

0

2

bfkvfkufk

Pu

v

u

!Iguales!




⎥⎦

⎤⎢⎣

⎡==

1

1111 ,~~

vu

mMPm

⎥⎦

⎤⎢⎣

⎡==

2

2222 ,~~

vu

mMPm

21 vv =




01 uzxfku u +=

zbfkuu u+= 12

zbfku

zxfku uu ++= 02




zbfkuu u+= 12z

bfkuu u=− 12

constante

disparidadprofundidad

Inversamente proporcional







u1u2

Disparidadu2 - u1

Buscar puntoshomólogos:

El problemade la

correspondencia




Líneas epipolares

Haz de planos

C1

C2


Geometría no paralela


Epipolos

C1

C2


Geometría no paralela


⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

000

1000

0

0

0

1 vfkufk

P v

u

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

1000000

1000

0

333231

232221

131211

0

0

2z

y

x

v

u

trrrtrrrtrrr

vfkufk

P

Suponemos: • Coord. del mundo en

(C1, x1, y1, z1) • Misma cámara


Matriz Fundamental


m1m2

?21

~ lmF =

l2

l1

F= Matriz Fundamental

12~ lmF T =

TFF =−1

0~~12 =mFm T

0~~21 =mFm TT

l2

l1


Calibración:• Obtener todos los parámetros de calibración

(matrices de proyección P1 y P2)s1, s2 : factores de escala

• Calcular F a partir de P1 y P2

donde Qi son matrices 3x3 y qi son vectores 3x1,


MPms ~~111 =MPms ~~

222 =

[ ] 1121

1122

−− ×−= QQqQQqF

][ iii qQP =


Calibración débil:• Hallar pares de puntos homólogos en dos

imágenes• Estimar la matriz F a partir de los pares de

correspondenciasMétodo de los 8-puntosMétodos linealesMétodos no lineales



ÍndiceÍndice


Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental

RectificaciónEl problema de la correspondencia• Restricciones• Métodos de correspondencia




Rectificación:• Hacer coincidir las líneas epipolares con filas de la

imagen



Rectificación:• Si las cámaras son en perspectiva lineales

Rectificar = proyectar P1 y P2 en un plano de rectificación

• Si son en perspectiva no linealHay que tener en cuenta la distorsión

• Si no son en perspectivaMétodos muy diferentes



Rectificación:• Si las cámaras son en perspectiva lineales

Rectificar = proyectar P1 y P2 en un plano de rectificaciónLos epipolos son enviados al infinitoF rectificada es:


⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡−=010100

000F


Rectificación:



Rectificación:



Rectificación:



Rectificación: comparación de método lineal y no lineal



BibliografíaBibliografía

Faugeras, O.; Three-Dimensional Computer Vision. A Geometric Approach. MIT Press, 1993Hartley, R. and Zisserman, A.; Multiple ViewGeometry in Computer Vision, Cambridge UniversityPress, 2000

Introducción T2. Visión Estereoscópica

Documents

Transcript of Introducción T2. Visión Estereoscópica