Universitat de les I B - dtic.upf.edujblat/material/charm/jverdera(1).pdf · Versatile Camera...

Universitat de les Illes Balears

Palma de Mallorca, 20 de març 1.997

Obtencio d’informació 3D a partir de diferents imatges mitjançant calibratge Pàgina 2

PROJECTE FINAL DE CARRERADE LA

LLICENCIATURA enINFORMÀTICA

Alumne : Joan Verdera Ribas

Directors del projecte : Josep Blat Gimenoi

Vicent Caselles Costa

Agraeixo la col.laboració que ens haofert :

− Jaume Fuster − Guillem Bernat− Llorenç Muntaner− Rubén Rial− Samuel Rial− José Antonio Coca− Catalina Sbert− Josep Lluís Lisani− Victòria Martínez− Juan Montes de Oca

i també a l’hospital Son Dureta.


TAULA DEl CONTINGUT

0. INTRODUCCIÓ.......................................................................................................9

1. GEOMETRIA I CALIBRATGE..........................................................................12

1.1 Introducció.............................................................................................................12

1.2 El model geomètric d’una càmera..........................................................................141.2.1 La projecció perspectiva...................................................................................141.2.2 Transformació càmera-imatge..........................................................................151.2.3 Els paràmetres intrínsecs..................................................................................161.2.4 Els paràmetres extrínsecs.................................................................................181.2.5 Transformació objecte-imatge..........................................................................18

1.3 Calibratge d’una càmera .......................................................................................211.3.1 Fixar un dels coeficients mij.............................................................................22

1.3.2 Restricció m 3

21= .........................................................................................24

1.4 Correspondència estereoscòpica.............................................................................281.4.1 Introducció.......................................................................................................281.4.2 Transformació entre dues càmeres...................................................................281.4.3 Relació esquerra-dreta......................................................................................291.4.4 La restricció epipolar........................................................................................30

1.5 Reconstrucció 3D....................................................................................................321.5.1 Introducció.......................................................................................................321.5.2 Determinació del punt 3D.................................................................................33

2. CÀLCUL NUMÈRIC i ALGORISMES............................................................35

2.1 Calibratge d’una càmera amb la restricció m34 =1.................................................35Càlcul numèric...........................................................................................................35Algorismes................................................................................................................35

2.2 Calibratge d’una càmera amb la restricció m3

2

=1 .....................................38

Càlcul numèric...........................................................................................................38Algorismes................................................................................................................40

2.3 Línies epipolars................................................................................................42Algorismes................................................................................................................42

2.4 Reconstrucció 3D....................................................................................................43Càlcul numèric...........................................................................................................43Algorismes................................................................................................................44

per i=0 fins a número de càmeres utilitzades fer............................................................44

a2i = ( , , ,* * * *u m m u m m u m m m u mi i i i i i i i i i i i31 11 32 12 33 13 14 34− − − − ; .............................................44

a2i+1 = ( , , ,* * * *v m m v m m v m m m v mi i i i i i i i i i i i31 11 32 12 33 13 14 34− − − − ;............................................44

fiper ..............................................................................................................................44

fifunció..........................................................................................................................44


3. FASE EXPERIMENTAL.....................................................................................45

3.1 En el món virtual....................................................................................................453.1.1 Objectius..........................................................................................................453.1.2 Descripció de l’experiment...............................................................................453.1.3 Resultats..........................................................................................................46

3.5.3.1 3.1.3.1 Mètode m34=1.....................................................................46

3.5.3.1 3.1.3.2 Mètode m 3

21= ................................................................47

3.1.4 Conclusions....................................................................................................493.1.5 Detalls tècnics.................................................................................................49

3.2 En el món real, amb múltiples càmeres..................................................................503.2.1 Objectius..........................................................................................................503.2.2 Descripció de l’experiment...............................................................................503.2.3 Resultats..........................................................................................................53

3.5.3.1 3.2.3.1 Reconstrucció amb 2 càmeres.............................................543.5.3.1 3.2.3.2 Reconstrucció amb 4 càmeres.............................................543.5.3.1 3.2.3.3 Reconstrucció de punts no utilitzats en el calibratge de lescàmeres 55

3.2.4 Conclusions.....................................................................................................573.2.5 Les línies epipolars..........................................................................................60

3.3 En el món real, calibrar amb l’objecte calibrador i després reconstruir un altreobjecte...........................................................................................................................62

3.3.1 Objectius..........................................................................................................623.3.2 Descripció de l’experiment...............................................................................623.3.3 Resultats..........................................................................................................673.3.4 Conclusions.....................................................................................................693.3.5 Detalls tècnics..................................................................................................70

3.5 Aplicació pràctica en el CHARM..........................................................................72

3.5.1 Introducció.......................................................................................................723.5.2 Dispositiu experimental....................................................................................72

3.5.2.1 La malla.....................................................................................................723.5.2.2 Objecte calibrador......................................................................................743.5.2.3 Sincronització de càmeres de vídeo i fluoroscòpies...................................76


..................................................................................................................................773.5.3 Prova de reconstrucció de l’espatlla només amb càmeres de vídeo estàndard..77

3.5.3.1 Objectius...................................................................................................773.5.3.2 Descripció de l’experiment........................................................................773.5.3.3 Resultats....................................................................................................793.5.3.4 Conclusions..............................................................................................823.5.3.5 Detalls tècnics............................................................................................82

3.5.4 Conclusions.....................................................................................................843.5.5 Detalls tècnics..................................................................................................84

4. ESTUDI DE LA DISTORSIÓ.............................................................................86

4.1 Introducció.............................................................................................................86

4.2 Anàlisi teòrica ........................................................................................................86

4.3 Càlcul numèric i algorismes ...................................................................................88Càcul numèric............................................................................................................88Mètode de sobrerelaxació per a sistemes d’equacions no linials ................................88Algorismes................................................................................................................92

4.4 Resultats..................................................................................................................96

4.5 Conclusions.............................................................................................................98

4.6 Detalls tècnics..........................................................................................................98

5. CONCLUSIONS..................................................................................................100

Bibliografia................................................................................................................101


Apèndix a....................................................................................................................102

Llistat de les funcions..................................................................................................102

apèndix b.....................................................................................................................125

Resultats addicionals de l’experiment 3.3...................................................................125

3.4 Reconstrucció final de diferents objectes...............................................................1293.4.1 Objectius........................................................................................................1293.4.2 Descripció de l’experiment.............................................................................129Piràmide quadrangular regular.................................................................................132Piràmide hexagonal regular.....................................................................................133Octàedre...................................................................................................................134Icosàedre.................................................................................................................1353.4.3 Resultats........................................................................................................136Cub..........................................................................................................................136Piràmide quadrangular regular.................................................................................136Piràmide hexagonal regular.....................................................................................137Octàedre...................................................................................................................137Icosàedre.................................................................................................................1373.4.4 Conclusions...................................................................................................1393.4.5 Detalls tècnics................................................................................................139

3.5 Aplicació pràctica en el CHARM........................................................................140

3.5.1 Introducció.....................................................................................................1403.5.2 Dispositiu experimental..................................................................................140

3.5.2.1 La malla...................................................................................................1403.5.2.2 Objecte calibrador....................................................................................1423.5.2.3 Sincronització de càmeres de vídeo i fluoroscòpies.................................144


................................................................................................................................1453.5.3 Prova de reconstrucció de l’espatlla només amb càmeres de vídeo estàndard145

3.5.3.1 Objectius.................................................................................................1453.5.3.2 Descripció de l’experiment......................................................................1453.5.3.3 Resultats..................................................................................................1473.5.3.4 Conclusions............................................................................................1503.5.3.5 Detalls tècnics..........................................................................................150

3.5.4 Conclusions...................................................................................................1523.5.5 Detalls tècnics................................................................................................152

4. ESTUDI DE LA DISTORSIÓ...........................................................................154

4.1 Introducció...........................................................................................................154

4.2 Anàlisi teòrica ......................................................................................................154

4.3 Càlcul numèric i algorismes .................................................................................156Càcul numèric..........................................................................................................156Mètode de sobrerelaxació per a sistemes d’equacions no linials ..............................156Algorismes..............................................................................................................160

4.4 Resultats................................................................................................................164

4.5 Conclusions...........................................................................................................166

4.6 Detalls tècnics........................................................................................................166

5. CONCLUSIONS..................................................................................................168

Bibliografia................................................................................................................169


Apèndix a....................................................................................................................170

Llistat de les funcions..................................................................................................170

apèndix b.....................................................................................................................193

Resultats addicionals de l’experiment 3.3...................................................................193

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


0. INTRODUCCIÓ

Objectiu del projecte

L’objectiu del projecte és desenvolupar un entorn per a la reconstrucció de la informaciótridimensional, conjuntament amb Jaume Fuster, per realitzar la reconstrucció 3D a partirde diferents imatges d’un objecte (plans 2D) captades amb càmeres situades al seuvoltant.

La meva part va consistir en dissenyar un estudi teòric de com fer la reconstrucció,desenvolupar els algorismes, i aplicar-ho al món real. La part de’n Jaume Fuster ésrealitzar una interfície que integri les funcions, i que permeti a l’usuari reconstruir ambfacilitat (a més haurà d’integrar altres tasques del projecte CHARMi ).

Actualment la reconstrucció 3D és un problema que s’investiga activament en espaisnaturals sense artificis de control humà, però aquest projecte final de carrera té un abastmés limitat: dissenyar un entorn experimental controlat, a fi de reconstruir la informació3D a partir de les imatges obtingudes sense haver de fer detecció automàtica dels puntsconjugats.

Resum del projecte

Dins aquest projecte es fa, en primer lloc un estudi teòric on s’analitza matemàticamentcom fer la reconstrucció 3D, estudiant temes com el model geomètric i el calibratge decàmeres, la geometria epipolar, la reconstrucció amb dues o més càmeres, etc.

El model matemàtic està basat en la projecció perspectiva, el calibratge de càmeres amb unobjecte calibrador, i la visió estereoscòpica; guiant-mos amb el llibre “Vision parordinateur, outils fondamentaux”, Radu Horaud i Olivier Monga ; i en recentspublicacions de l’INRIA de Zhengyou Zhang, Rachid Deriche, Olivier Faugeras i Quang-Tuan Luong.

La projecció perspectiva ens dóna la imatge d’un objecte que veu una càmera situada enuna determinada posició:

Objecte

Imatge

Càmera

El calibratge d’una càmera amb un objecte calibrador ens permet obtenir els paràmetres dela càmera (intrínsecs i extrínsecs), a fi de donada una imatge poder traçar una recta quepassi per un determinat píxel de la imatge i pel punt on es troba situada la càmera :


Imatge

Càmera

Tenint múltiples càmeres que enfoquen al mateix punt (visió estereoscòpica) podem traçarmúltiples rectes, una per a cada càmera :

Imatge 1

Càmera 1 Càmera 2

Imatge 2

La intersecció de les rectes a l’espai és la coordenada 3D que buscam.

El procés de reconstrucció consisteix en fixar les càmeres a les posicions que consideramòptimes, col.locar l’objecte calibrador per obtenir els paràmetres de les càmeres, i llevarl’objecte calibrador sense moure gens ni mica les càmeres per posar a continuació elsobjectes a reconstruir.

En el segon capítol s’explica com s’han implementat els problemes de la part teòrica,utilitzant l’eliminació de Gauss per resoldre un sistema d’equacions linial, i el mètode dela potència inversa per calcular el valor propi mínim i el seu vector associat d’una matriu3x3 amb coeficients reals. I també, se desenvolupen els algorismes que implementen tot elprocediment matemàtic, d’una forma molt general, ja que tan sols són la simpletranscripció de la formulació matemàtica a llenguatge algorísmic.

A continuació, el capítol tres, descriu els experiments realitzats per passar de l’estuditeòric al món real. S’ha procedit d’una forma incremental, a cada nou experiment s’haafegit una dificultat més a fi de minimitzar els errors i controlar els resultats :


Experiment 1 : Amb Inventor s’ha creat un món virtual on no hi ha problemesfísics, per comprovar que tots els algorismes funcionencorrectament, i avaluar la seva rapidesa i fiabilitat.

Experiment 2 : Pas al món real utilitzant múltiples càmeres, per analitzar elcomportament dels algorismes en el món real, estudiar l’òptimposicionament de les càmeres, determinar el nombre de càmeresnecessàries, i provar de reconstruir amb més de dues càmeres.

Experiment 3 : En el món real, reconstrucció d’un objecte d’estructura diferent ala de l’objecte calibrador, per verificar que l’objecte calibrador iels objectes a reconstruir poden tenir estructures físiquescompletament diferents.

Experiment 4 : Com a experiment final d’aquest projecte es calibren les càme-resamb l’objecte calibrador, i després utilitzant el mateix calibratge esreconstrueixen una sèrie de figures geomètriques.

Experiment 5 : Dins del projecte europeu CHARM que requereix la comparaciód’imatges 3D en moviment de diferents fonts com fluoroscòpies iseqüències de vídeo, s’afronta el repte de reconstruir l’espatllad’una persona en moviment. Aquest experiment suposa un canvimolt brusc en el disseny experimental que s’ha desenvolupat finsara amb càmeres de vídeo estàndards, a l’haver de reconstruir apartir de fluoroscòpies i càmeres de vídeo conjuntament. Laintroducció de fluoroscòpies comporta problemes com que elsobjectes s’han de convertir a fotoelèctricament opacs.

El problema de la distorsió de les càmeres, trobat en la fase experimental, que consisteixen que les línies rectes al món real apareixen a les imatges com a corbes, se contempla enel capítol quatre. Primerament es fa un desenvolupament teòric de la correcció basat en “AVersatile Camera Calibration Technique for HighAccuracy 3D Machine Vision MetrologyUsing Off-the-Shelf TV Cameras and Lenses” R. Y. Tsai, afegint al model linial que estenia abans, una correcció radial quadràtica no linial. I després es fa una aplicació a lapràctica, que té uns efectes quasi menyspreables, ja que els objectes que s’observen a lesimatges sempre estan en el centre dins del radi que no afecta la distorsió, però seria devital importància si estassin situats a la perifèria de les imatges.


1. GEOMETRIA I CALIBRATGE

1.1 Introducció

La projecció perspectiva ens proporciona la imatge que veu una càmera situada en unadeterminada posició. La coordenada del punt B (un punt qualsevol de l’objecte) a laimatge, no és més que la intersecció de la recta que passa pel punt B i pel centre deprojecció (punt on es troba situada la càmera), i el pla imatge :

Objecte

Imatge

Càmera

B

Però les coordenades del punt B de l’objecte fan referència als eixos de coordenades del’objecte, i no als eixos de coordenades amb els que la càmera fa la projecció. Hem dediferenciar tres sistemes de coordenades:

• Sistema càmera. S’hi referencien els punts dels objectes per fer la projeccióperspectiva de la càmera. El centre de coordenades és la posició de la càmera(el centre de projecció perspectiva, o en nomenclatura tècnica : focus deprojecció).

• Sistema objecte. S’hi amiden les posicions dels punts dels objectes, tantl’objecte calibrador com dels objectes a reconstruir. El seu centre decoordenades és el que s’adopta arbitràriament a l’objecte calibrador.

• Sistema imatge. Al considerar una imatge, es tenen només dues coordenades, ila seva unitat mètrica són píxels envers dels altres sistemes que sónmil.límetres. És perpendicular a l’eix z del sistema càmera, és a dir, és paral.lelal pla que formen l’eix x i y.


x

y

z

Z

X Y

u

v

B

b

Sistema Objecte

Sistema Im atge

Sistema Càm era

b

Per saber un punt B de l’objecte localitzat respecta al sistema objecte, a quin píxel imatgecorrespon, hem de fer les següents transformacions :

1. Transformar el punt B del sistema objecte al sistema càmera.

2. Aplicar la projecció perspectiva al resultat del pas anterior.

3. Transformar al sistema imatge la projecció perspectiva b, referenciada en elsistema càmera.

Coneixent múltiples coordenades de punts de l’objecte calibrador en el sistema objecte iles seves coordenades píxel a la imatge, és possible calcular aquest conjunt detransformacions a realitzar (procés que s’anomena calibratge de càmeres). El resultatobtingut és una matriu que agrupa a totes les transformacions anteriors, anomenada matriude projecció, i conté les dades necessàries per a partir d’un píxel imatge traçar una rectaque passi pel píxel i pel centre de projecció.

Després mitjançant la correspondència estereoscòpica, procés molt complexe quenosaltres ens limitam a fer-ho manualment, s’identifica un punt de l’objecte a duesimatges. Per fer més fàcil la cerca manual del punt, s’implementa la restricció epipolar queredueix l’espai de búsqueda de tota una imatge a només una recta dins la imatge.

Amb un punt identificat a dues (o més de dues) imatges, només s’han de calcular lesrectes de projecció, i la seva interseció : el punt 3D resultat final de la reconstrucció.

A continuació detallem més aquestes qüestions.


1.2 El model geomètric d’una càmera

1.2.1 La projecció perspectiva

Sigui un punt O en el pla imatge anomenat punt principal, i sigui una recta perpendicu-laral pla imatge que passa per O, l'eix òptic. Sigui un punt F situat sobre l'eix òptic a unadistància f del pla imatge. El punt F és el centre de la projecció (punt on es troba lacàmera), i f és la distància focal. Es pot col.locar el centre de projecció davant o darrera elpla imatge, nosaltres l’hem col.locat com es mostra a la següent figura:

Zeix òptic

w vu

Sistema imatge

Sistema càmera

X

Y

f

b

B(x,y,z)

Punt principal - O

Plaimatge

Centre de projecció - F

Un punt B d’un objecte se projecta en el pla imatge mitjançant una recta que passa per B iF. Elegim un sistema de coordenades càmera: el pla X-Y, que és paral.lel al pla imatge, il'eix Z és el mateix que l'eix òptic. L'origen d'aquest sistema es troba en F . Siguin(x,y,z) les coordenades del punt B, aleshores les coordenades de la projecció de B en elpla imatge són:

′ = ?′ = ?′ =

x f x z

y f y z

z f

/

/

Aquesta transformació és no linial, però si utilitzam coordenades homogènies quedaràlinial.

Podem, doncs, escriure aquesta transformació en forma matricial (en coordenadeshomogènies):

P =

1 0 0 0

0 1 0 0

0 0 1 0

0 0 1 0/f

↵

√√√√

Les coordenades homogènies de B són (x,y,z,1), i les de b (la seva projecció) són :


sx

sy

sz

s f

x

y

z

'

'

'

/

↵

√√√√

=

↵

√√√√

↵

√√√√

1 0 0 0

0 1 0 0

0 0 1 0

0 0 1 0 1

Les coordenades cartesianes de b són : s x s? ′ / , s y s? ′ / , i s z s? ′ / .

1.2.2 Transformació càmera-imatge

Els punts a les imatges s’amiden en píxels i no en mil.límetres. Per tant, hem de buscar latransformació que associï a cada punt del sistema càmera (mesurat en mil.límetres), unpíxel de la imatge. Per poder escriure la matriu de transformació del sistema càmera alsistema imatge hem d'introduir els següents paràmetres: uo ,vo i wo (les coordenades d'Fen el sistema imatge mesurades en píxels), ku (factor d'escala vertical,píxels/mil.límetres), i kv (factor d'escala horitzontal, píxels/mil.límetres). Efectivament,els píxels d'una imatge són rarament quadrats.

zeix òptic

v

u

Sistema im atge

Sistema càm era

x

y

f

B(X,Y,Z)

Centre de projecció - F

im atge

Les coordenades del punt b en el pla imatge, referenciades en el sistema càmera, són (x’,y’, z’) ; i en el sistema imatge, en coordenades píxel, són (u, v).

La transformació del sistema càmera al sistema imatge pel punt b és:

u

v

w

k

k

x

y

z

u

v

w

u

v

o

o

o

↵

√√√

=

↵

√√√

−

−

↵

√√√

↵

√√√

+

↵

√√√

0 0

0 0

0 0 0

1 0 0

0 1 0

0 0 1

'

'

'


Aquesta transformació representa un canvi d'escala, una rotació i una trasllació. Lacomponent w sempre és nul.la, aleshores podem ignorar la tercera línia i escriure aquestatransformació amb una matriu 3x4:

K =−

↵

√√√

k u

k vu o

v o

0 0

0 0

0 0 0 1

i ,

su

sv

s

x

y

z

↵

√√√

= ?

↵

√√√√

K

'

'

'

1

1.2.3 Els paràmetres intrínsecs

Multiplicant les matrius K i P (projecció perspectiva seguida d'una transformació) podemescriure les equacions del model geomètric de la càmera. Sigui la relació entre lescoordenades càmera (x,y,z) del punt B, i les coordenades imatge (u,v) de b:

u k f x z u

v k f y z vu o

v o

= − ? ? += ? ? +

/

/

En efecte, el producte K x P és:

−

↵

√√√

↵

√√√√

=−

↵

√√√

k u

k v

f

k u f

k v f

f

u o

v o

u o

v o

0 0

0 0

0 0 0 1

1 0 0 0

0 1 0 0

0 0 1 0

0 0 1 0

0 0

0 0

0 0 1 0/

/

/

/

Multiplicant tots els coeficients de la matriu per f, obtenim:

Ic=

↵

√√√

αα

u o

v o

u

v

0 0

0 0

0 0 1 0

i,

su

sv

s

x

y

z

↵

√√√

=

↵

√√√√

Ic

1


Aquest model té quatre paràmetres: αu uk f= − ? , αv vk f= ? , uo i vo . Que són elsparàmetres intrínsecs, i seran estimats per calibratge.

Introduint les coordenades càmeres sense dimensió, tals que :

x x z

y y z

z

c

c

c

===

/

/

1

podem escriure la relació entre les coordenades imatge i les coordenades càmera :

u x u amb

v y vu c o u

v c o

= ? + <= ? +α αα

0

i en forma matricial :

u

v C

x

yc

c

1 1

↵

√√√

= ?

↵

√√√

amb :

C

u

vu o

v o=

↵

√√√

αα0

0

0 0 1

otbinguda eliminant de la matriu Ic la darrera columna.


1.2.4 Els paràmetres extrínsecs

Per determinar els paràmetres del model de la càmera, hem col.locat davant la càmera unobjecte: un conjunt de punts dels quals coneixem perfectament les seves coordenades 3Den el sistema objecte.

x

y

z

Z

X Y

Objecte calibrador

u

v

B

b

Sistema Objecte

Sistema Im atge

Sistema Càm era

M

Cada punt de l'objecte se projecta a la imatge, i s’amiden les seves coordenades en elsistema imatge. La transformació objecte-imatge se descomposa en una transformacióobjecte-càmera, seguit d'una projecció, i d'una transformació càmera-imatge.

La transformació objecte-càmera està composta per una rotació i una trasllació:

x

y

z

r r r

r r r

r r r

X

Y

Z

t

t

t

x

y

z

↵

√√√

=

↵

√√√

↵

√√√

+

↵

√√√

11 12 13

21 22 23

31 32 33

I se pot escriure sota la forma d'una transformació homogènia:

AR

=

↵

√√√√

=

↵√

r r r t

r r r t

r r r t

tx

y

z

11 12 13

21 22 23

31 32 33

0 0 0 1

0 1

Aquesta matriu representa 3 rotacions i 3 trasllacions: els paràmetres extrínsecs.

La seva inversa vé donada per : AR R− =

−↵√1

0 1

t tt

1.2.5 Transformació objecte-imatge


Ara podem escriure la transformació objecte-imatge amb una matriu 3x4 anomenadamatriu de projecció perspectiva:

M Ic A= =?

↵

√√√

↵

√√√√

=+

+ +

↵

√√√

+αα

α αα α

u o

v o

x

y

z

u o v x o z

v o v y o z

z

u

v

r r r t

r r r t

r r r t

r u r t u t

r v r t v t

r t

0 0

0 0

0 0 1 00 0 0 1

11 12 13

21 22 23

31 32 33

1 3

2 3

3

La matriu A la podem escriure d'una forma més compacta utilitzant la notació r ri i= ( 1 ri2 ri3) :

A =

↵

√√√√

r t

r t

r t

x

y

z

1

2

3

0 1

M és la matriu de projecció perspectiva, i es pot escriure de la següent forma:

su

sv

s

m m m m

m m m m

m m m m

X

Y

Z

↵

√√√

=

↵

√√√

↵

√√√√

11 12 13 14

21 22 23 24

31 32 33 34 1

En aquesta fórmula X , Y i Z són les coordenades d'un punt B de l'objecte. Aquestamatriu també es pot escriure d'una forma més simple:

M =

↵

√√√

m m

m m

m m

1 14

2 24

3 34

amb m mi i= ( 1 mi2 mi3) . Identificant M amb Ic·A, i tenint en compte les propietatsd'ortogonalitat de la rotació i remarcant queαu ha de ser negatiu, obtenim un conjuntd'equacions que permeten calcular els paràmetres intrínsecs i extrínsecs en funció delscoeficients d'M :


r m

u m m

v m m

m m

m m

r m u m

r m v m

t m u m

t m v m

t m

o

o

u

v

u o

v o

x u o

y v o

z

3 3

1 3

2 3

1 3

2 3

1 1 3

2 2 3

14 34

24 34

34

1

1

1

1

===

= −

= = −= −= −= −=

*

*

/ ( )

/ ( )

/ ( )

/ ( )

α

ααααα

A fi de trobar els paràmetres intrínsecs haurem de :

1. Estimar els coeficients de la matriu de projecció M.

2. Extreure els paràmetres de la càmera a partir dels coeficients mitjançant lesfórmules anteriors.


1.3 Calibratge d’una càmera

Utilitzant l’equació anteriorment obtinguda:

su

sv

s

m m m m

m m m m

m m m m

X

Y

Z

↵

√√√

=

↵

√√√

↵

√√√√

11 12 13 14

21 22 23 24

31 32 33 34 1

se poden escriure les coordenades imatge d'un punt de l'objecte com:

um X m Y m Z m

m X m Y m Z m=

+ + ++ + +

11 12 13 14

31 32 33 34

* * *

* * *

vm X m Y m Z m

m X m Y m Z m=

+ + ++ + +

21 22 23 24

31 32 33 34

* * *

* * *

Aquestes dues equacions descriuen la recta que passa pel centre de projecció i el píxelimatge (u,v).

Cada punt (Xi, Yi, Zi) es projecta en (u i, v i) i genera dues equacions. Com que tenim12 incògnites: mij i=1..3, j=1..4, necessitam com a mínim 6 punts per determinar els 12coeficients de la matriu M.

El mínim de punts necessaris són 6, però quants més punts més informació sobre latransformació tindrem, i els resultats del calibratge seran més precisos, aconseguint unareconstrucció més perfecta.

Les equacions anteriors es poden reescriure com una combinació linial dels mij :

X m Y m Z m m u X m u Y m u Z m u mi i i i i i i i i i* * * * * * * * * *11 12 13 14 31 32 33 34 0+ + + − − − − =X m Y m Z m m v X m v Y m v Z m v mi i i i i i i i i i* * * * * * * * * *21 22 23 24 31 32 33 34 0+ + + − − − − =

i en forma matricial :

M

M

X Y Z u X uY uZ

X Y Z v X vY vZ

u

v

m

m

m

m

m

m

m

m

m

mm

m

i i i i i i i i i

i i i i i i i i i

i

i

1 0 0 0 0

0 0 0 0 10

11

12

13

14

21

22

23

24

31

32

33

− − −− − −

−−

↵

√√√√

↵

√√√√√√√√√√√√√√√√

=

El sistema és A x? =0 , no té terme independent, té solució múltiple, i per resoldre’l hi hadues alternatives :

1.- Fixar un dels coeficients mij


2.- Restricció m 3

21=

1.3.1 Fixar un dels coeficients mij

Elegim m34 , ja que no és més que la component z del vector de trasllació entre el sistemaobjecte i el sistema càmera, i l’igualam a 1.

Tenim 2n equacions (n és el nombre de punts que s’utilitzaran per calibrar), i es podenescriure aquestes equacions en forma matricial com:

K *2 11 11nx x = u n2

Desenvolupant-ho :

M

M

M

M

X Y Z u X uY uZ

X Y Z v X vY vZ

m

m

m

m

m

m

m

m

m

m

m

u

vi i i i i i i i i

i i i i i i i i i

i

i

1 0 0 0 0

0 0 0 0 1

11

12

13

14

21

22

23

24

31

32

33

− − −− − −

↵

√√√√

↵

√√√√√√√√√√√√√√√

=

↵

√√√√

S’ha de resoldre un sistema d'equacions on hi ha 2n equacions i tan sols 11 incògnites(n? 6 ). No es poden descartar equacions ja que seria eliminar informació valuosa, i s’had'obtenir els valors dels mij que millor s'aproximin a totes les equacions.

Per això apliquem mínims quadrats:

Sigui el sistema Ax b− , hem de fer mínim Ax-b2

.

ϕ(x)= Ax-b ( (Ax)-b )i i

i

n2 2

1

==

m n? ; m equacions, n incògnites

ϕ(x)= Ax-b,Ax-b= Ax,Ax - Ax,b -b,Ax+ b,b

Aplicant la propietat : =x y y x, , ∀ ∑x y,

ϕ( ) , , ,x Ax Ax Ax b b b= − +2

Aplicant la propietat : =Ay z y A zt, , ∀ ∑y z,

ϕ( ) , , , , , ,x A Ax x Ax b b b A Ax x x A b b bt t t= − + = − +2 2


El mínim de ϕ( )x el trobarem en =ϕ( )x 0 .

Agafem = = ===

A Ax x Bx x b x x b x xtij j i ij i j

ij

n

ijn

, ,,, 11

a on B A At= i ( )B bij=

Derivant, s’obté : =x A Ax x Bxt , 2

Aquest resultat és fàcil de veure, per exemple en el cas n=2 : (B és simètrica, b bij ji= )

f b x b xx b x x b x b x b x x b x= + + + = + +11 12

12 1 2 21 1 2 22 22

11 12

12 1 2 22 222

ƒƒf

xb x b x

111 1 12 22 2= +

ƒƒf

xb x b x

212 1 22 22 2= +

ƒƒƒƒ

f

xf

x

b b

b b

x

xB x1

2

11 12

21 22

1

2

2 2= ? = ? ??

Tenim : = −ϕ( )x A Ax A bt t2 2

=ϕ( )x 0

Igualant les dues equacions :

2 2 0A Ax A bt t− =

A Ax A bt t=

( ) ( )A A x A bt

X xt

x n nx11 11 11 1 11 2 2 1? ?=


X

Y

Z

X

... Y ...

Z

u X v X

uY vY

uZ vZ

X Y Z u X uY u Z

X Y Z v X vY v Z

i

ii

i

i

i

i i i i

i i i i

i i i i

i i i i ii i i i i

i i i i i i i i i

0

0

0

1 0

0

0

0

0 1

1 0 0 0 0

0 0 0 0 1

− −− −− −

↵

√√√√√√√√√√√√√√√

− − −− − −

↵

√√

M

M

√√

↵

√√√√√√√√√√√√√√√

=

m

m

m

m

m

m

m

m

m

m

m

11

12

13

14

21

22

23

24

31

32

33

=

− −− −− −

↵

√√√√√√√√√√√√√√√

↵

√√√√

X

Y

Z

X

... Y ...

Z

u X v X

uY vY

u Z vZ

u

v

i

ii

i

ii

i i i i

i i i i

i i i i

i

i

0

0

0

1 0

0

0

0

0 1

M

M

1.3.2 Restricció m 3

21=

Agafar un coeficient i fixar-li un valor, no té cap explicació raonable, tant sols per podersobrepassar un problema matemàtic d’una indeterminació. L’alternativa m3

2= es basa

en l’argumentació que segueix:

Una de les propietats de les matrius de rotació és: Q Q It? = i Q Q It? = (Q matriu de

rotació, Qt

la seva trasposta i Imatriu identitat).

La forma general d’una matriu de rotació sobre l'eix X és:

Q sin

sin

= −

↵

√√√

1 0 0

0

0

cos

cos

α αα α


Podem comprovar Q Q It? = :

1 0 0

0

0

1 0 0

0

0

1 0 0

0 1 0

0 0 1

cos

cos

cos

cos

α αα α

α αα α

sin

sin

sin

sin−

↵

√√√

−

↵

√√√

=

↵

√√√

i Q Q It? = :

1 0 0

0

0

1 0 0

0

0

1 0 0

0 1 0

0 0 1

cos

cos

cos

cos

α αα α

α αα α

−

↵

√√√ −

↵

√√√

=

↵

√√√

sin

sin

sin

sin

Si la matriu de rotació R és :

R

r r r

r r r

r r r

=

↵

√√√

11 12 13

21 22 23

31 32 33

Llavors r r r312

322

332 1+ + = , si ho aplicam al nostre problema: m r31 31= , m r32 32= i

m r33 33= . Obtenim m m m m3

2

312

322

332 1= + + = , que és una condició geomètrica natural

del problema.

Com aplicar-la al nostre sistema A xnx2 12 12 0* = ?

Descomposem el sistema en :

B x C xnx nx2 9 9 2 3 3 0* *+ =a on :

BX Y Z u

X Y Z vnx

i i i i

i i i i2 9

1 0 0 0 0

0 0 0 0 1=

−−

↵

√√√√

M

M

Cu X uY u Z

v X vY vZnx

i i i i i i

i i i i i i2 3 =

− − −− − −

↵

√√√√

M

M

( )x m m m m mt

9 1 14 2 24 34=


( )x mt

3 3=

Apliquem mínims quadrats com abans :

Q B x C xnx nx= +2 9 9 2 3 3

2* *

amb la restricció m 3

21= .

Ho podem reescriure de la següent manera :

Q B x C xnx nx= + +2 9 9 2 3 3

20* *

Q B x C xnx nx= + + −2 9 9 2 3 3

21 1* * ( )λ

Q B x C x xnx nx= + + −2 9 9 2 3 3

2

3

21* * ( )λ

Desenvolupant-ho obtenim :

Q Bx Cx Bx Cx x=< + + > + −9 3 9 3 3

21, ( )λ

=< > + < > + < > + < > + −Bx Bx Bx Cx Cx Bx Cx Cx x9 9 9 3 3 9 3 3 3

21, , , , ( )λ

Si aplicam la propietat : =Ay z y A zt, , ∀ ∑y z,

=< > + < > + < > + < > + −B Bx x C Bx x B Cx x C Cx x xt t t t9 9 9 3 3 9 3 3 3

21, , , , ( )λ

= + + + + −x B Bx x C Bx x B Cx x C Cx x xt t t t t t t t t9 9 3 9 9 3 3 3 3 31λ( )

Calculam les derivades parcials :

ƒƒQ

xB Bx B Cxt t

99 3= +

ƒƒ

λQ

xC Cx C Bx xt t

33 9 3= + −

Igualam les derivades parcials a 0 :

B Bx B Cxt t9 3 0+ =

C Cx C Bx xt t3 9 3 0+ − =λ

Aleshores de la primera equació podem calcularx9 :

x B B B Cxt t9

13= − −( )


i ara sustituir-lo a la segona :

[ ]C Cx C B B B B Cx xt t t t3

13 3 0+ − − =−( ) λ

C Cx C B B B B Cx xt t t t3

13 3 0− − =−( ) λ

[ ]C C C B B B B C x xt t t t− =−( ) 13 3λ

Dx x3 3= λ

Substituint D enQ obtenim:

Q x Dx x xt t= = =3 33 3λ λ

Cal remarcar que D és una matriu simètrica i definida positiva 3x3. Aleshores té els seusvalors propis reals i positius. x3 és un vector propi de D associat al valor propi de λ . Perminimitzar el criteri hi ha que calcular els valors propis de la matriu D , triar el més petit(ja que serà el que minimitzarà el criteri), treure el seu vector propi associat, normalitzar-lo, i aquest serà x3 . A partir d’x3 després ja sabem calcular x9 . I amb x3 ix9 ja tenim els12 components de la matriu de projecció.

El signe d’x3 no està definit, aleshores obtindrem dues solucions (M i -M). Si enstraslladam al món real, veiem que triar M o -M no és més que decidir si l’objectecalibrador es troba davant o darrera la càmera. Ens interessa el cas en que es trobi davant,per tant elegim la que m 34 , que és la trasllació sobre l’eix z, sigui positiva.

D C C C B B B B Ct t t t= − −( ) 1


1.4 Correspondència estereoscòpica

1.4.1 Introducció

Siguin dues càmeres (càmera1 i càmera2) que enfoquen al mateix objecte. Consideram elconjunt de punts de l’objecte que es veuen a les dues càmeres, aleshores per a cada puntB d’aquest conjunt, obtenim dues projeccions (b1 a imatge1 captada per càmera1, i b2 aimatge2 captada per càmera2 ).

A l’apartat “1.2.1 Projecció perspectiva”, es mostra la recta que passa pel punt B i el puntF (centre de projecció), tallant al pla imatge en el punt b. Al tenir dues càmeres podemcalcular dues rectes, una que passi per F1 (centre de projecció de càmera1) i B , i talliimatge1 en el píxel b1, i una segona que passi per F2 (centre de projecció de càmera2) i B ,i talli imatge2 en el píxel b2.

Imatge 1

Càmera 1 Càmera 2

Imatge 2

B

b1

b2

F1 F2

Si tenim dos píxels imatge del mateix punt objecte, i dues càmeres calibrades, és a dir,donat un píxel qualsevol d’ imatge1, per exemple b1, sabem calcular la recta que passa perF1 i b1, i donat un píxel d’imatge2, b2, sabem calcular la recta que passa per F2 i b2. Laintersecció de les dues rectes és el resultat de la reconstrucció : les coordenades 3D delpunt B.

Els píxels b1 i b2 es diuen conjugats, i satisfan una restricció geomètrica que es coneixcom a restricció epipolar.

1.4.2 Transformació entre dues càmeres


S’ha de determinar la matriu de transformació entre el sistema càmera esquerre i el sistemacàmera dret. Sigui As aquesta matriu, que és una matriu composta d’una rotació i unatrasllació, del mateix tipus que la matriu A de la transformació objecte-càmera.

z

x

yF

z’

x’

y’F’

O bjecte calibrador

A A’

As

Passos a seguir per calcular As :

1. Calibrar cada càmera amb un únic objecte. Obtenim M i M’.2. Extreure els paràmetres intrínsecs i extrínsecs de cada càmera.3. Amb l’ajuda dels paràmetres extrínsecs construir dues matrius, A i A’, la

primera és la transformació del sistema objecte al sistema càmera esquerre, i lasegona és la transformació del sistema objecte al sistema càmera dret.

A

r t

r t

r t

x

y

z

=

↵

√√√√

1

2

3

0 1

A

r t

r t

r t

x

y

z

'

' '

' '

' '=

↵

√√√√

1

2

3

0 1

4. Calcular As :A A As = ? −' 1

A

r r r b

r r r b

r r r b

r b

r b

r bs

x

y

z

x

y

z

=

↵

√√√√

=

↵

√√√√

11 12 13

21 22 23

31 323 33

1

2

3

0 0 0 1 0 1

El vector ( )b b b bx y z

t

= , , és el vector que va d’F’ a F , i representa les coordenades

d’F en el sistema càmera dret.

1.4.3 Relació esquerra-dreta

Anem a establir una relació entre un punt de la imatge de l’esquerra i un punt de la imatgede la dreta. Treballarem amb el sistema càmera i no amb el sistema imatge. Recordem que


a partir d’un píxel imatge de coordenades u i v podem deduir fàcilment les sevescoordenades càmera :

x

y

z

C

u

v

↵

√√√

= ?

↵

√√√

−1

1

amb C

u

vu o

v o=

↵

√√√

αα0

0

0 0 1

i

′′′

↵

√√√

= ′ ?′′

↵

√√√

−

x

y

z

C

u

v1

1

amb ′ =

′ ′′ ′

↵

√√√√

C

u

v

u o

v o

αα0

0

0 0 1

Expresem un punt P de l’objecte a la vegada en els dos sistemes. Siguin ( )X Y Z, , lesseves coordenades en el sistema esquerre, i ( )′ ′ ′X Y Z, , les coordenades en el sistemadret. Els dos sistemes de coordenades estan relacionats per la fórmula :

X

Y

ZA

X

Y

ZS

'

'

'

1 1

↵

√√√√

= ?

↵

√√√√

Les coordenades de p, la projecció de P, a la imatge esquerra són ( , , )x y 1 , a on

xX

Z= i y

Y

Z= . Igualment per p’, projecció a la imatge dreta de coordenades

( ', ', )x y 1 . x' i y' se poden escriure :

xX

Z

r X r Y r Z b

r X r Y t Z bxz

''

'= =

+ + ++ + +

11 12 13

31 32 33

yY

Z

r X r Y r Z b

r X r Y t Z b

y

z

''

'= =

+ + ++ + +

21 22 23

31 32 33

Remarcant que X xZ= i Y yZ= , i amb la notació p = ( , , )x y t1 podem simplificarles fórmules :

xZr b

Zr bxz

'=? +? +

1

3

p

p

yZr b

Zr b

y

z

'=? +? +

2

3

p

p

Aleshores, es possible expresar la posició d’un punt a la imatge dreta en funció de la sevacorresponent a la imatge esquerra, dels paràmetres de la càmera i de la profunditat Z delpunt P.

1.4.4 La restricció epipolar


Eliminant Z entre les dues equacions anteriors, s’obté una relació linial entre x' i y':

( ) '( ) 'b r b r x b r b r y b r b rz y x z x y2 3 3 1 2 1? − ? + ? − ? = ? − ?p p p p p p

Aquesta equació descriu els punts de la imatge dreta que poden correspondre a un punt pde la imatge esquerra, la línia epipolar dreta. Per a cada punt de la imatge esquerra hi hauna tal línia epipolar dreta (i reciprocament per a cada punt de la imatge dreta hi ha unalínia epipolar esquerra). Totes les línies epipolars dretes parteixen d’un mateix punt,l’epipol dret, que és la projecció d’F a la imatge dreta. Igualment existeix un epipolesquerre. Es pot donar una configuració geomètrica excepcional, quan els dos eixosòptics z i z’ són paral.lels, les línies epipolars no conflueixen en un únic punt, sinó tambésón paral.leles.

imatge esquerraimatge dreta

P

F

F’epipol e’ epipol e

z z’Pla epipolar

Línies epipolars

p p’

Donat un píxel d’una imatge hem restringit la cerca en una única línia a l’altra imatge. La restricció epipolar ens ajuda a solucionar el problema de la correspondència, perdeterminar punts conjugats. En aquest projecte la determinació es fa manualment, encaraque hi hagi tota una sèrie de mètodes automàtics o semiautomàtics que no són l’objecte delnostre estudi.


1.5 Reconstrucció 3D

1.5.1 Introducció

Siguin dues imatges (imatge1 i imatge2) captades per dues càmeres calibrades (càmera1 icàmera2). Tot punt de l’objecte (conjugats els seus píxels imatge) apareix a imatge1 ambles coordenades (u,v), i a imatge2 amb les coordenades (u’,v’).

Imatge 1

Càmera 1 Càmera 2

Imatge 2p(u,v)

p’(u’,v’)

F1F2

La reconstrucció 3D, a partir d’aquestes dades, calcula les coordenades (X,Y,Z) del puntP a l’espai.

Les càmeres estan calibrades, aleshores podem traçar la recta que passi per F1 i p.

Imatge 1

Càmera 1 Càmera 2

Imatge 2p(u,v)

p’(u’,v’)

F1F2

Qualsevol punt d’aquesta recta es veu projectat a p. Ens falta determinar la profunditat Z.El punt P que buscam pot ser qualsevol dels infinits punts que formen aquesta recta.

Traçant l’altra recta (la càmera2 també està calibrada) que passi per p’ i F2, i calculant laintersecció d’aquestes dues, obtenim un únic punt, P(X,Y,Z) resultat de lareconstrucció.


Imatge 1

Càmera 1 Càmera 2

Imatge 2

p(u,v)

p’(u’,v’)

F1F2

P

1.5.2 Determinació del punt 3D

A l’apartat “1.3 Calibratge d’una càmera”, teníem dues equacions que determinaven larecta que passa per p(u,v) i P(X,Y,Z):

um X m Y m Z m

m X m Y m Z m=

+ + ++ + +

11 12 13 14

31 32 33 34

* * *

* * *

vm X m Y m Z m

m X m Y m Z m=

+ + ++ + +

21 22 23 24

31 32 33 34

* * *

* * *

Coneixíem les coordenades del món real (X,Y,Z) i les coordenades en píxels de la imatge(u,v), i havíem de calcular la matriu de projecció M. Ara coneixem les coordenades enpíxels de la imatge (u,v) i la matriu de projecció M, i ens interessa calcular lescoordenades del món real (X,Y,Z). Com que disposam de dues càmeres calibrades, tenimdues matrius de projecció M i M’ per a un únic punt del món real (X,Y,Z) i duescoordenades (u,v) i (u’,v’) una per a cada imatge. Aleshores podem escriure el següentsistema d’equacions (un parell d’equacions per a cada càmera) :

um X m Y m Z m

m X m Y m Z m=

+ + ++ + +

11 12 13 14

31 32 33 34

* * *

* * *

vm X m Y m Z m

m X m Y m Z m=

+ + ++ + +

21 22 23 24

31 32 33 34

* * *

* * *

um X m Y m Z m

m X m Y m Z m'

' ' ' '

' ' ' '

* * *

* * *=

+ + ++ + +

11 12 13 14

31 32 33 34

vm X m Y m Z m

m X m Y m Z m'

' ' ' '

' ' ' '

* * *

* * *=

+ + ++ + +

21 22 23 24

31 32 33 34


Les coordenades X, Y i Z del punt P en el món 3D s'obtenen resolvent aquest sistema de4 equacions :

( ) ( ) ( ) ( )* * * * * * *u m m X u m m Y u m m Z m u m31 11 32 12 33 13 14 34− + − + − = −( ) ( ) ( ) ( )* * * * * * *v m m X v m m Y v m m Z m v m31 11 32 12 33 13 14 34− + − + − = −

( ' ' ' ) ( ' ' ' ) ( ' ' ' ) ( ' ' ' )* * * * * * *u m m X u m m Y u m m Z m u m31 11 32 12 33 13 14 34− + − + − = −( ' ' ' ) ( ' ' ' ) ( ' ' ' ) ( ' ' ' )* * * * * * *v m m X v m m Y v m m Z m v m31 11 32 12 33 13 14 34− + − + − = −


2. CÀLCUL NUMÈRIC i ALGORISMES

2.1 Calibratge d’una càmera amb la restricció m34 =1

Càlcul numèric

Càlcul del sistema :( ) ( )A A x A bt

X xt

x n nx11 11 11 1 11 2 2 1? ?= .

Aquest sistema linial és fàcil de resoldre, té el mateix nombre d'equacions qued'incògnites. Hi ha un conjunt de mètodes coneguts per a la seva resolució: Cramer,Gauss, Jacobi, Gauss-Seidel, etc. Descartam el mètode de Cramer, ja que al tenir més de3 equacions és massa complicat. També descartam els mètodes iteratius ja que hi pothaver-hi cassos en que s'hagin de fer moltes iteracions, i a més els seus resultats serienuna aproximació al resultat correcte. Utilitzarem el mètode de Gauss perquè és ràpid, dónauns bons resultats, i a més és molt fàcil de programar.

Cal remarcar que a la implementació del mètode de Gauss, basat en una reducció capendavant i després una substitució cap enrera, al realitzar la reducció cap endavant en unadeterminada fila ens podem trobar amb el problema que el coeficient de la diagonalprincipal sigui 0. En aquest cas el que es fa, és canviar la fila actual per una posterior quetingui el coeficient màxim d’aquesta columna diferent de 0. Si no es trobàs cap altra filaper fer l’intercanvi, es considera que la matriu és singular ; cosa que per la naturalesa delnostre sistema no es dóna mai, totes les rectes es projecten des d’un únic centre deprojecció.

També hem estudiat els valors dels coeficients de la matriu, i són numèricament estables.Tot i això, treballam amb un gran nombre de decimals per obtenir uns resultats moltprecisos.

Algorismes

Punts : llista dels punts utilitzats per calibrar,Funció calcular_calibratge _metode_1(in Punts, out matriu M)

posar_dades_dins_una_matriu(Punts, A) ;aplicar_mínims_quadrats(A, R) ;aplicar_Gauss(R, X) ;posar_X_a_M(X, M) ;

fifunció

Funció posar_dades_dins_una_matriu(in Punts, out matriu A)cada punt i de la llista Punts té unes coordenades 3D (Xi, Yi, Zi) i unes coordenadespíxel (ui, vi)per i=0 fins a número total de punts fer

a2i= ( Xi Yi Zi 1 0 0 0 0 -uiXi -uiYi -uiZi -ui) ;a2i+1=(0 0 0 0 Xi Yi Zi 1 -viXi -viYi -viZi -vi) ;

fiperfifunció

Funció aplicar_mínims_quadrats(in matriu A, out matriu R)calcular_trasposta(A, At ) ; multiplicar_matrius(At, A, R) ;

fifunció


Funció aplicar_Gauss(in matriu R, out vector X)fer_zeros_triangle_inferior(R) ;calcular_X(R, X);

fifunció

Fa zeros la part inferior de la diagonal principal. Al tenir bi dins la mateixa matriu ho podemtractar com a una columna més.Funció fer_zeros_triangle_inferior(in out R)

per j=1,...,n-1 fersi rjj =0 llavors canviar_fila(R, j, pogut_canviar_fila) fisi ;si rjj <>0 o pogut_canviar_fila llavors

per i=j+1,...,n ferF = rij / rjj ;per k=j,...,n fer

rik = rik-rjk*F ;fiper

f iper sino Error : la matriu és singular

fiperfifunció

Funció canviar_fila(in out matriu R, in número fila j, out pogut_canviar_fila)buscar_una_fila_a_intercanviar(R, j, número_de_fila_a_intercanviar);si número_de_fila_a_intercanviar <> j llavors

intercanviar_files(R, j, número_de_fila_a_intercanviar) ;pogut_canviar_fila és cert ;

s i n opogut_canviar_fila és fals ;

f i s i fifunció

Funció buscar_una_fila_a_intercanviar(in matriu R, in número de fila j, out número de fila x)x=j ;per k=j fins a nombre de files d’R fer

si rkj>rxj llavors x=k fisi ;f iper

fifunció

Funció intercanviar_files(in out matriu R, in número fila j, in número fila k) X : vector de la mateixa llargària que una fila d’Rri : fila i de la matriu R.

X = rj ;rj = rk ;rk = X ;

fifunció


Començant per l’última fila va cap amunt calculant el valor de les variables. Per calcular lasegüent variable ja s’aplica el resultat de l’anterior.Funció calcular_X( in matriu A, out vector X)n : número de files de la matriu A.

per k= n, ... ,1 fer

x

b a x

ak

k kj jj k

n

kk

=−

= +1 ;

fiperfifunció

Funció posar_X_a_M(in vector X, out matriu M)per i=1 fins a 3 fer

per j=1 fins a 4 fermij = x(i*4+j) ;

fiperfiper ;m34 = 1 ;

fifunció


2.2 Calibratge d’una càmera amb la restricció m3

2

=1

Càlcul numèric

Càlcul dels valors propis de D .

El mètode de la potència inversa és el que millor s’adapta a la nostra matriu D , i es limitaa calcular el valor propi mínim i el seu vector propi associat (l’únic que a nosaltres ensinteressa, la resta de valors propis no els necessitam).

Mètode de la potència

El mètode de la potència permet calcular aproximacions successives del valor propi demòdul màxim, així com vectors propis associats a aquest.

Donada D , matriu 3x3, siguin λ j ( , ,)i = 1 2 3 els seus valors propis, repetits segonsmultiplicitat i ordenats segons mòdul :

λ λ λ1 2 3? ?

Direm vj( )

( , , )j = 12 3 als vectors propis linialment independents associats als valors propisλ j ( , , )j = 12 3 .

Se consideren les iteracions :

x Dxk k( ) ( )+ =1 ( )k ? 0

per a qualque vector :

x vjj

nj( ) ( )0

1

==

α ( )α1 0?

Així tenim

x v v vk k

k

n

k

n( ) ( ) ( ) ( )...= +

↵√ + +

↵√λ α α

λλ

αλλ1 1

12

2

1

2

1

Les successions dels quocients :

qx

xi

k ik

ik

( )( )

( )=+1

( , ,)i = 1 2 3

si xik( ) ? 0 , tenen per límit λ1 . A més quan k♦ × :

qik

k

( ) .= +

↵√√λ ϑ

λλ12

1

1 ( , ,)i = 1 2 3


xv

k

k

k( )( )

λα ϑ

λλ1

11 2

1

1= +

↵√√

La velocitat de convergència depén essencialment de λλ21

i pot ser molt petita quan λ2

sigui pròxim a λ1 .

Per a matrius simètriques (com és el nostre cas), és més eficaç calcular la successió dequocients de Rayleigh d’x

k( )

σk

k T k

k T k

x Dx

x x=

( ) ( )

( ) ( ) ( )k ? 0

utilitzant la recurrència :

yx

x

kk

k

( )( )

( )= 2 , x Dyk k( ) ( )+ =1

, σkk T ky x= +( ) ( )1

, ( )k ? 0

Llavors obtenim la convergència de les successions :

limk

k♦ ×=σ λ1 , lim y

v

vk

k

♦ ×= ±( )

( )

( )

1

1 2

emprant les següents expressions, k♦ × :

σ λ ϑλλk

k

= +

↵√√1

2

1

2

1 ( , ,)i = 1 2 3

yv

v

k

k

( )()

( )= ± +

↵√√

1

1 22

1

1 ϑλλ

La utilització dels quocients de Rayleigh comporta un augment en la velocitat deconvergència en el càlcul del valor propi, al ser :

λλ21

2

< λλ21

El mètode de la potència ens dóna el valor propi més gran, i a nosaltes ens interessa elmés petit, com solucionar-ho ?

Mètode de la potència inversa

El mètode de la potència inversa funciona igual que el mètode de la potència, tan solscanvia que per comptes d’agafar la matriu D agafa la matriu D

−1.


D −1 té els mateixos vectors propis que D amb valors propis µi que són els recíprocs dels

de D : µλj

i

=1

( , , )j = 12 3 . Si el valor propi de mòdul mínim de D és únic (λ λn n< −1

), l’aplicació del mètode de la potencia a D −1 proporciona el valor propi 1

λn de D −1 (el

quocient 1

λn que és el de major mòdul) i un vector propi associat : podem conèixer així

el valor propi de mòdul mínim λn de D .

Algorismes

Funció calcular_calibratge_metode_2(in Punts, out matriu M)posar_dades_dins_B_i_C(Punt, B, C) ;calcular_D(B, C, D) ;calcular_la_inversa_d_una_matriu(D, D-1 ) ;calcular_valor_propi_mínim_i_vector_propi_associat( D-1,λ, X3) ;passar_X3_a_M(X3, M) ;calcular_X9(B, C, X3 );passar_X9_a_M(X9, M) ;agafar_M_o_-M(M);

fifunció

Funció posar_dades_dins_B_i_C(in Punts, out matriu B, out matriu C)cada punt i de la llista Punts té unes coordenades 3D (Xi, Yi, Zi) i unes coordenades

píxel (ui, vi)per i=0 fins a número total de punts fer

b2i = ( Xi Yi Zi 1 0 0 0 0 -ui ) ;b2i+1=(0 0 0 0 Xi Yi Zi 1 -vi ) ;c2i = (-uiXi -uiYi -uiZi ) ;c2i+1=(-viXi -viYi -viZi ) ;

fiperfifunció

Funció calcular_D(in matriu B, in matriu C, out matriu D)D=CtC - CtB(BtB)-1BtC ;

fifunció

Funció calcular_la_inversa_d_una_matriu(in matriu D, out matriu D-1)si no és invertible D llavors Error : la matriu D no és invertibles i n o

posar la matriu identitat a la dreta ;fer zeros el triangle inferior ;dividir cada fila per l’element de la diagonal ;fer zeros el triangle superior ;posar el resultat a D-1;

f i s ififunció

Funció calcular_valor_propi_mínim_i_vector_propi_associat(in matriu, out valor propi, out vector propi X)

inicialitzar_X ;mentre no convergeixi el valor propi fer

X’= D-1*X ;valor propi = mòdul d’X’ ;


X=X’ normalitzat ;fimentre

fifunció

Funció passar_X3_a_M(in vector X, out matriu M)m31 = x1;m32 = x2;m33 = x3;

fifunció

Funció calcular_X9 (in matriu B, in matriu C, out vector X9)X9 =-(BtB)-1BtCx3

fifunció

Funció passar_X9_a_M(in vector X,in out matriu M)m11 = x1;m12 = x2;m13 = x3;m14 = x4;m21 = x5;m22 = x6;m23 = x7;m24 = x8;m34 = x9;

fifunció

Funció agafar_M_o_-M(in out matriu M) si m34 <0 llavors

per i=1 fins a 3 ferper j=1 fins a 4 fer

mij = - mij;fiper

fiperf i s i

fifunció


2.3 Línies epipolars

Algorismes

Funció calcular_linia_epipolar(in matriu M, in matriu M’, in píxel p, out punts 2D p1, p2)calcular_els_parametres_intrinsecs(M, uo, vo, αu, αv) ;calcular_la_matriu_A(M, uo, vo, αu, αv, A) ;calcular_la_inversa_d_una_matriu(A, A-1) ;transformar_p_a _coordenades_camera(p, uo’, vo’, αu’, αv’, P) ;calcular_els_parametres_intrinsecs(M2, uo’, vo’, αu’, αv’) ;calcular_la_matriu_A(M’, uo’, vo’, αu’, αv’, A’) ;As = A’* A-1 ;calcular_a_b_c(As, P, a, b, c) ;buscar_dos_punts_de_la_recta(a, b, c, P1, P2) ;passar_P1_i_P2_a_píxels(P1, P2, p1, p2) ;

fifunció

Funció calcular_els_parametres_intrinsecs(in matriu M, out uo, vo, αu, αv)u m m

v m m

m m

m m

o

o

u

v

==

= −

=

1 3

2 3

1 3

2 3

*

*

α

αfifunció

Funció calcular_la_matriu_A(in matriu M1, in paràmetres intrínsecs, out matriu A)per k=1 fins a 4 fer

a1k=1/αu(m1k-uo·m3k) ;f iper ;per k=1 fins a 4 fer

a2k=1/αv(m2k-vo·m3k) ;f iper ;per k=1 fins a 4 fer

a3k=m3k ;f iper ;per k=1 fins a 3 fer

a4k=0 ;f iper ;a44=1 ;

fifunció

Funció transformar_p_a_coordenades_camera(in píxel p, in paràmetres intrínsecs, out punt P)posar_valors_a_C(uo, vo, αu, αv, C);calcular_la_inversa_d_una_matriu(C, C-1) ;P= C-1·p ;

fifunció

Funció posar_valors_a_C(in paràmetres intrínsecs, out matriu C) c11=α u ;c12=0 ;c13=uo ;c21=0 ;c22=α v ;c23= vo;c31=0 ;


c32=0 ;c33=1;

fifunció

Funció calcular_As(in matriu M2, out matriu As)calcular_parametres_intrinsecs(M2, uo, vo, αu, αv) ;calcular_A’ ;calcular_la_inversa_d’A’ ;multiplicar A’ per la inversa d’A ;

f i

Funció calcular_a_b_c(in matriu As, in punt P, out a,b,c)(La fórmula de l’equació de la recta epipolar és ax+by+c=0)

a=bzr2p - byr3p ;b=bxr3p - bzr1p ;

c= - (bxr2p - byr1p) ;fifunció

Funció buscar_dos_punts_de_la_recta(in a,b,c ,out P1, P2)si a=0 llavors

P1x = 0 ;P1y = -c/b ;P1z = 0 ;P2x =100 ;P2y = -c/b ;P2z = 0 ;

s i n oP1x = -c/a ;P1y = 0;P1z = 0 ;P2x = (-c-b·400)/a ;P2y = 400;P2z = 0 ;

f i s ififunció

Funció passar_P1_i_P2_a_píxels(in punts càmera P1, P2 ; out píxels p1, p2) ;posar_valors_a_C(uo’, vo’, αu’, αv’, C’);p1= C’·P1 ;p2= C’·P2 ;

fifunció

2.4 Reconstrucció 3D

Càlcul numèric

Cada càmera genera dues equacions :


Al tenir dues càmeres ens tornam a trobar amb un sistema de més equacions (4 equacions)que d'incògnites (3 incògnites). Aplicam de nou mínims quadrats i després Gauss.

Nota : Si volguéssim utilitzar més de dues càmeres en la reconstrucció és molt senzill, iobtindríem millors resultats, ja que el que fem a l’aplicar mínims quadrats no és


exactament calcular el punt d’intersecció, sinó trobar el punt que faci mínima la distància atotes les rectes. Al tenir moltes rectes (càmeres calibrades), un error en una recta(calibratge) queda quasi anul.lat per la resta de rectes.

Així com ara tenim 4 equacions, llavors tindríem 2n equacions (n número de càmeresusades), dues per a cada càmera :


( ' ' ' ) ( ' ' ' ) ( ' ' ' ) ( ' ' ' )* * * * * * *u m m X u m m Y u m m Z m u m31 11 32 12 33 13 14 34− + − + − = −( ' ' ' ) ( ' ' ' ) ( ' ' ' ) ( ' ' ' )* * * * * * *v m m X v m m Y v m m Z m v m31 11 32 12 33 13 14 34− + − + − = −

M

( ) ( ) ( ) ( )* * * * * * *u m m X u m m Y u m m Z m u mn n n n n n n n n n n n31 11 32 12 33 13 14 34− + − + − = −

( ) ( ) ( ) ( )* * * * * * *v m m X v m m Y v m m Z m v mn n n n n n n n n n n n31 11 32 12 33 13 14 34− + − + − = −

La resta seria idèntic, aplicar mínims quadrats i després Gauss.

Algorismes

Funció reconstrucció_3D(in matrius de projecció, in píxels p1, p2 , out punt P)posar_les_equacions_dins_una_matriu(matrius de projecció, p1, p2, A) ;aplicar_mínims_quadrats(A, R);aplicar_Gauss(R, X) ;P=X ;

fifunció

Funció posar_les_equacions_dins_una_matriu(in la matriu de projecció de cada càmera,in coordenada píxel de cada imatge, out matriu A ) En la 1ª columna hi haurà els coeficients d’ X, en la 2ª els coeficients d’Y, en la 3ª elscoeficients de Z, i en la 4ª els termes independents.

per i=0 fins a número de càmeres utilitzades fera2i = ( , , ,* * * *u m m u m m u m m m u mi i i i i i i i i i i i

31 11 32 12 33 13 14 34− − − − ;

a2i+1 = ( , , ,* * * *v m m v m m v m m m v mi i i i i i i i i i i i31 11 32 12 33 13 14 34− − − − ;

fiperfifunció


3. FASE EXPERIMENTALEn aquest capítol, es descriuen els experiments realitzats per arribar a la reconstrucciód’objectes reals qualssevols. S’ha procedit d’una forma incremental, començant pel casmés senzill, s’afegeix un factor d’influència més a cada nou experiment a fi de controlarels resultats de cada variable.

3.1 En el món virtual

Per comprovar que l’estudi teòric realment funciona, hem considerat molt interessant feruna primera prova amb objectes sintètics i emprant càmeres virtuals. Cream un entorn onconeixem les coordenades dels objectes amb precisió, i on no tindrem problemes físics(reflexes, luminositat, distorsions, renous, etc) que segurament tindríem si utilitzàssimcàmeres reals.

Quan tinguem completa seguretat que els algorismes funcionen bé, després ja passarem almón real, i ens preocuparem de resoldre els problemes físics que vagin sorgint.

3.1.1 Objectius

Posar a prova tots els algorismes que hem estat preparant a la part teòrica, estudiantaspectes com :

• La correcció del desenvolupament teòric.• El funcionament i l’eficiència de tots els algorismes.• La qualitat dels resultats.• La precisió dels dos mètodes de calibratge ( m34=1 i m 3

2=1 ).

• La velocitat de convergència del mètode de la potència inversa.

3.1.2 Descripció de l’experiment

Construir un cub utilitzant Inventor que tingui com a vèrtexs els punts que es mostren enla següent taula amb les seves coordenades 3D associades:

Etiqueta X Y Z1 0 100 02 0 100 1003 100 100 1004 100 100 05 0 0 06 100 0 07 100 0 1008 0 0 100

Aquestos punts (excepte el punt 8 que consideram que a l’estar darrera, amb càmeres realsno es veurà) són els que després s’utilitzaran en el calibratge de les càmeres i en lareconstrucció, ja que els vèrtexs són els únics punts identificables amb precisió a lesimatges (són la intersecció de tres arestes).

A continuació es mostren dues imatges del cub capturades amb càmeres situades endiferents punts de vista :


Imatge capturada per la càmera A amb els punts etiquetats a sobre (etiquetam el punts perajudar a imaginar la posició on es troben les dues càmeres, i per fer més fàcil lacorrespondència estereoscòpica):

Imatge capturada per la càmera B amb els punts etiquetats a sobre:

3.1.3 Resultats

3.5.3.1 3.1.3.1 Mètode m34= 1

Resultats de la reconstrucció:


COORDENADA DEL MÓN REALEtiqueta X Y Z

1 0,00 100,00 0,002 0,00 100,00 100,003 100,00 100,00 100,004 100,00 100,00 0,005 0,00 0,00 0,006 99,37 -5,33 1,927 101,10 2,29 93,28

Per veure amb claretat la qualitat d’aquestos resultats, calcularem els errors comesos, és adir, la diferència entre les coordenades reals i els resultats de la reconstrucció.

Taula amb els errors relatius comesos (%):

Etiqueta error X error Y error Z1 0,00 0,00 0,002 0,00 0,00 0,003 0,00 0,00 0,004 0,00 0,00 0,005 0,00 0,00 0,006 0,62 5,33 1,927 1,11 2,30 6,71

3.5.3.1 3.1.3.2 Mètode m 3

21=

Resultats de la reconstrucció:

COORDENADA DEL MÓN REALEtiqueta X Y Z

1 -0,97 99,73 0,792 1,31 100,27 98,093 99,58 99,73 102,224 100,27 100,24 -0,975 -0,37 -0,24 0,266 100,14 0,10 -0,037 99,99 0,13 99,62

Taula amb els errors relatius comesos (%):

Etiqueta error X error Y error Z1 0,98 0,26 0,792 1,31 0,27 1,903 0,42 0,26 2,224 0,28 0,25 0,985 0,37 0,24 0,266 0,15 0,11 0,037 0,00 0,14 0,38

Gràficament el cub ens quedaria (en aquest document escrit tan sols podem posar imatgesde diferents punts de vista, però utilitzant l’entorn desenvolupat per Jaume Fuster podem


situar la càmera en la posició que nosaltres desitgem, i fins i tot tenir l’objecte enmoviment):


3.1.4 Conclusions

• El desenvolupament teòric ha estat complet i perfecte. No ha sorgit cap factorinesperat, i l’execució ha funcionat com s’havia previst a priori.

• Els resultats finals dels punts reconstruïts han estat excel.lents. S’han obtingutuns errors de reconstrucció extraordinàriament petits.

• El funcionament i l’eficiència de tots els algorismes es considera que ha estatcorrecte, sinó no s’hauríen obtingut uns resultats finals tan bons. El tempsd’execució ha estat instantani.

• El mètode m34=1 funciona bé per a la majoria dels punts, però falla una micaper a uns pocs. L’error relatiu màxim és el 7%.

• El mètode m 3

2

=1 sembla més regular i fiable. Hi ha un error molt petit, méso menys constant per a tots els punts. No n’hi ha de perfectes, però l’errorrelatiu màxim és tan sols el 2’3%, i la mitja de tots els errors relatius és 0’56%.La coordenada que té més error és la Z, la profunditat.

• La velocitat de convergència del mètode de la potència inversa ha estat moltgran, només 7 iteracions per a una càmera, i 5 per a l’altra.

3.1.5 Detalls tècnics

• Amb el mètode de la potència inversa és molt important triar un vector inicialque sigui irregular com per exemple (3,-8,13), ja que hem provat amb altresvectors com (1,1,1) i la convergència és lentíssima

• Al ser els elements de D-1 molt petits s’ha de treballar com a mínim amb 16decimals, perquè en el càlcul del valor i vector propi no es pot cometre ni elmínim error. Si al calcular la comprovació del valor propi i vector associat esdetecta que els coeficients del vector resultat no són 0, és senyal que no s’hapogut determinar la matriu de projecció correctament, és a dir, no s’hadeterminat un únic i precís punt de projecció.


3.2 En el món real, amb múltiples càmeres

Una vegada hem comprovat que tota l’algorísmica funciona bé, fem el salt al món real, onsegurament ens hi trobarem problemes físics inesperats.

Començam amb un experiment el més semblant possible al que hem fet en el món virtual,i després a cada nova prova introduirem una dificultat més.

3.2.1 Objectius

• Estudiar el funcionament i l’eficiència en el món real de, la part teòrica i elsalgorismes, els dos mètodes de calibratge ( m34=1 i m 3

2 =1 ), i la velocitat deconvergència del mètode de la potència inversa.

• Establir la millor col.locació de les càmeres.• Determinar el nombre de càmeres necessàries.• Provar el cilindre com a objecte calibrador.• Observar la qualitat de les imatges reals.• Estudiar els resultats de la reconstrucció de punts no utilitzats en el calibratge.• Investigar la possible aparició de problemes físics no previstos.


Com a objecte calibrador utilitzam un cilindre forrat amb paper mil.limetrat, i etiquetamamb un número uns quants punts per poder-los identificar amb major facilitat al fer lacorrespondència estereoscòpica.

Calibram les càmeres amb el cilindre i després intentam reconstruir-lo.

Les coordenades de cada intersecció les calculam mitjançant les següents fórmules :

X = r * sin ( l / r )Y = yZ = r - r * cos ( l / r )

a on r és el radi del cilindre, l és la longitud d’arc des del centre de coordenades al puntintersecció, i y és l’alçada a la que es troba la intersecció. El centre de coordenades estroba en el punt etiquetat amb un 1.


La situació de les càmeres és la següent :

Càmera H

Objecte Calibrador

Càmera C

Càmera B

Càmera J

Càmera I

Càmera A

Càmera G

Càmera F Càmera E

Càmera D

Algunes de les imatges obtingudes amb les càmeres, són :

Càmera H :


Càmera I :

Càmera J :

Càmera B :


Càmera C :

3.2.3 Resultats


3.5.3.1 3.2.3.1 Reconstrucció amb 2 càmeres

Errors relatius comesos amb el mètode m34=1 (%), utilitzant les càmeres B i C:

Etiqueta error X error Y error Z1 0,00 0,00 0,002 0,00 0,00 0,003 0,00 0,00 0,004 0,00 0,00 0,005 0,00 0,00 0,006 0,08 0,14 0,087 0,46 0,45 0,288 0,13 0,25 0,139 7,55 0,34 0,94

1 0 0,92 0,10 1,061 1 8,20 0,94 5,633 9 12,19 4,40 12,534 0 5,87 0,84 5,364 1 3,64 1,62 3,324 2 3,23 0,70 2,004 3 1,64 0,15 1,43

Màxim :

12 ,19 4 , 4 0 12 ,53

Errors relatius comesos amb el mètode m 3

2

=1 (%), utilitzant les càmeres B i C:

Etiqueta error X error Y error Z1 0,25 0,04 0,102 0,50 0,04 0,363 0,25 0,18 0,104 0,63 0,28 0,665 0,52 0,28 0,416 0,29 0,07 0,087 0,18 0,11 0,018 0,13 0,07 0,079 0,55 0,10 0,63

1 0 0,17 0,00 0,101 1 0,08 0,11 0,453 9 0,03 0,06 0,314 0 0,84 0,49 0,674 1 0,80 0,55 0,834 2 0,01 0,10 0,074 3 0,59 0,17 0,64

Màxim :

0 , 8 4 0 , 5 5 0 , 8 3

A l’apèndix B hi ha més exemples d’errors combinant diferents càmeres.

3.5.3.1 3.2.3.2 Reconstrucció amb 4 càmeres

Errors relatius comesos amb el mètode m 3 =1 (%), utilitzant les càmeres B,J,I i H:

Etiqueta error X error Y error Z


1 0,25 0,01 0,072 0,03 0,08 0,087 0,08 0,11 0,069 0,21 0,10 0,10

Màxim :

0 , 2 5 0 , 1 1 0 , 1 0

3.5.3.1 3.2.3.3 Reconstrucció de punts no utilitzats en el calibratge de lescàmeres

Triam un parell de càmeres qualsevol, per exemple les càmeres J i B :

Errors relatius (%) reconstruint amb el mètode m34=1 :

Etiqueta error X error Y error Za 0,64 0,28 1,26b 0,71 0,07 0,88c 0,24 0,27 0,46

Màxim :

0 , 7 1 0 , 2 8 1 , 2 6

Errors relatius (%) reconstruint amb el mètode m 3

2

=1 :

Etiqueta error X error Y error Za 0,15 0,08 0,15b 0,85 0,34 0,81c 0,22 0,36 0,71

Màxim :

0 , 8 5 0 , 3 6 0 , 8 1


Imatges de la reconstrucció d’un troç de cilindre :

Vist des d’una altra posició :


3.2.4 Conclusions

• Els resultats obtinguts amb el mètode m34=1 tenen un error relatiu màximsuperior que en el món virtual (abans 6’71%, i ara 12’53%). En canvi, amb el

mètode m 3

2

=1 han decrementat d’un 2’22% a un 0’84%.

• En el mètode m 3

2

=1, la gran majoria d’errors relatius estan bastant per sotadel 0’84%. Els errors màxims es donen en els punts que es troben més al’horitzó del cilindre, com els punts etiquetats amb el 40, 41 i 43. Pel contraritots aquells punts com l’1, 3, 6, 7, 8, 10, que es troben a la part frontal delcilindre tenen uns errors màxims, que en la majoria dels cassos no supera el0’2%.

El motiu d’aquesta diferència d’errors és que els punts que es troben a la part

frontal es veuen amb més claretat a les imatges, i és més fàcil identificar lesseves coordenades imatge que els que es troben en el perfil del cilindre.

• D’acord amb els bons resultats que hem obtingut en la reconstrucció podemdeduir que els algorismes funcionen correctament en el món real, i que no haaparegut cap problema físic no previst.

L’única diferència respecte a l’experiment anterior és que resulta una mica més

difícil identificar les coordenades píxel dels punts.

• El mètode m 3

2

=1 sempre obté uns errors màxims molt més petits que el

mètode m34=1. Consideram que el mètode m 3

2

=1 és millor, i d’aquíendavant treballarem únicament amb aquest.

• A la reconstrucció de punts que no han format part del calibratge obtenim unserrors que estan dins el mateix ordre dels que tenien els punts que hem utilitzatper calibrar les càmeres. Ara bé, aquestos punts estan a la superfície delcilindre, és a dir, segueixen la mateixa estructura que els punts que hem utilitzatper calibrar, i és com si reconstruíssim els mateixos amb els que hem calibrat.

Una de les pròximes proves haurà de ser calibrar amb el cilindre i desprésreconstuir un altre objecte que tingui una estructura molt diferent, per exempleun cub. Seguirem obtenint aquestos resultats tan bons ?

• L’objecte calibrador ha de ser del mateix tamany que la superfície que s’enfoca,ocupant tota la imatge.

Els punts que s’agafen de l’objecte calibrador per calibrar les càmeres, convéque estiguin distribuïts per tota la imatge. No agafar mai només punts d’unapetita regió de l’objecte calibrador, ja que es perd informació i perilla trobar elcentre de projecció.

• Les càmeres s’han de col.locar de forma que tot punt a reconstruir s’ha deveure com a mínim a dues càmeres per poder aplicar la visió estereoscòpica.Ara bé, quant més separades estiguin les càmeres (pròximes als 90 graus),millor són els resultats de la reconstrucció.


L’error relatiu màxim més petit es troba amb la reconstrucció de les càmeresHC (0,42), que són les que estan més saparades, i el més gran en les que estroben més juntes HI (1,87), IJ (1,05) i BC (0,84).

Representació gràfica, sobre el croquis de les càmeres, dels errors relatiusmàxims (juntament amb els de l’apèndix B) :

n mètode m 3

2

=1n mètode m34=1

Càmera H

Objecte Calibrador

Càmera C

Càmera B

Càmera J

Càmera I

1,87 7,90

0,42 0,57

0,84

12,53

0,51 1,18

0,46

0,93

1,05 2,20

0,49 0,95

Dues rectes que formin un angle de 90 graus, una petita desviació d’una d’ellesrepresenta una petita desviació en les coordenades de la seva intersecció, peròsi l’angle que formen les rectes és molt petit, una petita desviació representa ungran error en les coordenades del punt intersecció.

Rectes am b un angle m olt petit

recta B

desviadaintersecció

correcta

intersecció

desviada

Error

recta A

recta B

recta Arecta B

recta B

desviada

Rectes a 90 graus

intersecció

correcta

intersecció

desviada

Error

Error

A aquesta conclusió a la que nosaltres hem arribat a partir de la pràctica,matemàticament seria equivalent a la resolució de sistemes d’equacions linialsque siguin “Ill-Conditioning”.

Les rectes que formen el sistema d’equacions linials “Ill-Conditioning” sónquasi paral.leles. Resolvent aquest sistema mitjançant l’eliminació de Gauss perordinador, es trunquen els números a un cert nombre de decimals. Com que al’eliminació de Gauss es realitzen moltes operacions, els errors se vanmultiplicant, fins a tal punt que un error a les dades del 0,03% pot significar un


error en els resultats del 15%, és a dir, s’ha magnificat l’error amb un factor de500.

• El cilindre com a objecte calibrador ha funcionat perfectament, proporciona lainformació necessària de l’espai per poder identificar el centre de projecció ambgran precisió.

• La qualitat de les imatges capturades per càmeres reals ha estat bona. No ésnecessari que les imatges siguin d’una qualitat fotogràfica excepcional, éssuficient que els objectes estiguin ben enfocats perquè la identificació de lescoordenades imatge dels punts sigui clara.

• Quant major és el nombre de càmeres utilitzades en la reconstrucció millors sónels resultats. Amb quatre càmeres la gran part dels errors relatius no arriba ni al0’2%, però òbviament, no compensa la problemàtica tècnica que comporta lainstal.lació de moltes càmeres, amb l’escassa millora de resultats que esprodueix.


3.2.5 Les línies epipolars

Si del punt 6 de la imatge B :

dibuixam la seva epipolar sobre la imatge C, ens queda :


i sobre la imatge D :

I si ara també dibuixam l’epipolar del punt 6 de la imatge D sobre la C, les dues epipolarsinterseccionen justament en el punt 6.


3.3 En el món real, calibrar amb l’objecte calibrador i desprésreconstruir un altre objecte

3.3.1 Objectius

Investigar aspectes com:

• La reconstrucció d’objectes d’estructura diferent a la de l’objecte calibrador.• El canvi de tamany de l’objecte calibrador.• El moviment de les càmeres durant un experiment, a fi de verificar que amb

una càmera es poden capturar imatges, primer de l’objecte calibrador, i desprésdels objectes a reconstruir, sense moure’s gens ni mica.


Col.locam l’objecte calibrador i el de reconstrucció sobre una taula. Al seu voltant trescàmeres que els enfoquen, a 0, 90 i 180 graus respectivament. Capturam una imatge ambcada una de les càmeres, i després repetim l’operació tornant a capturar una altra imatgeamb cada una de les càmeres per veure si les dues imatges obtingudes amb cada càmerasón idèntiques o s’ha produït qualque moviment.

El croquis amb el posicionament de les càmeres és el següent :

Càmera 1Càmera 3

Càmera 2


Càmera 1 :

Càmera 2 :


Càmera 3 :

Llevam el cilindre petit, i fem una altra sessió fotogràfica. Càmera1:


Càmera 2 :

Càmera 3 :


Càlcul de les coordenades dels punts del cilindre en el món real percalibrar les càmeres :

Situam arbritràriament el centre de coordenades sobre la intersecció que està a l’esquerradel punt marcat amb 1, a la part inferior, l’eix Y és cap amunt, l’X cap a la dreta i el Z capa dins del cilindre :

Y

Z

X

Els punts els hem etiquetat amb el número que hi ha en la part de sota del cilindre i ambuna lletra corresponent a la seva alçada :


3.3.3 Resultats

Reconstrucció del cilindre calibrador:

Els errors relatius (en %) comesos al reconstruir el cilindre calibrador són:

Etiqueta error X error Y error Z16a 0,05 0,13 0,0516b 0,09 0,22 0,1616c 0,09 0,24 0,2216d 0,12 0,23 0,2816e 0,31 0,11 0,1016 f 0,32 0,07 0,0316g 0,33 0,05 0,0716h 0,15 0,30 0,3416i 0,21 0,21 0,2616j 0,01 0,26 0,0216k 0,02 0,06 0,1017a 0,21 0,23 0,3917b 0,19 0,07 0,3917c 0,02 0,12 0,0617d 0,37 0,10 0,1317e 0,02 0,17 0,1117 f 0,38 0,13 0,0817g 0,38 0,07 0,0317h 0,38 0,10 0,0417i 0,39 0,19 0,0617j 0,38 0,39 0,1017k 0,39 0,30 0,08

Màxim : 0 , 3 9 0 , 3 9 0 , 3 9


Reconstrucció de la mitja caixa que es veu amb les càmeres:

i vista des d’una altra posició :


3.3.4 Conclusions

• Els errors reconstruint l’objecte calibrador estan dins el mateix ordre, lleugeramentinferiors, que els que hem obtingut fins ara (l’error relatiu màxim està sobre el0’4%, quan abans era 0’84%). Aquest petit decrement és conseqüència de la bonacol.locació de les càmeres.

El canvi de tamany de l’objecte calibrador, al passar a calibrar del cilindre petit alcilindre gran, no ha afectat als resultats, ja que també s’ha augmentat la superfícieque es visualitza.

• La reconstrucció d’un altre objecte d’estructura diferent a la de l’objecte calibradorno ha provocat diferències significatives. Agafant les referències espacialscorrectament amb l’objecte calibrador, al reconstruir és indiferent que el puntformi part d’un cilindre o d’un cub, el que és important és la posició on es troba elpunt.

• Les imatges de dues sessions fotogràfiques són idèntiques.

Per exemple a la càmera 1, la primera imatge i la segona són completament iguals.Fins i tot ho hem comprovat amb detall, píxel a píxel, i les coordenades de lesinterseccions de les quadrícules de la primera imatge tenen els mateixos valors queles de la segona. Això ens permet, primer agafar una imatge de l’objecte calibradori després reemplaçar-lo per l’objecte a reconstruir, sense tenir la necessitatd’aparèixer tots dos junts a cada imatge. Aquest és un dels pilars en que esfonamenta la reconstrucció basada en el calibratge.



• Què representa al mirar les coordenades píxel sobre una imatge, equivocar-sed’1 píxel ?

Ens trobam amb situacions com la del punt 17k, en que és força difícil decidir-se per un píxel en concret :

Punt 17k a la imatge 1 :

Punt 17k a la imatge 2 :

Les coordenades píxel que hem triat han estat les posicions on es troben elscursors (punts blaus).

Anam a reconstruir el punt 17k a partir de coordenades píxel errònies,suposant que ens hem equivocat en 1 píxel al llegir les seves coordenades.

IMATGE 1 IMATGE 2 ERRORS RELATIUS (%)COMESOS AL RECONSTRUIR

u v u v X Y Z17k 255 395 396 329 0,21 0,23 0,3317k 254 396 396 329 0,40 0,09 0,0317k 254 395 397 329 0,78 0,34 0,1317k 254 395 395 329 0,01 0,25 0,2817k 254 395 396 330 0,37 0,05 0,19

Depenent de quines coordenades u i v agafem a cada imatge el resultat de lareconstrucció variarà, provocant errors més o menys grans. L’equivocar-se enun píxel genera un error del mateix ordre dels que estam obtenint amb els


resultats. La qual cosa vol dir que si haguéssim llegit les coordenades píxelamb completa precissió els errors podrien ser més petits.

Si la superfície que enfocam és 20cm x 20cm, i la imatge que obtenim és de640 x 480 píxels, un píxel representa un rectangle de 0.03125 cm x 0.04166cm. Quant més grans siguin les imatges millors són els resultats, ja que el pasdel pla imatge (en mil.límetres) a imatge (en píxels) és molt més precís; itambé, l’elecció de les coordenades píxel d’una intersecció se pot fer amb moltamés claretat.

• El cilindre amb el que s’ha calibrat, i al qual s’han fixat els eixos decoordenades, està una mica inclinat ; en canvi la caixa que reconstruïm es trobacompletament plana damunt la taula. Però això no afecta en res a les distànciesentre dos punts.

La forma en que col.loquem els eixos de coordenades en el món real ésarbitrària, i sí que canvien els valors de les coordenades dels punts segons laposició dels eixos, però no les distàncies entre els punts una vegada fixats elseixos.


3.5 Aplicació pràctica en el CHARM

3.5.1 Introducció

El projecte europeu C.H.A.R.M (Comprehensive Human Animation Resource Model)requereix la reconstrucció 3D de l’espatlla en moviment, per analitzar-la i comparar-la ambel Visual Human, i amb models sintètics ; i ens ha oferit a nosaltres la possibilitat departicipar-hi aportant els nostres coneixements en el camp de la reconstrucció 3D.

L’objectiu és reconstruir l’espatlla en moviment mitjançant càmeres de vídeo estàndards ifluoroscòpies que enregistrin simultàniament.

Amb referència als experiments realitzats anteriorment apareixen noves variables ainvestigar :

• Enregistrament de fluoroscòpies.• Reconstrucció a partir de fluoroscòpies i imatges de càmeres estàndards,

conjuntament.• La visualització de la part externa de l’espatlla i del cilindre calibrador a les

fluoroscòpies.• La reconstrucció d’un objecte en moviment.• La sincronització de les càmeres de vídeo i els aparells de fluoroscòpies.

3.5.2 Dispositiu experimental

El material que utilitzàvem en els experiments anteriors s’ha modificat, per exemple elcilindre calibrador al ser de plàstic no es veu a les fluoroscòpies, i ha estat transformat afotoelèctricament opac. S’ha creat nou material, com una malla per a l’espatlla que faci lapell visible a les fluoroscòpies. I s’ha planificat i preparat tot una sèrie de nous processos,com la sincronització de les càmeres i l’enregistrament de les imatges.

3.5.2.1 La malla

Al voler reconstruir la massa muscular de l’espatlla s’ha d’utilitzar qualque dispositiu queens permeti veure la pell, ja que a les fluoroscòpies tan sols hi apareixen els ele-mentsfotoelèctricament opacs, els ossos. La dermis i els músculs són fotoelèctrica-menttransparents.

Hem preparat una malla de fil, cosint-hi creus de reixa de ferro pintades de negra. A lasegüent imatge captada per una càmera de vídeo estàndard es pot veure com és :


i a les fluoroscòpies les creus es veuen perfectament, com es pot comprovar a conti-nuació :


3.5.2.2 Objecte calibrador

L’objecte calibrador utilitzat en els anteriors experiments, el cilindre de plàstic forrat depaper mil.limetrat, s’ha adaptat perquè també serveixi per calibrar les fluoroscòpies. Lescàmeres de vídeo estàndard i els aparells de fluoroscòpies han d’estar calibrats amb elmateix objecte per poder fer la reconstrucció conjuntament.

Hem aferrat creus de ferro (del mateix tipus que les que havíem cosit a la malla)distribuint-les en forma helicoïdal, a fi que no se superposin a les fluoroscòpies i siguinfàcilment identificables.

Cilindre calibrador vist amb una càmera de vídeo estàndard :


Fluoroscòpia del cilindre calibrador :


3.5.2.3 Sincronització de càmeres de vídeo i fluoroscòpies

En els anteriors experiments reconstruíem objectes estàtics, col.locàvem l’objecte icaptàvem una imatge amb cada càmera. Però ara l’espatlla estarà en moviment, i és devital importància conèixer en un instant determinat quin frame1 correspon a cada càmera,perquè en el moment de reconstruir poder seleccionar les imatges del mateix instant. Lareconstrucció del moviment complet consisteix en una successió de reconstruccions, unaper a cada instant. Si les càmeres filmen a 25 frames per segon, aleshores s’han de fer 25reconstruccions per tenir un segon de moviment de l’espatlla.

El que fem per poder saber en un instant determinat quin frame li correspon és, al serimpossible posar totes les càmeres i vídeos a enregistrar en la mateixa dècima de segon,identificar inicialment una acció espontània a totes les càmeres, aquesta és l’instant 0. Laseqüència del moviment comença a l’instant 0, i la resta d’instants de la seqüència éssumar un frame a l’anterior per a cada càmera.

L’acció espontània és tancar unes estisores ràpidament, i agafar com a instant 0 a cadaseqüència d’imatges el primer frame en que les estisores estan completament tancades.

Fluoroscòpia abans de l’instant 0 amb les estisores obertes :

Uns frames més endavant, fluoroscòpia de l’instant 0 :

1 Paraula de la literatura anglesa : imatge d’una seqüència d’imatges.


3.5.3 Prova de reconstrucció de l’espatlla només amb càmeresde vídeo estàndard

3.5.3.1 Objectius

• Determinar la millor col.locació de les càmeres de vídeo estàndard, ja que elbraç és un objecte molt irregular i a més durant el temps canviarà de posició.

• Calcular el nombre de càmeres de vídeo que seran necessàries per poder veuretot punt de la malla com a mínim amb dues càmeres alhora i durant tot elmoviment.

• Verificar la sincronització, almenys amb les càmeres de vídeo.• Provar la malla.

3.5.3.2 Descripció de l’experiment

Utilitzam quatre càmeres de vídeo :

1era. És una càmera d’una Indy de Silicon Graphics, i la situam que enfoqui la part de

davant de l’espatlla. A la següent imatge es mostra un frame corresponent a un dels in-stants finals del moviment :


2ona. És una càmera d’una o2 de Silicon Graphics, i la situam que enfoqui la part de

sota, l’aixella:

3era. És una càmera de vídeo estàndard Handycam, i la posicionam que enfoqui la part de

darrera de l’espatlla :


4arta. És un vídeo amb un visor, i el col.locam que enfoqui el braç de perfil:

3.5.3.3 Resultats

Imatge de la reconstrucció del braç, a l’instant 10:


Imatge de la reconstrucció, a l’instant 14 :

Imatge de la reconstrucció a l’instant 22, vist de davant:


Imatge de la reconstrucció a l’instant 22, vist de darrera:


3.5.3.4 Conclusions

• El nombre de càmeres necessàries perquè cada punt es vegi almenys a duescàmeres són quatre, però quantes més n’hi hagi molt millor ja que amb nomésquatre càmeres quan els punts es veuen bé a una càmera a l’altra estan al’horitzó i més que veure’ls és imaginar-se’ls. El posicionament ideal seria teniruna càmera a cada 45 graus.

Si desitjam una precisió mil.limètrica cada càmera no pot enfocar a una super-fície major de 10cm. x 10cm., el que suposa haver de tenir unes 20 càmeres.

• Els primers instants del moviment, quan el braç està quasi aferrat al cos, és im-possible reconstruir-los ja que a la part de sota, l’aixella, és impossible identifi-car els punts.

• A la vista de perfil convé tenir almenys dues càmeres, una que enfoqui quan elbraç està baixat, i l’altra més amunt per quan el braç està alçat.

• La sincronització de les imatges amb les estisores ha funcionat perfectament. Ésmolt fàcil identificar l’instant 0, just el frame en que les estisores estan tan-cades.

3.5.3.5 Detalls tècnics

• Porta molta feina col.locar totes les càmeres correctament i que enfoquin la su-perfície desitjada durant tot el moviment.


• És millor primer agafar les imatges del moviment perquè així es pot enfocaramb el braç realitzant tot el moviment complet, i després tenint unes senyals oncol.locar l’objecte calibrador agafar les imatges d’aquest.

Per posicionar l’objecte calibrador en la posició del braç, nosaltres l’hem aferrata un trípode, i al ser un cilindre l’hem posicionat com el braç quan està migalçat.

• L’acció de tancar les estisores per sincronitzar les càmeres s’ha de fer quan elbraç està baixat per a així tenir més espai i que no tapi a cap càmera, col.locantles estisores en diagonal de tal forma que es vegin bé a totes les càmeres.

• El moviment ha de ser continu i ha de durar uns 5 segons.

• En aquest experiment hem tingut problemes amb la Indy, ja que només hacapturat 4 frames per segon, però com a Son Dureta no l’utilitzarem (empraremcàmeres de vídeo Handycam) no tindrem aquest problema.

Ens hem limitat a digitalitzar totes les seqüències a 4 frames per segon, el queha provocat que hi hagi desplaçaments del braç d’un frame al següent massagrans. I també, per exemple el frame número 5 a totes les càmeres no corres-pon al mateix instant, sinó que hi pot haver-hi més d’un centímetre de dife-rència en el posicionament del braç.

A l’escala de temps capturar un determinat frame entre càmeres pot arribar avariar en un quart de segon, i amb el braç en moviment representa una distànciarecorreguda molt considerable.


3.5.4 Conclusions

• Per motius tècnics no s’ha pogut reconstruir l’espatlla en moviment. Actualment al’hospital Son Dureta per capturar les fluoroscòpies des de dos punts de vista dif-erents i alhora, s’han d’ajuntar dos aparells de fluoroscòpies.

Hi ha dues classes diferents d’aparells de fluoroscòpies, una classe d’aparells quesón estàtics i només poden enregistrar fluoroscòpies verticalment (el pacient s’hade situar obligatòriament sobre la llitera que porten incorporada), i una altra classeque tenen un arc i aquest pot girar. Els aparells estàtics són de major qualitat ipoden enfocar una gran superfície, però els mòvils ofereixen unes fluoroscòpiesde baixa qualitat i només poden enfocar una petita superfície (com es pot com-provar a la fluoroscòpia de la malla).

Per poder tenir dos punts de vista diferents alhora, s’han d’ajuntar un aparellestàtic i un altre mòvil. Això provoca que al tenir-ne un de mòvil s’hagi de res-tringir la zona de reconstrucció a una petita secció del braç.

• Reconstruir a partir de fluoroscòpies és idèntic a reconstruir a partir d’imatges fil-mades per càmeres de vídeo, o tal vegada millor, ja que amb dos aparells defluoroscòpies és suficient per reconstruir tot un objecte molt irregular, quan ne-cessitaríem moltíssimes càmeres estàndard per fer una visió estereoscòpica detotes les irregularitats.

El major problema és transformar els punts que ens interessa reconstruir a fo-toelèctricament opacs, en el cas d’objectes compostos amb materials no densos. Sil’objecte és d’un material molt dens, tot ell és fotoelèctricament opac, i ens seriaimpossible fer la correspondència estereoscòpica.


• L’aparell de fluoroscòpies estàtic obliga al pacient a situar-se sobre la llitera, el queimpossibilita la visibilitat de la part de darrera de l’espatlla a les càmeres de vídeo,i també dificulta el moviment normal del braç.

• A l’aparell de fluoroscòpies mòvil, a l’intentar agafar la màxima superfície delbraç, aquest ha d’estar el més pròxim possible a l’extrem receptor (el tambor blancque es veu a la imatge del cilindre calibrador), i això provoca que no es puguibaixar el braç i s’hagi de tenir alçat, impossibilitant fer part del moviment.

• El posicionament del pacient és molt complexe, ha d’estar sobre la llitera en diago-nal i amb el cap completament inclinat, i a més perfectament protegit de les radia-cions.

• El posicionament de les càmeres de vídeo és molt dificultós, han d’estar muntadessobre trípodes, i quasi no hi ha lloc per col.locar-les. No es poden situar en lesposicions que es desitjaria, sinó allí on caben i que cap aparell estorbi. I encaraque hi hagués molt d’espai i es poguessin situar on desitjàssim, se’n necessitarienmoltes per poder cobrir tots els punts com a mínim amb dues càmeres i durant totel moviment.


• La col.locació de les creus de ferro sobre la malla es podria millorar aferrant-les detal forma, que no es superposassin a ninguna de les dues fluoroscòpies, i que altraçar la línia epipolar només hi hagués una única creu candidata.


4. ESTUDI DE LA DISTORSIÓ

4.1 Introducció

Observant amb atenció la imatge de la càmera 1 a l’experiment 3.3, a la part dreta es veuun racó de la sala on filmàvem. L’aresta en la realitat és recta, però a la imatge apareixlleugerament curvada. Aquest problema s’anomena distorsió de les càmeres.

Un altre exemple de distorsió en el món real es troba en la retransmissió de partits defutbol per televisió, amb la càmera que es troba dins la porteria, el travesser es veu comun arc quan en la realitat és recte.

Per clarificar i estudiar millor el tema hem agafat una imatge d’una superfície plana forradaamb paper mil.limetrat:

S’observa com la transformació pot ser significativa: les línies rectes de la superfície en elmón real (sobretot les més pròximes a les voreres), se transformen en arcs a la imatge. Seté la impressió que veiem un globus des de dalt.

A la part teòrica desenvolupada al principi no havíem tingut en compte aquest fenòmen.Concretament a l’apartat “1.2.1 Projecció perspectiva” havíem suposat que la projecciód’un punt objecte a una imatge era la intersecció del pla imatge amb la recta que passa peldeterminat punt i pel centre de projecció. I ara resulta que no és així, la recta que traçàvemno ha de ser una recta, sinó una corba en forma d’arc.

Anem a rectificar la part teòrica feta al principi afegint-hi la distorsió :

4.2 Anàlisi teòrica


Abans en el capítol “1.2.3 Els paràmetres intrínsecs” dèiem que les coordenades de laprojecció d’un punt objecte a una imatge es podien calcular amb les següents fórmules:

u x u

v y vu c o

v c o

= ? += ? +

αα

Però ara li hem d’ajuntar un terme de correcció no linial. La correcció és radial, les zonesde la imatge allunyades del centre estan molt més distorsionades que la zona central.

Si afegim la correcció no linial ens queda :

u x u u

v y v vu c o

v c o

= ? + += ? + +

αα

∆∆

amb

( )( )

∆

∆

u K r u u

v K r v v

o

o

= ? ? −

= ? ? −

2

2

a on

( ) ( )r u u v vo o2 2 2

= − + −

El model de la càmera ara tindrà, no 4, sinó 5 paràmetres intrínsecs : α αu v o ou v, , , i K .

Com calcular el nou model de la càmera ?. La resposta no és senzilla, ja que no podemlinialitzar el sistema d’equacions com havíem fet en absència de la distorsió.

Ara tenim el següent sistema d’equacions :

( ) ( )

( ) ( )

M

M

u ur X r Y r Z t

r X r Y r Z tKr u u

v vr X r Y r Z t

r X r Y r Z tKr v v

i o ui i i x

i i i zi o

i o v

i i i y

i i i zi o

− −+ + ++ + +

− − =

− −+ + ++ + +

− − =

α

α

11 12 13

31 32 33

2

21 22 23

31 32 33

2

0

0


4.3 Càlcul numèric i algorismes

Càcul numèric

Per solucionar el sistema d’equacions no linial utilitzarem el mètode de sobrerelaxació pera sistemes d’equacions no linials.

Mètode de sobrerelaxació per a sistemes d’equacions no linials

Considerem un sistema amb k equacions (f1 , . . . ,fk ), i k incògnites (x1 , . . . ,xk ).

Sigui :

ff

xpq

p

q

=ƒƒ p k=1.. i q k=1..

La idea bàsica del mètode consisteix en anar calculant els valors de les xi, iterativamentfins que convergeixin, com es mostra a continuació :

( )( )x x w

f x x x

f x x xn n

n nkn

n nkn1

11

1 1 2

11 1 2

+ = −, ,...,

, ,...,

( )( )x x w

f x x x

f x x xn n

n nkn

n nkn2

12

2 11

2

22 11

2

++

+= −

, ,...,

, ,...,

( )( )x x w

f x x x x

f x x x xn n

n n nkn

n n nkn3

13

3 11

21

3

33 11

21

3

++ +

+ += −

, , ,...,

, , ...,

M

( )( )x x w

f x x x x x

f x x x x xkn

kn k

n n nkn

kn

kkn n n

kn

kn

++ + +

−+

+ + +−+

= −1 11

21

31

11

11

21

31

11

, , ,..., ,

, , ..., ,

on w és el factor de relaxació, i que el seu valor aconsellable és 1.8.

Aplicant-ho al nostre cas :

- Tenim 5 incògnites : x1= uo , x2 = vo , x3 = αu , x4 = αv , x5= K

- Però tenim 2n equacions (n? 6), dues per a cada punt que empram per calibrar.

Com passar de 2n equacions a tan sols 5 equacions ?

Ens interessa trobar els uo ,vo ,αu ,αv iK , que minimitzen totes les 2n equacions.

Sigui :


( )

( ) ( ) ( )[ ] ( )

F u v X Y Z u v K

u ur X r Y r Z t

r X r Y r Z tK u u v v u u

i i i i i o o u v

i o ui i i x

i i i zi o i o i o

' , , , , , , , , ,α α

α

=

= − −+ + ++ + +

− − + − ? − +11 12 13

31 32 33

2 22

( ) ( ) ( )[ ] ( )+ − −+ + ++ + +

− − + − ? −v vr X r Y r Z t

r X r Y r Z tK u u v v v vi o v

i i i y

i i i zi o i o i oα 211 22 23

31 32 33

2 22

i sigui :

( )F u v K F u v X Y Z u v Ko o u v i i i i i o o u vi

n

, , , , ( , , , , , , , , , )'α α α α==

−

0

1

Minimitzar les 2n equacions és el mateix que minimitzar F. Quan els 5 valorsuo ,vo ,αu ,αv iK facin mínim a F també faran mínim a les 2n equacions.

Com trobar el mínim d’F ? Calcular les derivades parcials d’F, igualar-les a 0, i despréscalcular els valors de les variables que fan que les derivades parcials siguin 0.

Calculem les derivades parcials d’F :

fF

uA

A

uB

B

uo o oi

n

10

1

2 2= = ? ? + ? ?=

−ƒƒ

ƒƒ

ƒƒ = 0

fF

vA

A

vB

B

vo o oi

n

20

1

2 2= = ? ? + ? ?=

−ƒƒ

ƒƒ

ƒƒ = 0

fF

Ar X r Y r Z t

r X r Y r Z tu

i i i x

i i i zi

n

311 12 13

31 32 330

1

2= = − ? ?+ + ++ + +=

−ƒƒα = 0

fF

Br X r Y r Z t

r X r Y r Z tv

i i i y

i i i zi

n

4

21 22 23

31 32 330

1

2= = − ? ?+ + ++ + +=

−ƒƒα = 0

( ) ( )[ ] ( )( ) ( )[ ] ( )

fF

K

A u u v v u u

B u u v v v v

i o i o i o

i o i o i oi

n

5

2 2

2 20

1 2

2= =

− ? ? − + − ? − +

− ? ? − + − ? −=

−ƒƒ = 0

a on :

A ( ) ( ) ( )[ ]( )= − −+ + ++ + +

− ? − + − −u ur X r Y r Z t

r X r Y r Z tK u u v v u ui o u

i i i x

i i i zi o i o i oα 11 12 13

31 32 33

2 2


B ( ) ( ) ( )[ ]( )= − −+ + ++ + +

− ? − + − −v vr X r Y r Z t


i i i y

i i i zi o i o i oα 211 22 23

31 32 33

2 2

( ) ( ) ( ) ( )[ ][ ]ƒƒA

uK u u u u v v

oi o i o i o= − − ? − ? − + − − + −1 2 1

2 2 2

( ) ( )ƒƒB

uK v v u u

oi o i o= ? ? − ? −2

( ) ( )ƒƒA

vK v v u u

oi o i o= ? ? − ? −2

( ) ( ) ( ) ( )[ ][ ]ƒƒB

vK v v u u v v

oi o i o i o= − − ? − ? − + − − + −1 2 1

2 2 2

Com calcular els valors d’uo ,vo ,αu ,αv iK ? Ara ja sí podem aplicar el mètode desobrerelaxació per a sistemes d’equacions no linials, ja que tenim 5 equacions :f f f f1 2 3 4, , , i f5 ; amb 5 incògnites : uo ,vo ,αu ,αv iK .

Però encara ens falta calcular :

ff

u

A

u

A

u

A

uA

B

u

B

u

B

uB

o o o o o o oi

n

111

2

2

2

20

1

2= = ? ? + ? + ? + ?=

−ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

( )ƒƒ

2

26

A

uK u u

oi o= − ? ? −

( )ƒƒ

2

2 2B

uK v v

oi o= − ? ? −

ff

v

A

v

A

v

A

vA

B

v

B

v

B

vB

o o o o o o oi

n

222

2

2

2

20

1

2= = ? ? + ? + ? + ?=

−ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

( )ƒƒ

2

22

A

vK u u

oi o= − ? ? −

( )ƒƒ

2

2 6B

vK v v

oi o= − ? ? −

ff r X r Y r Z t

r X r Y r Z tu

i i i x

i i i zi

n

333 11 12 13

31 32 33

2

0

1

2= = ?+ + ++ + +=

−ƒƒα


ff r X r Y r Z t

r X r Y r Z tv

i i i y

i i i zi

n

444 21 22 23

31 32 33

2

0

1

2= = ?+ + ++ + +=

−ƒƒα

( ) ( )[ ] ( )

( ) ( )[ ] ( )f

f

K

u u v v u uA

K

u u v v v vB

K

i o i o i o

i o i o i oi

n

555

2 2

2 20

1 2

2

= =− ? − + − ? − ? +

− ? − + − ? − ?=

−ƒƒ

ƒƒƒƒ

( ) ( )[ ] ( )ƒƒA

Ku u v v u ui o i o i o= − − + − ? −

2 2

( ) ( )[ ] ( )ƒƒB

Ku u v v v vi o i o i o= − − + − ? −

2 2


Algorismes

Hem implementat la correcció de la distorsió de dues formes diferents : la primera corre-geix la distorsió sobre la imatge, i la segona sobre la matriu on s’hi troben les coorde-nades píxel que s’han llegit, només corregint els punts utilitzats.

Programa corregir_distorsio_a_imatge (in imatge inicial, in matriu de projecció M, outimatge resultat)

per a cada píxel de la imatge inicial fernivell de gris d’imatge resultat(píxel + distorsió) = nivell de gris d’imatge ini-

cial(píxel)f iper ;eliminar_punts_negres(imatge resultat) ;

fiprograma

Funció eliminar_punts_negres (in out imatge)per a cada píxel de la imatge fer

si és píxel negre llavorsnivell de gris (píxel)=mitja dels nivells de grisos dels seus veïns no

píxels negresf i s i

fiper fifunció

Donades les coordenades d’un píxel (u,v) calcula les coordenades (ufinal, vfinal), posició on s’hauriade trobar sense distorsió.Funció aplicar_distorsio_a_un_píxel(in píxel(u,v),in paràmetres intrínsecs, out píxel (ufinal,

vfinal))

( ) ( )r u u v vo o2 2 2

= − + − ;

( )( )

∆

∆

u K r u u

v K r v v

o

o

= ? ? −

= ? ? −

2

2

;

;

u u u

v v v

final

final

= += +

∆∆;

;

fifunció

Aplica la distorsió a les coordenades dels punts del calibratge emmagatzemats dins una matriu.Funció aplicar_distorsió_a_matriu(in out matriu, in paràmetres intrínsecs)

per a cada punt de la matriu feraplicar_distorsio_a_un_píxel(píxel, paràmetres intrínsecs, píxel final) ;coordenades píxel = coordenades píxel final ;

fiperfifunció

Aplica la distorsió a les coordenades píxel dels punts conjugats a reconstruir.Funció aplicar_distorsió_a_vector(in out punts a reconstruir, in paràmetres intrínsecs)

per a cada píxel a reconstruir feraplicar_distorsio_a_un_píxel(píxel, paràmetres intrínsecs, píxel final) ;coordenades píxel = coordenades píxel final ;

fiperfifunció


Implementa el mètode de sobrerelaxació per a sistemes d’equacions no linials.Funció NLOR(in matriu de projecció M, in llista de punts, out paràmetres intrínsecs)

inicialitzar els paràmetres intrínsecs(out paràmetres intrínsecs) ;mentre no convergixin els paràmetres intrínsecs(paràmetres intrínsecs, paràmetres in-trínsecs nous) fer

calcular_els_nous_paràmetres_intrínsecs( parametres intrínsecs, matriu de pro-jecció, llista de punts, paràmetres intrínsecs nous)

fimentrefifunció

Funció calcular_els_nous_paràmetres_intrínsecs(in paràmetres intrínsecs, out nous paràmetresintrínsecs)

per k=1 fins a 5 fer

( )( )x x w

f x x x x x

f x x x x xkn

kn k

n n nkn

kn

kkn n n

kn

kn

++ + +

−+

+ + +−+

= −1 11

21

31

11

11

21

31

11

, , ,..., ,

, , ..., , ;

fiperfifunció

Funció totxo_A

A ( ) ( ) ( )[ ]( )= − −+ + ++ + +

− ? − + − −u ur X r Y r Z t

r X r Y r Z tK u u v v u ui o u

i i i x

i i i zi o i o i oα 11 12 13

31 32 33

2 2

;

return( A ) ;fifunció

Funció totxo_B

B ( ) ( ) ( )[ ]( )= − −+ + ++ + +

− ? − + − −v vr X r Y r Z t


i i i y

i i i zi o i o i oα 211 22 23

31 32 33

2 2

;

return( B ) ;fifunció

Calcula la derivada d’A respecte uo.Funció DAuo

return( ( ) ( ) ( ) ( )[ ][ ]− − ? − ? − + − − + −1 2 12 2 2

K u u u u v vi o i o i o ) ;

fifunció

Calcula la derivada de B respecte uo.Funció DBuo

return( ( ) ( )2? ? − ? −K v v u ui o i o ) ;

fifunció

Calcula la derivada d’A respecte vo.Funció DAvo

return( ( ) ( )2? ? − ? −K v v u ui o i o ) ;

fifunció

Calcula la derivada d’B respecte vo.Funció DBvo

return( ( ) ( ) ( ) ( )[ ][ ]− − ? − ? − + − − + −1 2 12 2 2

K v v u u v vi o i o i o ) ;


fifunció

Funció f1

return( 2 20

1

? ? + ? ?=

−

AA

uB

B

uo oi

n ƒƒ

ƒƒ ) ;

fifunció

Funció f2

return( 2 20

1

? ? + ? ?=

−

AA

vB

B

vo oi

n ƒƒ

ƒƒ ) ;

fifunció

Funció f3

return( − ? ?+ + ++ + +=

−

2 11 12 13

31 32 330

1

Ar X r Y r Z t

r X r Y r Z ti i i x

i i i zi

n

) ;

fifunció

Funció f4

return( − ? ?+ + ++ + +=

−

221 22 23

31 32 330

1

Br X r Y r Z t

r X r Y r Z t

i i i y

i i i zi

n

) ;

fifunció

Funció f5

return(

( ) ( )[ ] ( )( ) ( )[ ] ( )

− ? ? − + − ? − +

− ? ? − + − ? −=

− 2

2

2 2

2 20

1 A u u v v u u

B u u v v v v

i o i o i o

i o i o i oi

n

) ;

fifunció

Funció Df1uo

( )ƒƒ

2

2 6A

uK u u

oi o= − ? ? − ;

( )ƒƒ

2

2 2B

uK v v

oi o= − ? ? − ;

return( 22

2

2

20

1

? ? + ? + ? + ?=

− ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

A

u

A

u

A

uA

B

u

B

u

B

uB

o o o o o oi

n

) ;

fifunció

Funció Df2vo

( )ƒƒ

2

22

A

vK u u

oi o= − ? ? − ;

( )ƒƒ

2

2 6B

vK v v

oi o= − ? ? − ;


return( 22

2

2

20

1

? ? + ? + ? + ?=

− ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

ƒƒ

A

v

A

v

A

vA

B

v

B

v

B

vB

o o o o o oi

n

) ;

fifunció

Funció Df3au

return(211 12 13

31 32 33

2

0

1

?+ + ++ + +=

− r X r Y r Z t

r X r Y r Z ti i i x

i i i zi

n

) ;

fifunció

Funció Df4av

return(221 22 23

31 32 33

2

0

1

?+ + ++ + +=

− r X r Y r Z t

r X r Y r Z t

i i i y

i i i zi

n

) ;

fifunció

Funció Df5K

( ) ( )[ ] ( )ƒƒA

Ku u v v u ui o i o i o= − − + − ? −

2 2

;

( ) ( )[ ] ( )ƒƒB

Ku u v v v vi o i o i o= − − + − ? −

2 2

;

return(

( ) ( )[ ] ( )

( ) ( )[ ] ( )

− ? − + − ? − ? +

− ? − + − ? − ?=

− 2

2

2 2

2 20

1 u u v v u uA

K

u u v v v vB

K

i o i o i o

i o i o i oi

n

ƒƒƒƒ

) ;

fifunció


4.4 Resultats

Per simplificar el càlcul hem passat les imatges a nivells de grisos.

La imatge presentada a la introducció d’aquest tema, després de corregir-li la distorsió,ens queda:

Corregint la distorsió a les imatges de l’experiment 3.3 (pàgina següent), es pot observarcom a la càmera 1, l’aresta de la paret ha tornat més recta, però tal vegada encara semblauna mica curvada ; i a la càmera 2 l’aresta horitzontal que hi ha sobre la pissarra també hamillorat.


Càmera 1 després de corregir la distorsió :

Càmera 2 després de corregir la distorsió :


4.5 Conclusions

La correcció de la distorsió de les càmeres representa una millora quasi inapreciable en elsresultats finals de la reconstrucció, considerant insignificativa la compensació de la milloradels resultats amb l’alt cost de càlcul que comporta.

Factors que influeixen en la correcció de la distorsió :

• Els objectes que nosaltres utilitzam per calibrar o reconstruir sempre es troben ala part central de les imatges, zona quasi intacta als efectes de la distorsió. Si elsobjectes es trobassin a les voreres, sí seria convenient aplicar la correcció de ladistorsió.

• La matriu de projecció absorveix part de la distorsió. Al calibrar les càmeresamb imatges distorsionades, es calcula el centre de projecció en funciód’aquesta distorsió, i després al traçar les rectes de reconstrucció s’utilitza elcentre de projecció distorsionat. El perill podria venir si calibràssim les càmeresamb l’objecte calibrador situat a la perifèria de la imatge (zona molt afectada perla distorsió) i després l’objecte a reconstruir es trobàs a la part central, oviceversa. Però si els objectes sempre estan situats en una àrea amb la mateixainfluència de distorsió l’efecte és quasi menyspreable.

4.6 Detalls tècnics

Quan aplicam la correcció de la distorsió a una imatge, el que fem és expandir la imatgedes del centre cap afora. Això provoca un augment en les seves dimensions, i l’aparicióde píxels nous que no tenen cap nivell de gris. Nosaltres adoptam el criteri de tenir totesles imatges amb les mateixes dimensions, per tant desapareixen els píxels que cauen aforad’aquestes dimensions, i els píxels nous que apareixen dins les imatges agafen com anivell de gris, la mitja dels nivells de grisos dels seus veïns no píxels nous.

Per clarificar com es distribueixen els píxels nous, el grau d’expansió que s’aplica a laimatge, i per la seva gran bellesa artística, mostram la següent imatge temporal en ques’ha fet l’expansió de píxels però encara no s’han difuminat els píxels nous :

Universitat de les I B - dtic.upf.edujblat/material/charm/jverdera(1).pdf · Versatile Camera...

Documents

Transcript of Universitat de les I B - dtic.upf.edujblat/material/charm/jverdera(1).pdf · Versatile Camera...