1

Introdución á TelemedicinaTeoría Aula 4 – A Imaxe Dixital

Xosé M. Pardopardo@dec.usc.es

http://www.dec.usc.es/~pardo

Grupo de Visión ArtificialDpto Electrónica e Computación

USC

2

Guión

O problema da visión computacionalA imaxe dixitalProcesamento de imaxe dixital

Baixo nivelAlto nivel

3

Visión e imaxe

Visión: principal fonte de información sensorial procesada polo cerebro.Visión artificial: importante campo de investigación coa chegada dos ordenadores.

Considerábase inicialmente momento un problema doado de resolver.

“M. Minksy (pioneiro da IA) propúxolle a un alumno en 1966 como proxecto que un ordenador puidese describir o que vise”

A facilidade do procesamento visual para os humanos só pon de manifesto que non somos conscientes das operacións que se realizan dende a captación da imaxe ata a extracción de información.

4

Visión e imaxe

Coñécese que diferentes partes do cerebro están especializadas en extraer diferentes características das imaxes:

Movemento.Cor, texturas, orientaciónsSegregación de obxectos e fondoetc.

Sábese aínda pouco de como o cerebro combina esta información.

5

Visión

Problema da visión computacional: “explicar o mecanismo que transforma a matriz de valores de intensidade luminosa nunha representación a nivel de obxectos, que se poida almacenar na memoria e procesar por outros sistemas cognitivos”.

Marr suxeriu un enfoque de procesamento da información:

Describe a percepción en termos da reconstrución xeométrica dos obxectos observados.Cáptanse tódolos detalles do entorno e vanse elaborando descricións sucesivas con niveis de abstracción crecentes ate obter experiencias visuais de alto nivel.

6

Teoría da Visión de Marr

A visión procede mediante a computación de descricións simbólicas da imaxe e o recoñecemento dun obxecto prodúcese cando hai correspondencia entre unha descrición reconstruída ea representación almacenada dunha clase.Para describir un obxecto non é preciso saber que é o que se está observando.Base nas teorías psicolóxicas e neurofisiolóxicas do momento.

7

Psicoloxía da Gestalt

Lei de Prägnanz: os sistemas de percepción fan organizacións tendentes a formas o máis simples e estables posible. Outras leis describen como se agrupan elementos de percepción dispares.

proximidade similitude

boa continuidade clausura

8

Psicoloxía da Gestalt

Os principios básicos da percepción sobreviviron.Aínda que non os argumentos de que tales procesos son moi primarios na percepción.

Está o “x” no mesmo obxecto?

• Responder esta cuestión leva máis tempo no caso da figura da dereita.

• Os procesos da Gestalt están influenciados por procesos semánticos

9

Achegas Posteriores

A experiencia inflúe na forma en que os humanos perciben o mundo

Conceptos de alto nivel “dan forma” a percepcións de baixo nivel.

O HVS máis que unha “estrutura xerárquica” é unha colección de subsistemas relacionados:

Existen elementos independentes con obxectivos propios que cooperan de xeito sinerxético.Hai subsistemas adestrados/expertos en recoñecer obxectos específicos.

10

Coñecemento a priori

Mexicano montado en bicicleta

Necesidade de coñecemento específico sobre a tarefa para agrupar características e interpretar imaxes: Segmentación⇔ Recoñecemento

11

Visión activa

Finais dos 80: admítese que un sistema de visión de propósito xeral é unha meta ambiciosa demais.

É preciso darlle pistas ó sistema sobre o que se espera que vexa:

Sistemas para dominios concretos. Algoritmos de propósito específico.

Non é preciso organizar tódalas características, abonda con comparar ás áreas de interese coa aparencia que se espera que teñan.Sistemas non xerárquizados ....

Os sistemas de Visión Activa intentan modelar con maior precisión a interacción dos humanos co mundo.

12

Que é unha imaxe?

Unha imaxe é unha función, f, de R2 en R:f( x, y ) da a intensidade na posición ( x, y ) Unha imaxe está definida sobre un rectángulo, cun rango definido:

f: [a,b]x[c,d] [0,1]

13

Sistema de visión por ordenador

Superficie

Óptica

Matriz CCD

P

Fonte de luz

L(P,d)

in

p

e

Sinal de vídeo

Frame grabber

PC

Frame grabber: dixitaliza nunha matriz 2-D de NxMvalores enteiros e alamacénaa nunha memoria

14

Sistema de visión por ordenador

.

Canle AzulA/D ConversorCanle Verde

A/D Converter

ÓpticaPlano Imaxe

Digital Image

E(x,y) : Sinal eléctricode vídeo

Imaxe L(x,y)

Memoria

22 3422 0 18 ¥¥¥

¥¥¥¥¥¥

Canle VermellaConversor A/D

VídeoCámara

B(i,j)G(i,j)

R(i,j)

15

Introdución á adquisición de imaxes

Imaxe: función bidimensional F(x,y), onde (x,y) é un punto da imaxe e o valor da función representa a información captada polo sensor.As imaxes analóxicas deben sufrir un proceso de dixitalización para ser tratadas mediante ordenadores. Unha imaxe dixital é unha función I(x,y) sobre un espazo 2D discreto e os valores da función tamén son discretos.

Mostraxe ou resolución espacialCuantificación ou resolución en amplitude

16

Que é unha imaxe dixital?

Imaxes dixitais:Mostraxe do espazo 2D nun mallado regularCuantización de cada mostra (redondeo ao enteiro máis próximo)

17

Que é unha imaxe dixital?

A imaxe represéntase coma unha matriz:Se as mostras están separadas en ∆:f[i ,j] = Cuantización{ f(i ∆, j ∆) }

62 79 23 119 120 105 4 0

10 10 9 62 12 78 34 0

10 58 197 46 46 0 0 48

176 135 5 188 191 68 0 49

2 1 1 29 26 37 0 77

0 89 144 147 187 102 62 208

255 252 0 166 123 62 0 31

166 63 127 17 1 0 99 30

18

Que é unha imaxe dixital?

19

Cuantización

Diferentes resolucións en niveis de gris: 256, 128, …, 2Menos niveis de gris leva aparellada unha redución de datos.Para 256, 128, 64 niveis de gris: Diferencias apenas visibles

20

Resolución espacial

Mostraxe dende 1024x1024 ata 32x32 píxeles

Mesma mostraxe variando os tamaños dos píxeles para percibir mellor o cambio en nivel de detalle

21

Vecindade dun píxel

Veciños dun Píxel:

O píxel p en (x, y) ten 4 veciños na

horizontal e na vertical.

4-veciños of p: N4(p)

veciños a distancia 1 de p

O píxel p ten 4 veciños nas

diagonais, ND(p)

Usualmente distínguese entre

vecindade-4 e vecindade-8

N4(p) versus N8(p)

vecindade-4

vecindade-8

22

Que é o procesamento dixital de imaxe?

A interpretación de imaxes, a análise de imaxes e a visión artificial teñen coma obxectivo imitar o proceso da visión humana.

Adquisición de imaxesPreprocesadoSegmentaciónRepresentación e descriciónRecoñecemento e interpretación

23

Modelo de cámara

Como vemos o mundo?Deseñemos unha cámara

Idea 1: por un cacho de película en frente dunha cámara Temos unha imaxe razoable?

object filmObxecto Película

24

Modelo de cámara

Cámara PinholeEngadir barreira para bloquear a maioría dos raios

Reduce o emborronamentoO burato chámase aperturaComo afecta isto á imaxe?

object filmbarrierobxecto barreira película

25

Modelo de cámara

Cámara escuraA primeira cámara

Coñecida por AristótelesO fondo da habitación é a distancia focalPódense medir distancias?

26

Modelo de cámara

LentesEnfocan a luz sobre a película

Hai unha distancia específica á que os obxectos estánenfocadosOs outros puntos proxectan un “círculo de confusión na imaxe” Cambiando a forma/foco dos lentes cambia esta distancia.

object filmlensobxecto lente película

“círculo de confusión”

27

Modalidades de imaxe médica

Raios-X A primeira modalidade (1875- 1970’s)Proxección 2D

O calcio dos ósos é o que máis raios-X absorbeOs tecidos brandos absorben menos, e quedan grises O aire é o que menos absorbe e por iso os pulmóns vense negros

Fonte Obxecto

Película

28

Modalidades de imaxe médica

CTRequire unha cantidade importante de cálculo matemático (1072-).Proporciona información en 3D

29

Procesamento de imaxes dixitais

Aproximacións en dous niveis:Procesamento de baixo nivel. Pouco coñecemento sobre o contido e a semántica das imaxes.

Mellora da calidade visual da imaxeDetección de características:partes significativas,

contornos,Esquinas,Texturas,...

Interpretación de alto nivel. Imita o proceso cognitivo humano (percepción, aprendizaxe, razoamento) para:

Combinar información de características+Inferir información das imaxes.

30

Procesamento de imaxe de baixo nivel

Moi pouco coñecemento acerca do contido das imaxes.As imaxes orixinais son os datos, matrices de valores de intensidade

Mostraxe discreta dun campo continuo

Orixe (Ox,Oy)

Espazado (Sy)

Espazado (Sx)

Valor de Pixel

Rexión de Pixel

vecindade 3x3

31

Procesamento de imaxes

Unha operación de procesamento de imaxe define unha nova imaxe g a partir doutra f.

)],([),( yxfTyxg =Imaxe transformada

Imaxe orixinal

Opera na vecindadede (x,y)

),( yxgT

),( yxf

Imaxe transformadaImaxe orixinal

Tf g

32

Histograma

O histograma proporciona información global da imaxe sobre a posibilidade de realce.

r: posible valor de intensidade do píxelh (r): porcentaxe de píxeles con valor r

h(rk)

rk

33

HistogramaImaxe clara Imaxe escura

Imaxe con alto contraste Imaxe con baixo contraste

34

Transformación de histograma

Formas de T: vecindade 1x1: )(rTs =

L-1

L-1

T(r)

r

s

(r1,s1)

(r2,s2)

• Se r1=s1 e r2=s2 ⇒ transformación identidade.

• Se r1=r2, s1=0 e s2 =L-1 ⇒ umbralización.

• En xeral se r1≤ r2, s1≤ s2 ⇒ transformación monótona crecente.

35

Transformación de histograma

Aumento de contraste

0 255

255

INPUT

OU

TPU

T

36

Transformación de histograma

Umbralización: Emprégase para separar obxectos do fondo.Os picos no histograma relacionánse con obxectos na imaxe.

A altura dos picos está relacionada co tamaño dos obxectos.

0 100 200

0

10

20

0 100 200

0

50

100

150

escuro ⇔ claro

escu

ro

⇔cl

aro

S

T(r)

r

sUmbralización

R

37

Transformación de histograma

Negativo da imaxe: invertir a orde de negro a branco na imaxe transformada.

rrTs −== 255)(

escuro ⇔ claro

S

T(r)

r

s

escu

ro

⇔cl

aro

R

38

Negativo

O sistema visual humano percibe mellor obxectos claros sobre fondo escuro que ao revés.

39

Filtrado espacial

Formas de T: Vecindade nxn:

O valor de g(x,y) depende dos valores de f nun entorno de (x,y).Aproximación máis usual: definición de máscaras de convolución. Os valores dos coeficintes da máscara determinan a natureza do proceso.

w1 w2 w3

w4 w5 w6

w7 w8 w9

Píxel (x,y)

g (x,y)

wi : coeficiente máscarazi : valores de gris nos

píxeles da imaxe992211),( zwzwzwyxg +++= L

40

Procesamento de imaxe de baixo nivel

Redución de ruídoRealceExtracción de características....

41

Filtrado espacial

Ruído: contaminación da imaxe con información non desexada.

Eliminación/mitigación mediante promediado espacial

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

∗=

111111111

91W

fWg

42

Filtrado espacial

Realce de bordes:Experimentos psicofísicos indican que unha imaxe con bordes acentuados é subxectivamente máis agradable.As células da retina fan un filtrado laplaciano

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−

−=

010151

010W

43

Laplaciano

Engadir o Laplaciano á imaxe orixinal.A(x)+LResalte encima e debaixo do borde.

( )

( ) 2

2

2

2

2

2

dxAdxA

dxAd

dxAdxA

−

−

5 10 15 20 25 300

100

200

5 10 15 20 25 30-20

0

20

5 10 15 20 25 30-20

0

20

0 5 10 15 20 25 30100

200

300

44

Filtrado espacial

ContornosCambio na intensidade luminosa dunha imaxe, entre dúas rexións “suaves”.Unha das características primitivas máis importantesdas imaxes.

0.1

1Umbralización

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−

−=

010141

010W

45

Procesamento de imaxe de baixo nivel

MorfoloxíaFiltrado espacial con operacións lóxicas:

g(x,y):= f(x-1,y-1) AND f(x,y) AND f(x+1,y+1)

Regularización de formasEliminación de ocosSeparación de estruturasEliminación de ruído....

1 0 0

0 0

0 0 1

1

Elemento estruturante

(= máscara de convolución)

(x-1,y-1)

(x,y) → Punto de ancora

(x+1,y+1)

46

MorfoloxíaDilatación Binaria: Unha imaxe B dilatada por un elemento estruturante E (B⊕E),

combina con OR os valores correspondentes aos píxeles 1 do elemento estruturante.

É unha operación de expansión.

A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.

1 1 1

1 1

1 1 1

1

47

MorfoloxíaErosión Binaria: Unha imaxe F erosionada por un elemento estruturante E (B⊗E)

Combina con AND os valores correspondentes aos píxeles 1 do elemento estruturante.

É unha operación de contración

A cantidade depende do tamaño e a forma do elemento estruturante e do número de veces que se aplican.

48

Morfoloxía

Apertura Binaria: Unha imaxe B aberta por unelemento estruturante E defínese coma:

(B⊗E)⊕E

Elimina rexións máis pequenas ca o elemento estruturante

49

MorfoloxíaPeche Binario: Unha imaxe B pechada por unelemento estruturante E defínese coma:

(B⊕E)⊗E

Enche buratos máis pequenos ca o elemento estruturante

50

Procesamento de imaxe de baixo nivel

Segmentación:UmbralizaciónCrecemento de rexiónsContornos...

22#1 )),(()( i

RiRiaestatístic

ii

yxIVRH σµ ≤−⇔= ∑

51

Detección de movementoMovemento:

Busca de correspondenza entre imaxesDetectar desprazamentos

Busca de diferenzas entre imaxes

Fondo Imaxe actual

Resta e umbralización

Erosión+ Dilatación

52

Interpretación de imaxes de alto nivelImitación do proceso cognitivo humano sobre a información contida na imaxe.

Parte de características de baixo nivelCombina información de diferentes fontesIncorpora coñecementoOs resultados representan coñecemento sobre o contido da imaxe, e están a miúdo nun formato simbólico.