Trabajo fin de grado:Segmentación de imágenes basada en la textura. Aplicación de CRF densos como 

técnica de mejora

Diego Rodríguez MulióGrado en Ingeniería Electrónica Industrial y

Automática

Grado en Ingeniería Electrónica y Automática Industrial

Escuela Técnica Superior de Ingeniería y Diseño IndustrialUniversidad Politécnica de Madrid

15 de Septiembre de 2015

Objetivos• Segmentación multi-clase en dos dimensiones

Objetivo de análisis

Objetivos• Segmentación binaria en tres dimensiones

Región de interés de una resonancia magnética

Segmentación en dos dimensiones

Métodos y referencias

• Segmentación en dos fases:

Segmentación basada en la textura

Modelos de apariencia y 

reducción de ruido

Textonboost de Shotton et al.

(Cambridge‐Microsoft)

CRF densos deKrähenbühl y Koltun

(Stanford)

Segmentacióntextonboost

Hierba      Árbol       Cielo

Segmentación textonboost• Textonización

o Textura = irregularidades de la imageno Se crean regiones de textura uniforme: textones

Mapa de textonesImagen original

Segmentación textonboost

ÁRBOL

CIELO

i

Segmentación textonboost• Clasificación

o Evaluación de característicaso Se obtienen mapas de probabilidad: potenciales unitarios

CRF

CRF definido sobre la imagen

Clasificación

CRF

CRF denso

Implementaciones• Códigos fuente proporcionados en las referencias

o Textonboost en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)

o CRF densos en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)

• Programas desarrollados

o Generador de imágenes *.pgm para visualizar potenciales unitarios de textonboost

o Adaptación de CRF densos en dos dimensiones para incorporar los potenciales unitarios de textonboost

Experimentos MSRC• Banco de imágenes MSRC (Microsoft) • Segmentación textonboost + CRF denso• Resultados precisos en el 81,11%

Experimentos nidos de cigüeña

• Banco de imágenes para reconocimiento de : nido, cigüeña, cielo y edificio

Experimentos nidos de cigüeña

• Textonboost detecta el 100% • Textonboost + CRF denso segmentan de forma

precisa el 67%

Conclusiones• El sistema de segmentación textonboost + CRF

denso otorga precisión suficiente para la detecciónde zonas de nidificación de aves

• Los CRF densos mejoran notablemente la precisión en la segmentación multi-clase bidimensional

Segmentación en tres dimensiones

Métodos y referencias• Segmentación en dos fases:

Segmentación basada en fusión de etiquetas y registro 

no rígido

Modelos de apariencia y 

reducción de ruido

LabelFusion de Platero y Tobar (UPM)

Adaptación a 3D de los CRF densos de Krähenbühl y 

Koltun (Standford)

Implementaciones• Códigos fuente proporcionados en las referencias

o Segmentación LabelFusion basada en patches implementada en MATLAB por Platero C. (ETSIDI-UPM)

o CRF densos en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)

• Programas desarrolladoso Conversores de imágenes MATLAB -> C++o CRF densos en tres dimensiones en C++o CRF densos en mexFunction para su ejecución en MATLAB

CRF densos 3D en C++• Pruebas sobre IBSR (Internet Brain Segmentation

Repository)

MexFunction• Implementa CRF denso y min-cut 3D• Biblioteca dinámica, con extensión *.mexw64• Desde MATLAB, se interpreta como un comando

Resultados IBSR• Comparativa de valores DICE

(promedio de los 18 pacientes)

o Potenciales unitarios: 0,8301 0,8372

o Potenciales unitarios + potenciales de adyacencia de Song:0,8334 0,8414

o Potenciales unitarios + potenciales densos:0,8340 0,8420

Conclusiones

Software público• Los programas empleados en este Trabajo Fin de

Grado se encuentran disponibles en el siguiente enlace:http://www.ieef.upm.es/joomla/index.php/grupos-

inv/vision-artificial

Gracias por su atención