Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

WORKSHOP ROBOT 2011

ROBOT QUIRÚRGICO AUTO-GUIADO PARA CIRUGÍA

MÍNIMAMENTE INVASIVA EN SOLITARIO

Grupo de Robótica Médica de la Universidad de Málaga

Dpto. Ingeniería de Sistemas y Automática

http://www.isa.uma.es

Universidad de Málaga (España)

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

CARACTERÍSTICAS DE LOS ASISTENTES ROBÓTICOS

Robots camarógrafos:

•Control de movimientos: Mediante estrategias de control o

por la estructura mecánica.

•HMI: Botoneras, joystick, movimientos de cabeza, voz o

teleoperación directa.

•Movimientos automáticos: seguimiento del instrumental.

Robots multibrazos:

•Teleoperación directa.

•Realimentación de fuerzas.

•Visión estereoscópica.

•Movimientos automáticos: control compartido

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ERM: DE LA INVESTIGACIÓN A LA PRODUCCIÓN

Pruebas

clínicasPruebas con

animales

Transferencia

de tecnología

Producto

comercial

2002 2004 2006 2009

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ROBOTS QUIRÚRGICOS

•Movimientos automáticos

•Reconocimiento de gestos

del cirujano

Robots camarógrafos

Robots semi-autónomos

Sistemas tele-robóticos

Nivel 1

Nivel 2

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ARQUITECTURA DEL CISOBOT

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ESTRATEGIA DE CONTROL

R

CO

S

RG

CG

OG

SG

Herramienta del Robot

Camera manejada por el Robot

Herramienta del cirujano Objetivo

Herramienta del Cirujano Obstáculo

Visión de Campo

Abdomen

Trayectoria del Robot

Problema de la navegación de la herramienta del Robot : Encontrar

un camino para que la herramienta del robot alcance la herramienta objetivo

manejada por el cirujano.

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ESTRATEGIA DE CONTROL

Decisión

Fuzzy

Planificación

de Caminos

Correción en

Velocidad

Movimiento

Retroceso

Σ

SISTEMA DE AUTO-GUIADO ( PLANIFICADOR LOCAL )

c1

c2

c3

v1

v2

v3

vobstáculovrobot

2

1

3

4

vobstáculo

vrobot

DECISIÓN FUZZY

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

RESULTADOS EXPERIMENTALES

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

TABLA DE EVENTOS, DETECCIÓN Y ACTUACIÓN

Evento Detección Actuación

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

RESULTADOS EXPERIMENTALES

Colisión con la herramienta del cirujano Colisión con el tejido

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

MODELO DEL CIRUJANO

Insertar Aguja Sujetar Tejido Agarrar Aguja

Maniobra: Secuencia específica de acciones básicas, modeladas

por medio de HMM.

Assistir Nudo Hacer nudo

Acción Básica: Interacción entre las herramientas quirúrgicas

manejadas por el cirujano.

Ángulo Distancia Velocidad herramienta

Izquierda

Velocidad herramienta

Derecha

Insertar Aguja

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

MODELO DEL CIRUJANO

Librería de Maniobras

Modelo de la Intervención

Procesado de Datos

SISTEMA DE RECONOCIMIENTO

Position and

Orientation

of the

Surgical Tool

Maniobras

HMMs

Última maniobra

desarrollada

Comando

de Voz

Maniobra Actual mediante

Comandos de Gestos

MANIOBRA

ACTUAL

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

EXPERIMENTOS IN-VITRO

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

RESULTADOS EXPERIMENTALES

Sistema de Adquisición de Datos

Sutura Corte Transporte

Sutura 150 10 0

Transporte 0 110 15

Corte 0 30 135

Reales

Aci

erto

s

Resultados en la ejecución de protocolos

Resultados en el reconocimiento de maniobras aisladas

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

ASISTENTE ROBÓTICO CISOBOT

Micrófono

Marcas en las

herramientas quirúrgicas

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

DEMOSTRADOR CISOBOT

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es

RESULTADOS TRANSFERIBLES

Desarrollo de un sistema de navegación que permite la ejecución de tareas

semiautónomas en colaboración con el cirujano.

Sistema de navegación auto-guiado capaz de reaccionar ante situaciones

diversas que puedan aparecer en un entorno de difícil acceso y con

limitaciones de movimiento para el robot, basándose en un conjunto de

comportamientos que incluye la planificación de movimientos.

Sistema de reconocimiento de maniobras quirúrgicas basado en Modelos

Ocultos de Markov que forman parte del interfaz multimodal, pudiéndose

reconocer tanto gestos quirúrgicos como comandos de voz.

Implantación de un sistema tolerante a fallos para mejorar la seguridad en

caso de anomalías en el comportamiento del sistema robótico.

Dep

art

am

en

to d

e In

gen

ierí

a

de

Sis

tem

as y

Au

tom

áti

ca

Víctor F. Muñoz Martínez

vfmm@uma.es