Dispositivos hápticos y cirugía robótica

Félix Monasterio-Huelin Maciá

robolabo.etsit.upm.es/haptico

A. Ciencia e historiaB. Dispositivos e Interfaces hápticos

Cinemática Modos de interacción

C. Sistemas hápticos Métodos de manipulación Métodos de control

D. Cirugía robótica

• Ciencia e historia• Dispositivos e Interfaces hápticos

Cinemática Modos de interacción

C. Sistemas hápticos Métodos de manipulación Métodos de control

D. Cirugía robótica

B) Dispositivos hápticos

● Producen la sensación de estar tocando realmente un mundo virtual o remoto. El objetivo ideal es que el operador no distinga entre lo real y lo virtual.

● Es un display de sensaciones hápticas. A veces se les llama displays hápticos.

Robots industriales: automatización de los procesos; sustitución de personas.

Interfaces hápticos: introduce los robots en entornos virtuales para aumentar la sensación de presencia, reproduciendo fuerzas de contacto y otras fuerzas: Mejoras de interacción Sentido de presencia Destreza en al manejo de objetos virtuales

• Normalmente trabajan en cooperación con realimentación visual. Reach-In integra gráficos 3D con un PHANToM.

• La realimentación háptica ofrece la posibilidad de utilizar sistemas robóticos como:– Herramientas de entrenamiento– Herramientas terapéuticas (reducción de temblores del cirujano)

• La investigación de dispositivos hápticos:– El origen es la teleoperación, pero ahora el “slave” remoto y el mundo que le

rodea es virtual (o computacional). Esto plantea problemas tecnológicos especiales.

– Son como robots, pero con la diferencia de que interactúan con seres humanos a través de la mano u otras partes anatómicas (extremidades, etc.) Puede haber un intercambio de conocimientos de la robótica a los dispositivos hápticos y viceversa.

Clasificación

• Dispositivos hápticos pasivos. Sin realimentación. Se programa la disipación como una función del espacio o del tiempo. (lazo abierto)

• Dispositivos hápticos activos. Con realimentación (lazo cerrado)– Isotónicos: Los actuadores actúan como una fuente de fuerza (variación de

esfuerzo) y se mide la posición. La fuerza no cambia con la posición. Corresponde al control de impedancia. Es como especificar una impedancia para producir una simulación.

– Isométricos: Los actuadores actúan como una fuente de posición y se mide la fuerza. La posición no cambia con la fuerza. Corresponde al control de admitancia.

• Los dispositivos hápticos se utilizan para reproducir entornos sintéticos, que sean pasivos. Pero hay aplicaciones en que se quiere que el entorno sea activo. Los dispositivos hápticos pasivos no pueden resolver estos problemas.

• La recreación de fenómenos mecánicos de importancia funcional y relevancia perceptiva.

• Tecnologías GUI (Graphical User Interfaces). Muestreo: Si en visión hacen falta unos 30 imágenes/s (30Hz), en lo háptico hacen falta señales del orden de 1Khz o superiores.

• La “cuestión del realismo”: reproducción literal o fiel de las tareas que se están realizando.

McGill UniversityCanada

PERCROItalia

• Intercambio de información simultánea entre el usuario y la máquina, a diferencia de la idea de realimentación de fuerza tras un movimiento. Uso de las capacidades y limitaciones de la percepción humana.

• Comunicación hombre-máquina: asociación del gesto con el tacto y cinestesia (enacción).

● Los dispositivos hápticos cambian las propiedades mecánicas de los objetos en una pantalla (comunicación bidireccional: el nombre display háptico no es adecuado), a diferencia del ratón y teclado que cambian las propiedades ópticas. Es necesario disponer de programas que simulen dichas propiedades mecánicas.

● Percepción animada o inanimada (Ballard), percepción activa o pasiva (Gibson), etc.

Clasificación de dispositivos hápticos

● Complejidad• Cinemática● Transmisión● Aplicaciones• Modalidades de interacción

Cinemática: mecanismos serie y paralelo

Cinemática: mecanismos serie y paralelo

Haptic Devices Based on Parallel Mechanisms. State of the Art

Lionel Birglenhttp://www.parallemic.org/Reviews/Review003.html

Mecanismos redundantes

MODALIDADES DE INTERACCIÓN

PERCRO Laboratory

I. De escritorio o de mesa (Desktop) 2D 3D

II. Ortopédicos o de vestimenta (Wearable) Exoesqueletos

● De escritorio o de mesa (Desktop)– 2D

● Lapiz (rehabilitación; ciegos; disfunciones sensomotrices)● Mesa (co-locación del puntero y herramienta: reduce el

esfuerzo mental, y permite utilizarlo como herramienta robótica)

● 3D: control de impedancia; interacción con entornos virtuales 3D en varios puntos de contacto.– 3DofJoy (teleoperación e interacción con entornos virtuales)– GRAB: 2 dedos. Alto grado de isotropía o fidelidad. Uso uniforme de

actuadores en el espacio de trabajo; inercia reflejada (percibida por el usuario) uniforme.

● Ortopédicos (exoesqueletos):– De brazo. L-Exos (se puede acoplar al H-Exos)– De mano. H-Exos

Survey of Haptic Interface Research at McGill University

Vincent Hayward

Proc. Workshop in Interactive Multimodal Telepresence Systems.

TUM, Munich, GermanyMarch 29-20, 2001. Pages 91-98.

(Invited Plenary Lecture).

I. Dispositivos planares Pantograph “2D and half” Devices

II. Dispositivos 3-D Six Axis DevicesIII. Displays táctiles: transmiten señales

mecánicas a la piel (estimulación táctil).IV. Exoesqueletos

Displays táctiles: transmiten señales mecánicas a la piel (estimulación táctil) Riqueza en detalles espaciales y temporales. Hay evidencia de que la transmisión de la forma de los objetos no genera percepciones correspondientes. “tact-cells”: los elementos se mueven dando no sólo sensaciones

temporales, sino también espaciales.

Exoesqueletos: guantes de realidad virtual

Levitación magnética. Ninguna parte móvil está en contacto con otra.

Cinemática híbrida. A partir de la muñeca: posición con 5 barras; orientación con tendones.

Isométrico

● Investigación de la confortabilidad mediante estudios biométricos, utilizando señales EMG

Fabricantes

A) SensAble Technologies.– SensAble focuses on high-end, 3D applications

(PHANToM)B) Immersion Inc.

– Immersion has thus far succeeded in the consumer games market. Recent acquisitions by Immersion, including Haptic Technologies, Inc., HT Medical Systems and Virtual Technologies, Inc., have allowed the company to expand its market base to include visually impaired computer uses and medical training.

A. http://www.sensable.com/

• http://www.sensable.com/products-haptic-devices.htm

• PHANTOM Omni Device• PHANTOM Desktop Device• PHANTOM Premium Devices• PHANTOM Premium 6DOF Devices

● Componentes del OpenHaptics Toolkit (http://www.sensable.com/products-openhaptics-toolkit.htm )

Efectores finales

● PHANToM● At the MIT Artificial Intelligence Laboratory, we have

been developing haptic interface devices to permit touch interactions between human users and remote virtual and physical environments.

● The Personal Haptic Interface Mechanism, PHANTOM, has evolved as a result of this research (Massie, 1993).

Observaciones que influyeron en el diseño de PHANTOM

1. Fuerza y movimiento son los signos hápticos más importantes.

2. La mayoría de las interacciones hápticas significativas implican pocos o ningún par (de fuerzas).

3. Es suficiente con un espacio de trabajo pequeño centrado en la muñeca.

1. El espacio libre debe sentirse (percibirse) libre.2. Los objetos virtuales sólidos deben sentirse

rígidos (stiffness = fuerza/longitud).3. Las restricciones virtuales no se deben saturar

con facilidad. Ejemplo: apoyarse en una pared y sentir que se atraviesa.

B. http://www.immersion.com/ http://www.immersion.com/3d/

• http://www.immersion.com/images/right/IM-simulators-tween2.gif • http://progressive.playstream.com/immersion/progressive/techcloseup.swf

● Our unique team of experts is skilled in modeling the anatomy and physiology of virtual patients, creating graphical renderings, designing haptic feedback and mechanical and electrical systems, and devising advanced control algorithms to simulate realistic navigation for surgical procedures. Secondly, we work with leading medical subject matter experts to help us perfect every aspect of our surgical simulators and the training environment that surrounds them.

● Estudios de evaluación:– http://www.immersion.com/medical/docs/gut_study.pdf – http://www.immersion.com/medical/docs/gut_study.pdf

● Hardware– CyberGlove® II wireless data glove NEW!

Immersion's award-winning hand-sensing glove – CyberForce® armature

World's first "desktop" whole-hand and arm force-feedback device – CyberGrasp™ exoskeleton

For reaching in and manipulating graphical objects with five-finger grasp force feedback – CyberTouch™ tactile feedback option for the CyberGlove system

Provides vibro-tactile feedback on your fingers and palm ● Software

– Our VirtualHand® line of real-time, 3D, hand-interaction software includes: – VirtualHand for V5 (CATIA)

Manipulate and feel your CATIA designs, as well as other CAD-model formats. – VirtualHand for MotionBuilder

Quickly capture accurate hand and finger movement from a CyberGlove II system into AutoDesk's MotionBuilder software (version 7). – VirtualHand SDK

Develop your own applications using our hand-interaction software development kit.

A. Ciencia e historiaB. Dispositivos e Interfaces hápticos

Cinemática Modos de interacción

C. Sistemas hápticos Métodos de manipulación Métodos de control

D. Cirugía robótica

3