INFORME TÉCNICO 2017 PROGRAMA ASTURIAS 2016-2017 … · la integración de tecnologías de...
Transcript of INFORME TÉCNICO 2017 PROGRAMA ASTURIAS 2016-2017 … · la integración de tecnologías de...
INFORME TÉCNICO 2017
PROGRAMA ASTURIAS – 2016-2017
Título actuación: Desarrollo y validación de
nuevas aplicaciones basadas en la integración
de tecnologías de realidad aumentada y realidad
virtual al proceso industrial
Nº Expediente: IDI/2016/000237
Entidad Beneficiaria:
Fundación PRODINTEC (CIF: G33914557)
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 2 de 52
ÍNDICE
A INTRODUCCIÓN ......................................................................................... 3
B CUMPLIMIENTO DE OBJETIVOS .............................................................. 4
C METODOLOGÍA .......................................................................................... 7
C.1 ACTIVIDADES REALIZADAS ......................................................................... 7
D RESULTADOS ALCANZADOS ................................................................. 11
D.1 RESULTADOS DEL HITO 1 .......................................................................... 11
D.1.1 Análisis de tecnologías y estado del arte ............................................... 12
D.1.2 Componentes y arquitectura del sistema ............................................... 13
D.2 RESULTADOS DEL HITO 2 .......................................................................... 17
D.2.1 Diseño de entornos virtuales y aumentados .......................................... 17
D.2.2 Desarrollo de las aplicaciones software ................................................. 24
D.2.3 Implementación de los casos de uso ..................................................... 30
D.3 RESULTADOS DEL HITO 3 .......................................................................... 38
D.3.1 Aplicación final ....................................................................................... 38
D.3.2 Pruebas y validación de las aplicaciones ............................................... 45
D.4 RESULTADOS DEL HITO 4 .......................................................................... 51
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 3 de 52
A INTRODUCCIÓN
La cuarta revolución industrial o “Industria 4.0” es una realidad. El concepto
subyacente de esta nueva realidad son los sistemas integrados y las instalaciones
inteligentes de producción, que son capaces de generar una convergencia digital entre
los fabricantes, el negocio y los procesos internos.
En aras de facilitar la convergencia digital entre las distintas áreas de negocio y
procesos internos de PRODINTEC, el presente proyecto pretende integrar la realidad
aumentada y realidad virtual en la actividad diaria de las áreas técnicas del Centro.
Desde la concepción de las piezas o elementos, hasta su fabricación, estas
tecnologías suponen un valor añadido y un modo integrado e interactivo de abordar el
análisis de funcionalidad, de viabilidad técnica y de fabricabilidad, y el control del
proceso productivo.
El objetivo del presente proyecto es, por tanto, el desarrollo y la validación de una
plataforma de realidad virtual y realidad aumentada que permita la convergencia y
el trabajo colaborativo entre las distintas unidades que participan dentro del proceso
característico de la industria (DISEÑO → INGENIERIA → FABRICACIÓN → VENTA).
El sistema desarrollado y las aplicaciones se implementarán y testearán en
PRODINTEC, habilitando un espacio a modo de instalación piloto y showroom en el
que, de un modo interactivo y realista, se demuestre cómo estas nuevas tecnologías
pueden aumentar la eficiencia de las tareas de diseño y cálculo de componentes y
disminuyendo el riesgo de error en esas fases y en la fabricación.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 4 de 52
B CUMPLIMIENTO DE OBJETIVOS
El objetivo general del proyecto es desarrollar y validar nuevas aplicaciones que
integren tecnologías de Realidad Virtual (RV) y Realidad Aumentada (RA) con las
tecnologías y actividad propia de entornos industriales, de tal manera que se
incremente la seguridad en entornos de trabajo colaborativos, se minimicen los riesgos
y se mejore la eficiencia del sistema productivo al incorporar tareas con un mayor valor
añadido.
Para alcanzar el objetivo general del proyecto, se han fijado una serie de objetivos
técnicos específicos, En la siguiente tabla se muestran dichos objetivos, así como el
nivel de cumplimiento alcanzado conforme a los trabajos realizados al término de la
anualidad 2017.
Tabla 1. Objetivos del proyecto y grado de cumplimiento de los mismos.
OBJETIVO Nivel de cumplimiento
Obj. 1. Análisis de requisitos y
definición de conceptos de
aplicación de la tecnología en
la industria.
Nivel de cumplimiento: 100 %
Justificación: se han definido casos de aplicación de las
tecnologías de RV y RA en el proceso productivo de
PRODINTEC, estableciendo arquitecturas, requisitos de
software, de hardware, de usuario, etc.
Obj. 2. RV para las tareas de
diseño, ingeniería y fabricación
de componentes y elementos
mecánicos funcionales.
Nivel de cumplimiento: 100 %
Justificación: se ha definido el caso de uso para visualizar
la información asociada al diseño de piezas generadas a
partir de software técnico (Caso I). Se ha desarrollado la
aplicación software y, gracias a diversas pruebas, se ha
llegado a su versión final. Esta versión final ha sido
implementada en el laboratorio RV-RA habilitado y ha
sido probado por técnicos expertos y operarios.
Obj. 3. RV en la simulación y
análisis de procesos de
producción.
Nivel de cumplimiento: 100 %
Justificación: se ha definido el caso de uso para la
utilización de la RV para la comprobación de información
generada a partir de software técnico empleado para la
simulación de comportamientos mecánicos de piezas
(Caso II). Se ha desarrollado la aplicación software y,
gracias a diversas pruebas, se ha llegado a su versión
final. Esta versión final ha sido implementada en el
laboratorio RV-RA habilitado y ha sido probado por
técnicos expertos y operarios. Se ha añadido un caso
adicional en la aplicación final, que permite utilizar las
máquinas de fabricación aditiva, montaje y
desempaquetado.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 5 de 52
OBJETIVO Nivel de cumplimiento
Obj. 4. RA para procesos de
mecanizado y fabricación
aditiva.
Nivel de cumplimiento: 100 %
Justificación: se ha identificado la información asociada y
comenzado con el diseño de un caso de uso basado en el
empleo de tecnología de RA para la visualización de
información relacionada con procesos de fabricación de la
entidad como la fabricación aditiva (CASO III).
Obj. 5. RA para visualización
de la información de peligro y
realización de tareas
colaborativas.
Nivel de cumplimiento: 100 %
Justificación: se ha implementado dentro de la aplicación
de RA, la incorporación de mensajes que alertara de
peligros en la ejecución de las tareas.
Obj. 6. Instalación piloto y
transferencia tecnológica de
los resultados obtenidos.
Nivel de cumplimiento: 100 %
Justificación: se ha habilitado la sala que alojará el
laboratorio, se han instalado y comprobado todos los
elementos tecnológicos que lo conforman. Se han
realizado múltiples pruebas para validar la tecnología. En
resumen, el demostrador tecnológico está listo.
En la siguiente tabla se resumen los indicadores considerados para el seguimiento y
monitorización del grado de avance del proyecto y sus objetivos, así como el nivel de
cumplimiento alcanzado en diciembre de 2017:
Indicador 1. Finalización de estudios previos de tecnologías de RV y RA,
arquitectura y aplicaciones: 100 %. Completados entregables asociados:
E.1.1.Informe de estado de la técnica y E.1.2.Informe de componentes y
arquitectura del sistema.
Indicador 2. Desarrollo del middleware necesario entre el software CAD
3D y las librerías de programación para RV: 100%. Se han diseñado las
pantallas y funciones de las soluciones así como las operativas para el
tratamiento de la información en el caso de uso de diseño.
Indicador 3. Desarrollo del middleware necesario entre el software FEM y
las librerías de programación para RV: 100%. Se han diseñado las pantallas
y funciones de las soluciones así como las operativas para el tratamiento de la
información en el caso de uso de ingeniería.
Indicador 4. Calibración del posicionamiento de información para su
visualización en RA (Septiembre 2017): 100 %. Se han desarrollado las
aplicaciones relativas a la identificación de los códigos QR en el entorno real y
a la adaptación del hardware en este entorno.
Indicador 5. Aplicación de RV desarrollada y validada, aplicable en la
industria en tareas de diseño e ingeniería: 100%. Las aplicaciones finales de
Realidad Virtual, incluyendo software desarrollado y el hardware asociado, han
sido implementadas para el Caso de uso I (diseño) y II (ingeniería). Los
técnicos expertos y operarios han probado y validado la tecnología para la
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 6 de 52
ejecución de sus tareas diarias, comprobado que es una herramienta efectiva
en su día a día.
Indicador 6. Aplicación de RA desarrollada y validada, aplicable en la
industria en tareas de análisis y control de los procesos de producción
(Diciembre 2017): 100%. Se ha implementado la aplicación para tareas
relacionadas con el análisis y control de los procesos de producción en el taller
de las instalaciones.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 7 de 52
C METODOLOGÍA
C.1 ACTIVIDADES REALIZADAS
A continuación se resumen las acciones realizadas en cada tarea y su estado al final
de la anualidad 2017.
PT1. DISEÑO DEL SISTEMA
Tarea 1.1. Análisis de requisitos del proceso y estudio de tecnologías
Esta tarea se ha realizado íntegramente en la anualidad 2016. En ella se ha llevado a
cabo un análisis del proceso productivo de PRODINTEC relativo a la fabricación
aditiva o prototipado rápido, con el fin de identificar posibles puntos de integración de
las tecnologías de RV y RA. Así, para los diferentes equipamientos se evaluaron los
flujos de información y de materiales que intervienen en el proceso y los
potenciales datos que serían de apoyo al técnico de producción para asegurar un
control adecuado del proceso.
Por otro lado, también se han analizado las principales herramientas software que
intervienen en la fase de diseño e ingeniería de PRODINTEC y que, a su vez, estén
basados en el tratamiento de información 3D de piezas. Esta información se cruzó con
las diferentes alternativas de importación ofrecidas por los programas de modelado 3D
virtual (Blender) y el entorno de desarrollo y motor gráfico (Unity) que serán utilizados
en los desarrollos asociados al proyecto.
Dada la novedad de la tecnología en entornos industriales y de ingeniería, a lo largo
de esta tarea también se llevó a cabo un estudio de las aplicaciones y tecnologías
existentes, analizando aspectos como: su arquitectura, software de ingeniería
empleado, sistemas y dispositivos de visualización, conexiones existentes, entre otros
aspectos.
Tras recabar y analizar información asociada a las operativas de trabajo actual en la
organización, se establecieron los tres casos de uso a tener en cuenta para los
siguientes trabajos.
Tarea 1.2. Componentes y arquitectura del sistema
Tarea realizada íntegramente en la anualidad 2016, en la que se evaluaron los
requerimientos a nivel de sistema y también a nivel de usuario para cada uno de los
tres casos de estudio definidos. En relación a dichos requisitos se llevó a cabo el
diseño de la arquitectura del sistema, identificando los componentes de la solución,
el conexionado necesario para su funcionamiento y el procedimiento de comunicación.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 8 de 52
ENTREGABLES:
E1.1. Informe del estado de la técnica Es un informe exhaustivo de las tendencias
actuales incluyendo las principales líneas de actuación y conclusiones. Un resumen de
sus resultados, se recoge en el apartado D.1.
E1.2. Informe de componentes y arquitectura del sistema
Es el informe que recoge los diagramas y los modelos UML que guiarán el
comportamiento esperado del sistema. Un resumen de los resultados principales
logrados en 2016, se detallan en el apartado D.1.
PT2. DESARROLLO DE ENTORNOS Y APLICACIONES
Tarea 2.1. Diseño de entornos virtuales y aumentados
Durante la anualidad 2016 se comenzó con el diseño preliminar de pantallas y
principales funciones a implementar para el CASO I “Visualización de piezas 3D
mediante RV” y para el CASO III “Visualización de información de máquina mediante
RA”. Además, teniendo en cuenta los elementos y componentes necesarios, se
concibió la distribución de elementos óptima y su configuración dentro del
laboratorio de realidad virtual y realidad aumentada donde físicamente serían
implementados los diferentes escenarios planteados en los casos de uso. Una vez que
los componentes fueron recepcionados e instalados, se procedió con la configuración
de los diferentes elementos en el laboratorio físico, comprobando la correcta
disposición y funcionamiento de los diferentes componentes. Se realizó un estudio de
diferentes metodologías de desplazamiento dentro del entorno virtual por parte del
usuario y, además, se llevaron a cabo ensayos preliminares con modelos de
CAD3D para identificar posibles requisitos asociados a la importación y tratamiento de
la información desde el entorno de desarrollo de RV.
En la anualidad 2017 se procedió a desarrollar virtualmente el entorno del laboratorio,
utilizando para ello un escáner disponible en las instalaciones de PRODINTEC. La
nube de puntos generada por el escáner se trató para su optimización y se crearon
diversas texturas. Igualmente, se crearon escenarios virtuales a partir de las opciones
del Unity (por ejemplo, la vitrina para visualizar las piezas). Otros elementos del
entorno (por ejemplo, las máquinas de fabricación aditiva y post-procesado) se
diseñaron en un software externo (Rhinoceros) y fueron sometidas a un proceso de
optimización para reducir su número de vértices (usando el softwarwe Blender) y
lograr que pudieran ser utilizadas en Unity en los casos de uso. Como se indica en la
descripción de la siguiente tarea, esta optimización fue totalmente necesaria porque,
sin ella la aplicación se ralentizaría y no sería atractiva ni útil para los usuarios.
En resumen, durante 2017 se completaron los diseños de las aplicaciones de realidad
virtual y realidad aumentada para cada uno de los casos de uso definidos. El detalle
de esta tarea se recoge en el apartado D.2.1.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 9 de 52
Tarea 2.2. Desarrollo de las aplicaciones software
Durante la anualidad 2017, las aplicaciones software se han desarrollado conforme a
los diseños indicados en la tarea anterior y según las condiciones de cada uno de los
casos de uso. Se ha detallado el entorno y funcionalidades de cada uno de los casos
de aplicación, y se ha desarrollado el código (software) que permita el funcionamiento
de las aplicaciones de cada caso. Este software se testeó en las pruebas de
implementación de la tarea 2.3, de tal manera que, a la vista de dichas pruebas, el
código se iba optimizando. El detalle de las actividades realizadas se muestra en el
apartado de resultados del hito pero algunas cuestiones que se pueden mencionar en
esta línea son: realización de importadores (programación de objetos) de las piezas a
visualizar en los casos de RV ya que si no el Unity no era capaz de mostrar dichas
piezas, al ralentizarse; necesidad de crear el código basándose en el concepto de
hilos y co-rutinas para no pasar el límite de frames por segundo aceptable por el Unity
para que pueda funcionar con normalidad; necesidad de realizar ajustes y
compatibilidades en librerías del dispositivo de RA para que éste pudiera detectar y
leer el código QR.
Éstos han sido mejorados a medida que se implementaban desde la tarea 2.3,
ajustando el software para evitar incompatibilidades detectadas en la implementación
real. El detalle de esta tarea se recoge en el apartado D.2.2.
Tarea 2.3. Implementación de los casos de uso
Durante la anualidad 2017, las aplicaciones software desarrolladas en la tarea anterior
se han implementado en el entorno real. Es decir, una vez se disponía de los
desarrollos software, estos se han probado junto con el hardware.
Las pruebas de RV (Caso I y Caso II) han demostrado que, aunque el desarrollo
software era correcto, desde el punto de vista de la operativa (lentitud en el uso,
importación de piezas, etc.) eran necesarios una serie de ajustes, realizados en parte
en este hito y en parte en el hito 3. Para el caso de la aplicación de RA (Caso III), hubo
que hacer una serie de ajustes para que el sistema se ubicara de manera correcta en
el entorno real e identificara de manera adecuada los códigos QR básicos para la
correcta proyección de la aplicación. Gracias a estas pruebas de implementación, en
este hito y en el hito 3 se hicieron los ajustes pertinentes para lograr la aplicación final.
Nótese que, para ambos casos, el objetivo del Hito 2 era disponer de una versión
operativa, que durante el Hito 3 pudiera refinarse, especialmente en lo relativo a la
aceptación del usuario y comentarios sobre las aplicaciones.
Las versiones beta de los casos de uso logradas se detallan en el apartado D.2.3,
siendo los resultados de este paquete de trabajo las versiones beta de las aplicaciones
software (E2.1, E2.2 y E2.3).
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 10 de 52
ENTREGABLES:
E2.1. Versión beta de la aplicación de realidad virtual desarrollada para diseño
Es la primera versión de la aplicación que muestra el desarrollo para el caso de uso de
RV para diseño antes de realizar las pruebas de validación y la integración en
profundidad. Un resumen se recoge en el apartado D.2.3.
E2.2. Versión beta de la aplicación de realidad virtual desarrollada para
ingeniería
Es la primera versión de la aplicación que muestra el desarrollo para el caso de uso de
RV en ingeniería antes de realizar las pruebas de validación y la integración en
profundidad. Un resumen se recoge en el apartado D.2.3.
E2.3. Versión beta de la aplicación de realidad aumentada implementada para el
control de procesos de producción de PRODINTEC
Es la primera versión de la aplicación que muestra el desarrollo para el caso de uso de
RA en el control de procesos de producción antes de realizar las pruebas de validación
y la integración en profundidad. Un resumen se recoge en el apartado D.2.3.
PT3. INTEGRACIÓN Y VALIDACIÓN
Tarea 3.1. Integración hardware y software y Tarea 3.2. Pruebas y validación
Ambas tareas están muy relacionadas y por ello se indica conjuntamente su contenido.
Así pues, durante la anualidad 2017, se han recogido todos los trabajos realizados
para obtener la aplicación final (software) en los casos de estudio seleccionados. Esto
ha incluido asegurar que los elementos hardware funcionaran perfectamente junto con
dichos desarrollos software.
Una vez realizada dicha integración, se procedió a realizar las pruebas de la
tecnología para su validación con técnicos expertos y operarios para cada uno de los
casos de estudio de aplicación. Estas pruebas han ayudado a mejorar la aplicación
final en cada uno de los casos, logrando así las versiones finales de las aplicaciones,
es decir, los entregables de este paquete de trabajo (E3.1, E3.2 y E3.3). El detalle se
puede encontrar en el apartado D.3.
ENTREGABLES:
E3.1. Versión final de la aplicación de realidad virtual desarrollada para diseño
Es la aplicación final que muestra el desarrollo para el caso de uso de RV para diseño.
Un resumen se recoge en el apartado D.3.
E3.2. Versión final de la aplicación de realidad virtual desarrollada para
ingeniería
Es la aplicación final que muestra el desarrollo para el caso de uso de RV en
ingeniería. Un resumen se recoge en el apartado D.3.
E3.3. Versión final de la aplicación de realidad aumentada implementada para el
control de procesos de producción de PRODINTEC
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 11 de 52
Es la aplicación final que muestra el desarrollo para el caso de uso de RA en el control
de procesos de producción. Un resumen se recoge en el apartado D.3.
PT4. DIFUSIÓN Y EXPLOTACIÓN
Tarea 4.1. Difusión de resultados
Se han realizado una serie de tareas de difusión que han servido para presentar este
proyecto y por tanto, mostrar las capacidades de la entidad. Las acciones llevadas a
cabo se recogen en el entregable E4.1 y un resumen de las mismas se puede
encontrar en el apartado D.4.
Tarea 4.2. Plan de negocio y explotación
Por otro lado, PRODINTEC ha identificado a múltiples empresas interesadas en los
desarrollos del proyecto y que pertenecen a diversos sectores, si bien también se han
identificado diversos perfiles de empresas en varios sectores. Igualmente ha
desarrollado un modelo Lean Canvas como posible modelo de negocio de esta
solución, en el corto plazo como en el medio-largo plazo, con nuevos desarrollos que
pudieran llevarse a cabo.
ENTREGABLES:
E4.1. Resumen de las acciones de difusión
Es un informe en el que se resumen las acciones de difusión asociadas con esta
tecnología RV-RA. Los resultados se detallan en el apartado D.4.
E3.2. Listado de clientes potenciales
Es un informe en el que se recoge el listado de clientes potenciales interesados en las
tecnologías RV y RA utilizadas en este proyecto. Los resultados se detallan en el
apartado D.4.
D RESULTADOS ALCANZADOS
A continuación se describen los resultados obtenidos en la anualidad 2017, incluyendo
un resumen de los principales resultados de 2016 asociados a cada uno de los HITOS
en los que se ha trabajado.
D.1 RESULTADOS DEL HITO 1
Los resultados de este hito, se obtuvieron en la anualidad 2016 por lo que se incluye
únicamente un resumen de los principales resultados del proyecto, ya detallados
ampliamente en la memoria de la anualidad anterior.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 12 de 52
D.1.1 Análisis de tecnologías y estado del arte
Este apartado recoge la información asociada al entregable E1.1. Informe del estado
de la técnica y otros resultados asociados.
D.1.1.1 Análisis proceso productivo y requisitos de información
Durante la anualidad 2016, se realizó un análisis del proceso productivo de
PRODINTEC relativo a la fabricación aditiva o prototipado rápido, identificando los
diferentes equipamientos empleados y flujos de información y de materiales actuales.
En cada caso, se han identificado las variables relevantes de proceso que pudieran
con el fin de identificar datos que, mediante la aplicación de tecnologías de RV y/o RA,
pudieran ser de interés para un mejor control del proceso productivo por parte del
operario.
De este modo, las tecnologías estudiadas han sido: Prototipado rápido, SLS
(Selective Laser Sintering) y DMLS (Deposition Metal Laser Sintering). En cada
tecnología, se ha tenido en cuenta el software relacionado, los proveedores y el
equipo, los materiales, las variables relevantes del proceso, si usa soportes y la
necesidad de post-procesado.
Con carácter más general, también se identificó información de apoyo relacionada
con los procedimientos de trabajo y que pudiera por tanto ser parte de la
información a visualizar por el operario mediante el uso de dispositivos, por ejemplo,
de realidad aumentada.
D.1.1.2 Análisis de software técnico 3D y compatibilidad con SW de realidad
virtual
Igualmente, en 2016, se estudió la compatibilidad de archivos teniendo en cuenta los
formatos de exportación posibles desde cada software técnico y, por otro lado, los
formatos de importación al software de modelado 3D virtual (Blender) y el entorno de
desarrollo y motor gráfico (Unity). Teniendo en cuenta la información anterior, y tras
evaluar diferentes programas de diseño CAD3D y simulación, se determinaron cuáles
de los programas de software disponibles en PRODINTEC resultaron compatibles para
ser utilizados como input de entrada para generar o ser parte de un entorno virtual.
Con este análisis, se identificó que los principales formatos exportables desde los
programas técnicos CAD3D de PRODINTEC son compatibles con Blender, aunque no
todos con el Unity. Con este estudio se detectó la importancia de tener en cuenta las
diferentes compatibilidades ya a nivel de versiones entre los diferentes programas.
Así, por ejemplo, los archivos VRML (.wrl) para ser compatibles con Blender deben ser
de la versión 2.0.
D.1.1.3 Estudio de tecnologías de RV y RA
En 2016, también se realizó un estudio de las tecnologías de RV y RA, analizando
aspectos como arquitectura, software de ingeniería empleado, sistemas y dispositivos
de visualización, conexiones existentes, etc.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 13 de 52
Para el caso de los dispositivos existentes de Realidad Aumentada, las gafas
HOLOLENS son la única solución disponible en el mercado que puede ser de
aplicación para los propósitos del proyecto. Para el caso de la Realidad Virtual, hay
más opciones, tales como gafas OCULUS RIFT, HTC VIVE, SONY PLAYSTATION
VR o SAMSUNG GEAR VR.
En lo que respecta a las arquitecturas, también se han estudiado las diversas
opciones. En el caso de Realidad Virtual, las principales conclusiones con respecto a
sus arquitecturas de RV, cabe destacar:
Las aplicaciones mayoritarias en el ámbito de la industria son para la formación
y entrenamiento de actividades y la visualización de datos complejos y
simulaciones.
De las investigaciones referenciadas, las que hacen mención a la arquitectura
del sistema, proponen etapas de toma de datos e información del entorno,
digitalizado y/o modelado de los mismos y luego la generación de entornos
para la visualización de la información en cuestión. Esto es lo que se ha
propuesto para los CASOS I y II donde la RV constituirá un medio para la
mejora de la fase de diseño.
Para el caso de las arquitecturas de RA, en la bibliografía se ha encontrado lo
siguiente:
Las aplicaciones mayoritarias en el ámbito de la industria son para tareas de
montaje y mantenimiento, de formación y entrenamiento de personal aunque
también hay algunas referencias muestran la aplicación de esta tecnología en
el ámbito del diseño y cálculo de componentes o elementos y procesos de
producción.
De las investigaciones referenciadas, las que hacen mención a la arquitectura
del sistema, reflejan como necesarios tres niveles en las aplicaciones: (1) un
primer nivel para la generación de los contenidos a proyectar, (2) un nivel de
visualización y (3) un sistema de almacenamiento de datos, es decir servidor y
BBDD. Para la visualización de la información se podrían emplear tanto
dispositivos móviles como tabletas o móviles como gafas de RA (Hololens).
D.1.2 Componentes y arquitectura del sistema
Este apartado recoge el contenido del entregable E1.2. Informe de componentes y
arquitectura del sistema y otros resultados asociados.
D.1.2.1 Componentes del sistema
Como ya se indicó en 2016, para la implementación física de los escenarios o casos
de estudio planteados, se concibió la configuración del laboratorio de realidad
virtual y realidad aumentada que responde al esquema que se muestra en la
siguiente Figura 1, donde también se pueden observar los componentes del mismo.
Para instalarlo, se reservó un espacio físico, resultante de unir dos salas.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 14 de 52
Figura 1. Distribución en planta de laboratorio RV y RA
El laboratorio se divide en dos partes: una de trabajo y otra de demostración. En la
parte de trabajo está el PC sobre el que se va a programar y modelar las soluciones.
Además de contar con el proyector 3D, los armarios en los que se guardan todos los
dispositivos y un par de escritorios. La parte de demostración será la zona de uso del
HTC Vive y cuenta con un televisor y un proyector 3D, en los que se pueda compartir
la información que en cada momento esté siendo visualizada por el usuario de un
determinado dispositivo. En la distribución también se ha tenido en cuenta la
necesidad de disponer de un área libre de obstáculos suficiente para permitir el
movimiento libre del usuario. A su vez, se han evaluado aspectos para asegurar un
ángulo de visión óptimo y evitar choques, requisitos del sistema de audio para una
adecuada inmersión del usuario, etc.
Todos los equipos, tanto las Oculus Rift, como las HTC Vive o incluso la pantalla de
televisión, están conectados al ordenador central, desde el que se pueden manejar
con el software pertinente instalado. Una vez recepcionados los componentes e
instalados, se procedió con la configuración de los diferentes elementos en el espacio
físico seleccionado, verificando el correcto ajuste y funcionamiento de los
diferentes componentes. El detalle del resultado, corresponde a los trabajos
realizados en 2017 y su detalle se puede ver en el apartado D.3.1.3.
D.1.2.2 Selección de casos de uso, componentes y arquitectura del sistema
Ya durante 2016, se establecieron como prioritarias 3 posibles aplicaciones o casos
de uso y, para cada uno de ellos, se evaluaron los diferentes requerimientos del
sistema y del usuario. Debido a su importancia, a continuación se resume cada caso,
habiendo sido presentado el detalle de su arquitectura en la anualidad 2016.
CASO I: Visualización información 3D de piezas (RV). El objetivo de este caso de
aplicación es el de visualizar piezas y modelos 3D utilizando dispositivos de realidad
virtual. El caso de uso consiste en crear un visualizador de piezas y modelos 3D en
tecnología RV y, tras los avances realizados en la anualidad 2017, el dispositivo
empleado para ellos pueden ser las gafas de realidad virtual Oculus Rift y los mandos
Oculus Touch o bien las Gafas HTC Vive con los Mandos HTC.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 15 de 52
Es decir, el caso de uso que se ha logrado en la anualidad 2017 es multiplataforma, ya
que se ha utilizado el plug-in SteamVR en los desarrollos y en las pruebas realizadas
en esta anualidad, se ha comprobado que SteamVR permite que la aplicación
desarrollada se pueda usar indistintamente con ambas parejas de
dispositivos/mandos. Como entorno de desarrollo se utilizó el software Unity, al contar
con las librerías necesarias para programar en un entorno de realidad virtual
entendible para los dispositivos mencionados.
CASO II: Visualización información 3D simulaciones mediante Realidad Virtual.
El objetivo de este caso de uso consiste en crear un visualizador de modelos
tridimensionales con datos generados a partir del software de simulación de
comportamientos de piezas y/o de fluidos. Los resultados de este software (ANSYS)
muestra fundamentalmente aspectos como reparto de cargas mecánicas,
aerodinámicas, etc. Dichos resultados se muestran como una escala de colores sobre
la pieza, en función del resultado buscado. El caso de uso consiste por tanto en crear
un visualizador de modelos tridimensionales con datos generados a partir de software
técnico de simulación empleados durante el proceso de ingeniería (imagen
tridimensional de la pieza), siendo clave conseguir en la visualización la escala de
colores según los resultados aportados por el software ANSYS. Al igual que para el
caso anterior, tras los avances realizados en la anualidad 2017, en este caso se
pueden emplear dos dispositivos: las gafas de realidad virtual Oculus Rift y los mandos
Oculus Touch, o las Gafas HTC Vive con los Mandos HTC.
En este caso se empleó Unity 3D como motor gráfico y entorno de desarrollo, dado
que incluye las librerías necesarias para SteamVR y OpenVR, que son los sistemas
usados por HTC Vive. No obstante, como se ha indicado anteriormente, gracias al uso
de SteamVR, la aplicación desarrollada sirve tanto para los dispositivos HTC Vive
como Oculus Rift. Como ya se indicó en la anualidad 2016, se eligió Visual Studio para
el desarrollo de la algorítmica, dado que admite una integración mayor con el lenguaje
de programación C#, con el framework .NET y con el sistema operativo Windows
Nótese que, en el desarrollo de los casos de uso, se ha hecho una aplicación adicional
para análisis y simulación de sistemas de producción, basándose en los casos I y II.
Es decir, no sólo se pueden visualizar las piezas sino que hay una opción adicional
que permite visualizar procesos de fabricación (por ejemplo, fabricación aditiva, etc.).
CASO III: Visualización información de máquinas (RA). El objetivo que se persigue
se centra en mostrar información utilizando dispositivos de realidad aumentada, de
modo que los operarios puedan controlar los procesos y sistemas productivos. En este
caso, como dispositivos de RA se usan las gafas de realidad aumentada desarrolladas
por Microsoft y conocidas como Hololens.
Como ya se indicó en la anualidad 2016, respecto al entorno de desarrollo, se decidió
utilizar Unity y Visual Studio 2015 (Update 3), y como lenguaje de programación C#.
Se ha decidido utilizar esos entornos de desarrollo por su nivel de profundidad técnica
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 16 de 52
y, en el caso de Visual Studio, además se ha tenido en cuenta que es una herramienta
utilizada a diario en múltiples desarrollos de PRODINTEC y que además es un
producto también de Microsoft, siendo compatible con Hololens. En efecto, estos
dispositivos cuentan con su propio SDK compatible completamente con Unity y Visual
Studio.
En la anualidad 2017 se avanzó en el desarrollo de la aplicación, de tal manera que
los equipos de producción son reconocidos a través de un código QR que lleva a la
“Data storage” donde se encuentra la base de datos. De este modo, a través del
software visualizador, desde las gafas el operario ve información sobre los datos de
proceso en las máquinas. De hecho el operario verá dos tipos de información y a su
vez, podrá interaccionar con la aplicación desarrollada:
Alertas: el operario puede recibir alertas en la propia aplicación que le
informarán de incidencias o peligros que puedan existir.
Datos de procesos: el operario verá las tareas que debe desarrollar en el
equipo, y desde planificación le informarán de la urgencia o prioridad.
A modo de resumen, en la siguiente Tabla 2 se incluye la información más relevante
definida respecto a los diferentes casos de estudio. Cabe destacar que para los casos
I y II, la aplicación desarrollada finalmente es multiplataforma gracias a la utilización
del plug-in SteamVR, por lo que se pude utilizar indistintamente con cualquiera de los
dispositivos indicados: Gafas Oculus Rift o Gafas HTC Vive.
Tabla 2. Resumen de requisitos de los casos de estudio.
CASO I CASO II CASO III
Objetivo Visualizar piezas y modelos 3D
Visualización datos simulación
Visualizar datos máquinas
Entorno de desarrollo
- Unity
- Visual Studio 2015
- Librería IOpen VR
- Unity 3D
- Visual Studio
- Librería Steam VR
- Librería Open VR
- Unity
- Visual Studio 2015
- SDK Hololens
Lenguaje programación
C# C# C#
Datos de entrada Fichero CAD3D Pieza Fichero CAD3D simulación
Información de procesos para máquinas
Dispositivos Aplicación multiplataforma: Gafas Oculus Rift + Gafas HTC Vive
Gafas Hololens
Sistema reconocimiento
Mandos Oculus (para gafas Oculus Rift) para reconocimiento gestual operario / Mandos HTC (para Gafas HTC Vive) para reconocimiento gestual operario
Códigos QR o LEDs de reconocimiento de máquinas
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 17 de 52
D.2 RESULTADOS DEL HITO 2
D.2.1 Diseño de entornos virtuales y aumentados
Durante la anualidad la anualidad 2016 se hizo un diseño preliminar de los entornos
virtuales y aumentados si bien fueron completados y finalizados durante la anualidad
2017.
D.2.1.1 Diseño de entornos virtuales
Para el caso de la Realidad Virtual, y basándose en la estructura de la sala definida
en la Figura 1, una vez se implementaron las inversiones asociadas a este laboratorio
de Realidad Virtual y Aumentada (número de expediente IDI/2016/000252), se
dispusieron todos los elementos en la misma.
D.2.1.1.1 Sala del Laboratorio de RA-RV
Una vez se tuvieron instalados en la sala todos los elementos en la disposición
deseada, se utilizó otro equipamiento adquirido por medio de otra inversión (número
de expediente IDI/2016/000256), el Escáner FARO. Utilizando este equipamiento, se
escaneó la sala donde se instala el Laboratorio de Realidad Virtual y Aumentada.
Como resultado de ello, se obtuvo una nube de puntos (Figura 3), que posteriormente
fue tratada y modelada hasta obtener la imagen 3D necesaria para poder utilizar en el
desarrollo. Una vez se trató y modeló, el resultado de la imagen en la aplicación de
Realidad Virtual resulta como se muestra en la Figura 8. En el apartado D.2.2 se
detalla la necesidad de replicar esta sala debido al método de desplazamiento utilizado
en Realidad Virtual.
A continuación se detalla el proceso aplicado para obtener una representación lo más
precisa posible del emplazamiento real del entorno del Laboratorio de Realidad Virtual
– Realidad Aumentada. En la Figura 2 se muestran los pasos seguidos para obtener
en entorno de la sala del laboratorio y los principales elementos (hardware o software
usados en cada uno de ellos).
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 18 de 52
Figura 2. Proceso de obtención de la imagen de la sala de RA-RV
A continuación se presenta el detalle de cada uno de los pasos.
PASO 1. ESCANEAR. Como se ha indicado, para el proceso de obtención de datos
se usa el láser escáner FOCUS 3Dx con HDR de FARO. Los datos generales de dicho
escáner se presentan en la Tabla 3:
Tabla 3. Características escáner utilizado.
Escáner láser FOCUS 3Dx con HDR. FARO
Rango (m) 0.6 - 130
Error (mm) ± 2
Ruido (mm) 0.3 @ 10m
Resolución (mm) 1.5 @ 10m
Software Faro Scene
El propósito de un escáner 3D es, de forma general, crear una nube de puntos a partir
de muestras geométricas en la superficie del objeto. Estos puntos se usan para
extrapolar la forma del objeto (reconstrucción). Puede incluir también información de
color en cada uno de los puntos. El modelo que se obtiene con un escáner 3D
describe la posición en el espacio tridimensional de cada punto analizado. Por lo
general se requieren varias tomas desde diferentes direcciones, para obtener
información de todos los puntos del objeto. El funcionamiento general se basa en lo
siguiente:
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 19 de 52
1. A través de un haz láser, el escáner calcula la distancia, desde el emisor hasta
un punto de un objeto al alcance de su trayectoria.
2. Mediante uno o varios espejos giratorios, el escáner hace incidir dicho haz
láser en puntos dentro de una zona del espacio, proporcionando así la
distancia a todos esos puntos.
3. La nube generada contiene información sobre la distancia entre sí de los
distintos puntos del objeto
4. Para orientar las tomas generadas con el escáner, se utilizan aplicaciones
software con el que se obtiene un modelo 3D.
En cuanto a la tecnología utilizada, se distinguen dos tipos de escáneres; con o sin
contacto.
Los escáneres con contacto examinan el objeto apoyando el elemento de
medida sobre la superficie del mismo lo que provoca que pueda ser dañado o
modificado.
Los escáneres sin contacto permiten detectar la estructura de uno o varios
elementos sin modificar su configuración. Dentro de los escáneres sin contacto
se diferencia entre escáneres activos o pasivos.
o Los activos emiten algún tipo de señal y analizan su retorno a fin de
obtener la geometría de un objeto o escena. Se pueden utilizar
radiaciones electromagnéticas o ultrasonidos y se puede distinguir entre
tiempo de vuelo, triangulación láser, diferencia de fase, holografía
conoscópica, luz modulada y luz estructurada.
o Los pasivos detectan la radiación reflejada en el ambiente. La mayoría
detectan la luz visible ya que es una radiación disponible en el
ambiente. Pueden utilizarse otros tipos como el infrarrojo. Suelen ser
más económicos que los pasivos ya que no precisan casi en ningún
sitio un hardware particular.
En el caso del escáner láser de Faro utilizado en este proyecto, se trata de un escáner
sin contacto basado en tiempo de vuelo (activo). Es decir, mide el tiempo transcurrido
entre la luz emitida y la recibida y utiliza dicha medida para estimar la distancia al
objeto. El haz láser emitido es continuo y de potencia modulada. Su precisión depende
de la modulación y frecuencia utilizada. Como característica adicional al escaneo,
permite realizar fotografías con las que componer una imagen panorámica 360º con la
que asignar color a la nube obtenida en el paso anterior. Una vez aplicado el láser
escáner para el procesamiento completo de la sala, se obtiene una nube de puntos
como la mostrada en la Figura 3 y que deberá ser procesada en el siguiente paso.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 20 de 52
Figura 3. Nube de puntos del Laboratorio de Realidad Virtual y Aumentada y dimensionamiento
del espacio escaneado
Cabe destacar que para lograr dicha nube de puntos, el dispositivo láser se emplazó
en el punto indicado en la Figura 4.
Figura 4. Procesamiento de los datos escaneados.
PASO 2. PROCESAR. En la Figura 5 se puede observar tanto el escáner como el
software empleado (del propio FARO, Faro Scene) para gestionar los puntos
obtenidos en la etapa anterior.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 21 de 52
Figura 5. Dispositivo y software para el escáner láser.
El software Faro Scene ha sido diseñado de forma específica para los escáneres láser
Focus. Permite procesar y administrar datos de escaneo de manera eficiente mediante
el registro en tiempo real, el reconocimiento automático de objetos, el registro de
escaneo y el posicionamiento.
Una vez obtenida la nube de puntos asociada al laboratorio (paso 1), se observa que
está formada por 43.162.145 puntos, ocupando un espacio de 1.67 GB por lo que se
procede a reducirla para facilitar su manejo a la hora de modelar los objetos
contenidos en el espacio. Para ello se utiliza el software CloudCompare,
multiplataforma y de código abierto, que permite el procesamiento de imágenes. De
esta forma, se ha obtenido una nube de puntos compuesta por 4.624.747 puntos y
ocupando un espacio de 66 MB. En la Figura 6 se muestra un detalle de la nube de
puntos antes y después del procesado.
Figura 6. Nube de puntos antes y después del procesamiento
PASO 3. MODELAR. El modelado se realiza con ayuda de Blender, software
profesional, libre y de código abierto para la creación de películas de animación,
efectos visuales, modelos 3D etc. Permite desde modelado 3D hasta simulación de
partículas, movimientos o renderizados. Incluye un motor de juego integrado.
Adicionalmente, para la creación de texturas similares a las reales, se utiliza el
software Gimp, un editor de imágenes multiplataforma libre y con permisos para
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 22 de 52
cambiar su código fuente y distribuir dichos cambios. Permite la creación de texturas y
mapas relacionados con ellas, a fin de incrementar el nivel de realidad en los modelos
diseñados.
(a) Color map (b) Height map (c) Normal map
Figura 7. Creación de texturas
En la Figura 8 se muestra una imagen renderizada del laboratorio modelado obtenida
como resultado de las actividades realizadas.
Figura 8. Réplica virtual del Laboratorio de RA y RV - Fabrica2020
PASO 4. IMPLEMENTAR APLICACIÓN. En esta etapa se usa Unity3D, motor de
videojuegos que permite realizar aplicaciones en las que reproducir los entornos
diseñados. Presenta una gran versatilidad a la hora de definir comportamientos y
funciones para objetos en tres dimensiones, ya que permite utilizar algunos
predefinidos previamente en el software y además realizar nuevos comportamientos
particulares a través de lenguajes de programación como C# o JavaScript, por lo que
favorece la inmersión y la interacción con el entorno modelado. El detalle de este paso
se detalla en el apartado D.2.2 y D.2.3.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 23 de 52
Además de diseñar el propio laboratorio (sala de gran tamaño) en el que se sitúa el
entorno de la aplicación, durante la etapa de implementación (apartado D.2.3) se han
debido diseñar ciertos elementos que aparecen en el mismo, tales como las máquinas
/ equipos. Todos ellos se ven en las aplicaciones finales detalladas en el apartado
D.3.1 así como las primeras pruebas de integración mostradas en el citado apartado.
Estos modelos fueron realizados utilizando el software técnico Rhinoceros y
posteriormente importado al entorno de la RV, con el tratamiento correspondiente para
asegurar la compatibilidad, si fuera necesario. Todo ello fue realizado y detallado en la
tarea de implementación (apartado D.2.3).
D.2.1.2 Diseño de entornos aumentados
Para el caso de Realidad Aumentada, se importa el modelo 3D directamente según
se indica posteriormente, pero no se ha debido realizar ningún tipo de diseño de
entorno adicional puesto que la imagen se proyecta directamente sobre el entorno
realidad. En la Figura 9 se muestran los elementos que componen los dispositivos de
Realidad Aumentada y que hace que dichas proyecciones sean posibles. En la parte
frontal en la zona central hay una cámara tipo webcam que ve en el espectro visible
mientras que en los laterales de la parte frontal hay dos cámaras de tecnología light
coding junto los proyectores de patrón infrarrojo. Las cámaras de light coding detectan
en el espectro infrarrojo. La información que el usuario ve, es gracias a un proyector
que está en el interior de las gafas.
Figura 9. Elementos del dispositivo de Realidad Aumentada ((izqda.) e información del punto
(dcha.)
Sabiendo que estos son los elementos del dispositivo, la cámara del espectro visible
es la que observa en entorno real, en nuestro caso de aplicación, detecta el código
QR. La posición de un punto dado (por ejemplo, aquella en la que se encuentra el
código QR), lo detectan las cámaras IR (infrarrojas), dando la profundidad (zp), el
patrón proyectado. De esta manera, una cámara detecta el patrón QR y la otra
determina su posición y orientación, a partir de la proyección de una normal en el plan
formado por (xp, yp). Con estos datos, el desarrollo realizado descrito en el siguiente
apartado, proyecta la información necesaria unos 10/20 cm con respecto a ese punto,
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 24 de 52
en un primer momento. En cualquier caso, hay una función en el software Unity
llamada “Add Force”, que hace que esa información proyectada a unos 10/20 cm del
punto identificado, se proyecte cerca del punto para evitar que elementos del entorno
no permitan una buena proyección de la información.
D.2.2 Desarrollo de las aplicaciones software
Inicialmente, se realizó un diseño de aplicaciones software basado en pantallas para
las aplicaciones de Realidad Virtual, pero posteriormente se decidió que este se
clasificará en zonas/entornos y que será común para el Caso I y II. Cuando se habla
de hacer un “entorno común” para ambos casos, se refiere a hacer un entorno de
visualización común de cara al usuario. Sin embargo, el tratamiento que se hace de
las piezas (desarrollo de las aplicaciones software) que se muestran (diseño/
ingeniería) es distinto. De hecho, es mucho más complejo en el caso II (ingeniería)
pues las piezas no sólo muestran información de su geometría sino que, además,
añaden información de los resultados de la simulación en forma de paleta de colores,
tal y como se muestra en el propio software de simulación (ANSYS). Es decir, cada
color representa un resultado de la simulación realizada (posibles tensiones, roturas,
etc.). De este modo, cuando este tipo de piezas son importadas en la realidad virtual,
no se representa únicamente su geometría sino que también se muestran los
resultados de la simulación, es decir, las diferentes capas y zonas en las que la
simulación ha dado un resultado diferente (de ahí la mayor complejidad, aunque de
modo sencillo y al ojo humano, un color diferente).
De este modo, partiendo de los diseños preliminares de la anualidad 2016, en 2017 se
ha finalizado el diseño de los casos de uso, tanto para RV como para RA. En la Figura
10 se muestra el diseño final de los entornos y funciones definidos para los casos
de RV (I y II). Nótese que en este caso se habla de descripción y funciones desde un
punto de vista general, pero el nivel de desarrollo del software para permitir la
visualización las piezas, es mucho más complejo en el caso de la pieza del caso II
(ingeniería) por los motivos indicados anteriormente.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 25 de 52
Figura 10. Diseño final de entornos y funciones del Caso I. Diseño y Caso II. Ingeniería de RV
Además, de estos casos de estudio de RV, se ha incluido un caso adicional asociado
con el análisis y simulación de los sistemas de producción. En la Figura 11 se muestra
el detalle del diseño final de los entornos.
Figura 11. Diseño final de entornos y funciones del Caso* Producción
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 26 de 52
En la anualidad 2016 se estudiaron las principales metodologías de desplazamiento en
el entorno de RV, que se pueden resumir en: 1. Desplazamiento en primera persona
con mando, 2. Desplazamiento en tercera persona con mando, 3. Desplazamiento con
mando realizando saltos de posición, 4. Impedir desplazamiento, sistema de niveles y
5. Cinemáticas.
Para los casos de uso de este entorno, se ha decido aplicar 3 de estas metodologías:
Desplazamiento en primera persona con mando, Desplazamiento con mando
realizando saltos de posición e Impedir desplazamiento, sistema de niveles. Cada uno
de ellos se aplicará en determinadas situaciones o acciones de los casos de estudio,
según se indica en la Figura 12.
Para poder proceder a su implementación en las aplicaciones desarrolladas se han
implementado una serie “Assets” o plantillas de movilidad que incorporan el código de
programación que permite ese movimiento y para las diferentes tecnologías con las
que contamos.
Figura 12. Metodologías de desplazamiento para el Caso I. Diseño y Caso II. Ingeniería de RV
En la Figura 13 se muestra el diseño final de los entornos y funciones definidos
para el caso de RA (Caso III): existen una serie de pantallas hasta llegar a la pantalla
“final” en la que el operario ve la información sobre los procesos de máquina y su
estado, así como las alertas que le hacen llegar. Igualmente es importante destacar
que, desde esta pantalla, el operario puede interaccionar con la aplicación, por
ejemplo, para marcar las tareas finalizadas.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 27 de 52
Figura 13. Definición pantallas y funciones preliminares. CASO III “Visualización información de
máquinas mediante RA”
A continuación se destacan las principales problemáticas encontradas durante el
desarrollo de este software, tanto para Realidad Virtual como Realidad Aumentada:
Limitaciones de los archivos: las primeras pruebas se realizaron con archivos
de imágenes 3D tipo .wrl (formato en el que se puede guardar desde el
software Blender). Por ello, la primera idea fue la aplicación directa de estos
archivos. Sin embargo, uno de los principales problemas encontrados al tratar
los archivos .wrl (o VRML, virtual reality modeling language) es que son muy
complejos de manejar. Por ello, se ha decidido trabajar basándose en el
concepto de programación de objetos, con archivos .ply (polygon file format) y
.stl (standard triangle language), más sencillos de manejar que los anteriores.
Los arhivos tipo .ply contienen texto, código binario o ambos. Basándose en el
concepto de programación de objetos, se ha desarrollado un importador que
convierte un archivo .wrl en uno tipo .ply. Este importador se aplica en el Caso
II-Ingeniería, leyendo los datos del archivo en el orden que tiene que ir (normal,
puntos, color, etc.). Igualmente, para el Caso I-Diseño, se ha hecho un
importador para archivos .stl siendo en este caso más sencillo pues la
información necesaria son los puntos, no es necesario saber ni normales ni
colores, como en el caso anterior.
Limitaciones de Unity: Unity tiene un límite de operativa en 65.000 vértices. Por
lo que si un objeto es más grande, lo debe partir en distintos objetos. Además,
Unity, al igual que Windows, Android, etc., si tiene una tarea en ejecución que
tarda mucho, la interfaz se bloquea. Más en particular, en la RA-RV, se debe
refrescar unas 90 veces por segundo por lo que no se puede ejecutar nada que
vaya a tardar mucho ya que, de lo contrario, se congelaría la imagen. Por ese
motivo, para evitar que el sistema se “cuelgue” o ralentice durante la ejecución
de las distintas aplicaciones desarrolladas, el desarrollo del software se ha
hecho basándose en el concepto de hilos y co-rutinas, que se implementan a
través del código de programación:
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 28 de 52
o Hilos (o thread en inglés): es un proceso ligero o subproceso, es decir,
secuencia de tareas encadenadas muy pequeña que puede ser
ejecutada por un sistema operativo. Un hilo es simplemente una tarea
que puede ser ejecutada al mismo tiempo que otra tarea. Los hilos de
ejecución que comparten los mismos recursos, sumados a estos
recursos, son en conjunto conocidos como un proceso. El hecho de que
los hilos de ejecución de un mismo proceso compartan los recursos
hace que cualquiera de estos hilos pueda modificar estos recursos.
Cuando un hilo modifica un dato en la memoria, los otros hilos acceden
a ese dato modificado inmediatamente. El proceso sigue en ejecución
mientras al menos uno de sus hilos de ejecución siga activo. Cuando el
proceso finaliza, todos sus hilos de ejecución también han terminado.
Asimismo en el momento en el que todos los hilos de ejecución
finalizan, el proceso no existe más y todos sus recursos son liberados.
Los hilos son utilizados en toda la aplicación y no se pueden interrumpir
hasta que terminan.
o Co-rutinas: la principal diferencia con los hilos es que se pueden parar
antes de que terminen de ejecutarse y luego continuaría.
En la Figura 14 se explica la aplicación de hilos y co-rutinas en esta aplicación.
Se puede observar que hay dos hilos, un hilo principal de la interfaz gráfica y
un hilo de carga. Cuando se quiere cargar un fichero, desde la interfaz gráfica
se genera una co-rutina que fotograma a fotograma la va poniendo en marcha,
asegurando así que los fotogramas por segundo no superan los máximos que
hacen que la imagen se congele o la aplicación se ralentice.
Figura 14. Uso de hilos y co-rutinas en la programación de las aplicaciones
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 29 de 52
A continuación se describen los retos particulares de cada caso de uso detectados en
el momento de su definición y la manera en la que se les ha hecho frente en cada
caso:
RETOS Y SOLUCIONES DEL CASO I (DISEÑO):
Compatibilidad ficheros. Es muy importante elegir el formato de fichero
correcto y utilizar un sistema gestual entendible y sencillo para el usuario La
solución en este caso ha sido la de aplicar la operativa propia desarrollada tras
realizar las diversas pruebas de funcionalidad mostrada en la Figura 24.
Selección de funciones. Hay que decidir si las acciones se harán mediante
movimientos de las manos, pulsando botones en los mandos, etcétera. En
principio, es probable que se utilicen los botones de los mandos, ya que estos
ofrecen un sistema universal de uso, esto es; al pulsar determinado botón, se
realiza una acción. En cambio, con los gestos, cada usuario podría realizarlos
de una manera distinta que dificulte la interacción con la aplicación
Finalmente, por simplificación en el manejo, se ha optado por implementar las
acciones directamente sobre los botones de los mandos.
RETOS Y SOLUCIONES DEL CASO II (INGENIERÍA):
Área de trabajo. Teniendo en cuenta que el operario se movería en torno a la
pieza, se hace necesario realizar el seguimiento en un área relativamente
amplia y libre de obstáculos para no dificultar el movimiento del usuario Se
escogió la distribución del laboratorio amplia, según detalle en el apartado
D.1.2.
Renderizado óptimo. Se debía tener en cuenta que los motores de
renderizado en tiempo real solo admiten modelos texturizados, de lo contrario
podría aumentar el coste de renderizado e incrementar la tasa de fotogramas
por segundo, provocando mareos al usuario. Por tanto se deberá realizar una
adaptación previa de los ficheros Se ha desarrollado un importador basado
en la programación de objetos, para crear archivos .ply que pudieran ser
utilizados fácilmente en este entorno.
RETOS Y SOLUCIONES DEL CASO III (REALIDAD AUMENTADA):
Visualización de la información. Lograr una buena posición en la que mostrar
la información, sin interferir en lo que se está viendo en el plano real Se
proyecta la imagen unos 10 o 20 cm de donde se encuentra el puntero láser y,
posteriormente, se añade la función “Add force” para que desde ese punto se
proyecte sobre una posición “más fija”.
Sistema de reconocimiento de máquina. Se hace necesario encontrar un
sistema de reconocimiento óptimo, que permita obtener la información
rápidamente y sin acercarse demasiado a la máquina para reconocerla. Entre
las opciones a considerar estarían los códigos QR o los dispositivos LEDs
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 30 de 52
Finalmente se ha optado por los códigos QR ya que son más económicos y
más sencillos de modificar. Además, es una solución más efectiva de cara a
desarrollos futuros y ampliaciones.
D.2.3 Implementación de los casos de uso
Partiendo de los entornos visualizados, donde fue necesario, y con los diseños de los
entornos y las aplicaciones software desarrolladas, se procede a implementar los
casos de uso en la sala asignada para el Laboratorio Fabrica2020. A continuación se
hace un resumen de las pruebas y principales conclusiones a las que se llegó en el
proyecto y que fueron la base para el desarrollo de las aplicaciones finales detalladas
en el apartado D.3.1. En la anualidad 2016 se realizaron unas pruebas preliminares
que permitieron establecer las bases de las implementaciones realizadas en 2017, es
decir, permitieron determinar las debilidades de las aplicaciones para orientar de una
manera más efectiva los trabajos de esta línea.
D.2.3.1 Resumen de las pruebas de implementación
Durante la anualidad 2017, partiendo del conocimiento generado en 2016, se ha
realizado la importación de los modelos 3D en sus versiones finales.
Pruebas de implementación para Realidad Virtual (Caso I – Diseño y Caso II –
Ingeniería): las principales pruebas relacionadas con este caso, se resumen a
continuación.
Importación de los diseños 3D en el entorno de realidad virtual:
.1. Importación de la sala de realidad aumentada: basándose en el proceso
detallado en el apartado D.2.1.1.1, se disponía de un archivo en formato
.blend o .fbx que se podía abrir desde el software Blender. Este archivo podía
importarse perfectamente en el software Unity3D. Los resultados de estas
pruebas de implementación fueron favorables.
.2. Importación de los equipos desarrollados: para implementar los casos de uso,
se han debido desarrollar elementos adicionales, como las máquinas de AM o
los equipos de post-procesado. Durante las pruebas, se ha comprobado que
los archivos (.3ds) generados desde el software técnico Rhinoceros, una vez
abiertos en el software Blender, tienen un problema para poder ser usados en
el software Unity3D. Anteriormente se mencionó que Unity3D tiene un límite
de vértices que puede tratar de cara a ofrecer una experiencia atractiva al
usuario (sin ralentizaciones, imágenes congeladas, etc.). Teniendo esto en
cuenta, los archivos de las máquinas tienen vértices duplicados y un gran
número de vértices que no permite que el software Unity3D pueda abrirlo. Por
lo tanto, gracias a las pruebas, se comprobó que estos archivos debían ser
retocados y, por lo tanto, hubo que simplificar (reducir el número de vértices)
de manera manual en todos estos equipos en el software Blender, antes de
llevarlo a Unity3D. Las siguientes imágenes lo muestran.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 31 de 52
La Figura 15 muestra un elemento superior del equipo de AM en plástico
P100. Al abrirlo en Blender, sólo este elemento tiene 9.079 vértices. Por lo
tanto, de manera manual han debido de eliminarse dobles vértices (resultado
de la importación directa desde Rhinoceros).
Figura 15. Detalle del equipo P100 (elemento superior) vista “en bruto” – vista en Blender
Tras este procesamiento, se ha logrado reducir el número de vértices a 576.
Posteriormente, se ha extendido este proceso, a cada elemento adicional del
equipo y a su totalidad, como se muestra más abajo.
Figura 16. Detalle del equipo P100 (elemento superior) vista “tras procesamiento” – vista en
Blender
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 32 de 52
Una vez finalizado el proceso, el equipo total queda representado de manera
óptima en Blender con un total de poco menos de 4.000 vértices para todo el
equipo, según el detalle de la Figura 17.
Figura 17. Imagen 3D del equipo P100 importado en el software Blender
Este mismo proceso se ha realizado para el resto de equipos que se
utilizaban. En la siguiente imagen se muestra la imagen del equipo de
limpieza antes del ajuste manual para reducir el número de vértices. Una vez
reducido este número, se importó correctamente al software Unity3D.
Figura 18. Imagen 3D del equipo de limpieza importado en el software Blender
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 33 de 52
El mismo proceso aplica al equipo de empaquetado, mostrado en la imagen
inferior.
Figura 19. Imagen 3D del equipo de empaquetado importado en el software Blender
La Figura 20 muestra el resultado del proceso manual de simplificación de los
ficheros 3D de los equipos, para el caso particular de la máquina AM de
metal. En este caso, el resultado muestra 4.637 vértices.
Figura 20. Imagen 3D del equipo de AM SLS importado en el software Blender
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 34 de 52
Cabe destacar que, además de estos equipos, hubo otros elementos que
debieron diseñarse y tratarse en Blender, antes de ser exportados a Unity3D.
Es el caso del logo de PRODINTEC mostrado en la imagen inferior (506
vértices), y que juega un papel activo en los casos de Realidad Virtual como
se muestra en la aplicación final de los mismos.
Figura 21. Imagen 3D del logo de PRODINTEC importado en el software Blender
.3. Importación de las piezas de simulación. En la anualidad 2016 se realizó esta
importación con una pieza sencilla; en la anualidad 2017 se realizaron las
pruebas de implementación con piezas más complicadas como la mostrada en
la Figura 22.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 35 de 52
Figura 22. Pieza usada en el Caso II (ingeniería)
Para realizar las pruebas, en este caso se utilizó el resultado de los cálculos
mecánicos obtenidos con ANSYS, exportado en formato VRML (.wrl). De
nuevo, como este archivo contiene gran cantidad de información (información
del sólido, de los mapas de esfuerzo, deformaciones o velocidad y de las
leyendas de colores de dichos cálculos), resultó necesario su tratamiento para
su visualización en el software de modelado de entornos virtuales BLENDER.
De hecho, con las pruebas preliminares realizadas en 2016 se constató que,
tras importar el archivo en el UNITY, la información del cálculo mecánico no
era apreciable debido a que trata la información como un sólido sin materiales
o texturas. Por este motivo, a lo largo de 2017 se desarrolló el importador que
transforma el archivo .wrl a .ply y, con éste último, ya se pueden observar los
rangos de colores, mejorando así la experiencia del diseño, mostrándose el
detalle en el HITO 3. En la Figura 23 se muestra esta nueva pieza una vez
convertida a formato .ply (usando el software Meslab) para poder ser
importada en la aplicación de RV.
Figura 23. Resultados del cálculo con ANSYS importados en el Blender
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 36 de 52
Creación de elementos 3D adicionales sobre Unity3D. Otros elementos 3D
utilizados no han tenido pruebas de implementación especialmente complicadas,
porque han sido creados desde el propio software Unity3D. Esto es el caso de la
vitrina / pecera (Figura 26) detallada en apartados posteriores, que se obtuvo de
unir dos cubos dentro de dicho software.
Pruebas de funcionamiento / usuario: todos los ajustes y pruebas del punto 1 y 2,
se han podido hacer gracias a las pruebas de funcionamiento y de aceptación del
usuario. De esta manera, cuando la aplicación se ralentizaba, fue cuando se
trabajó en reducir el número de vértices de las imágenes 3D mencionadas
anteriormente o bien, la programación en base a objetos del importador detallado
en el apartado D.2.2.
Pruebas de implementación para Realidad Aumentada (Caso III): las principales
pruebas relacionadas con este caso, se resumen a continuación:
Determinar el espacio de visualización de los dispositivos RA: por defecto, el
dispositivo sólo identifica una determinada zona predefinida (4x4 m). Así, se ha
debido trabajar en ampliar la zona del taller en la que se trabaja ya que, en caso
contrario, el sistema no identificaba adecuadamente el código QR. De hecho, una
de las cuestiones que se comprobó es que si el código QR no está en la zona que
observan las gafas (la zona de escaneo donde se crea la malla 3D), el cursor
(punto de luz) con el que se interacciona entre el mundo real y el aumentado se va
al infinito. Adicionalmente, se comprobó que, en caso de que haya ventanas en el
escenario, no se les puede dar profundidad, dado que el sistema no es capaz de
identificar el plano de la ventana y, por lo tanto, no se consigue la identificación
automática del QR.
Detección del código QR: inicialmente se utilizó una librería que no era totalmente
reconocida por la Universal Windows Platform con la que trabajan las gafas. Para
conseguir un total reconocimiento, se tuvo que reformar dicha librería y
recompilarla para que pudiera trabajar en dicha plataforma y que las gafas
pudieran detectar y leer los códigos QR.
Pruebas de funcionamiento de las cámaras del dispositivo RA: en las pruebas
iniciales también se detectaron problemas con las librerías con las que se accedía
a la cámara frontal del dispositivo de RA. De esta manera, hubo que acceder a ella
con una librería para detección de QR.
D.2.3.2 Conclusiones de las pruebas de implementación
A continuación se resumen las principales conclusiones de las pruebas de
importación de modelos 3D:
Identificación de aspectos críticos del proceso de diseño, importación y tratamiento
de información: la cantidad de polígonos que presentan las piezas, la posibilidad
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 37 de 52
de introducción de texturas realistas o la capacidad de mantener piezas fijas en el
espacio.
o Realidad virtual: los modelos 3D que se importan a Unity 3D deben tener un
número reducido de vértices y por ello se requiere un paso intermedio en el
que se debe simplificar el modelo 3D en Blender para que éste pueda operar
correctamente en Unity 3D.
o Realidad Aumentada: en el caso de las Hololens para RA, su capacidad para
mantener piezas fijas en el espacio resultó ser muy satisfactoria pero, por el
contrario, la limitación de polígonos es más crítica, lo que condiciona el resto
de los desarrollos, tal y como se explicó en el punto anterior.
Calidad de la importación según el tipo de archivo: mediante estas pruebas
también se constató que los archivos importados en Blender con formato 3d Studio
(.3ds) resultaron tener una mejor calidad de malla que los importados en VRML
(.wrl) o en STL (.stl).
o Realidad virtual y realidad aumentada: por lo tanto, siempre que se puede se
trabaja con archivos .3ds por su mejor calidad. No obstante, hay que
asegurarse que los archivos bajo estos formatos cumplen las limitaciones de
Unity3D para el paso posterior, tal y como se indicó en el punto anterior.
Gracias a las pruebas realizadas en la anualidad 2017, se ha re-definido la operativa
de trabajo para generar piezas y elementos en un entorno virtual a partir de
información generada desde un programa de diseño CAD3D (Ver Figura 24). Como
puede comprobarse, la sistemática de trabajo consiste en que desde programa
CAD3D se dibujan los elementos (piezas, espacios, etc.), desde ahí hay que
convertirlo a un formato compatible (*.fbx, wrl o 3ds) desde el software Blender. Una
vez se dispone del formato compatible desde Blender, se debe comprobar si el archivo
tiene menos de 65.000 vértices. Si tiene menos de esa cantidad de vértices, se puede
importar directamente a Unity. En caso contrario, debe lograrse que el archivo cumpla
ese criterio, simplificando el archivo en Blender o bien partiéndolo en varios objetos
(opciones existentes dentro del propio software Blender). Una vez cumple el requisito,
ya se puede importar a Unity.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 38 de 52
Figura 24. Nueva operativa de trabajo para asegurar compatibilidad ficheros 3D.
D.3 RESULTADOS DEL HITO 3
En este apartado se recogen las versiones finales de las distintas aplicaciones de
Realidad Virtual y Realidad Aumentada que se han definido para cada caso de
estudio. Igualmente, se recoge un resumen de las pruebas y validación de las
tecnologías asociadas a cada caso de uso, realizadas con técnicos expertos y/o
operarios para que pudieran dar su feedback como usuarios finales de la misma.
D.3.1 Aplicación final
A continuación se detallan las aplicaciones finales para cada caso de estudio.
D.3.1.1 Aplicaciones finales de Realidad Virtual (Diseño e ingeniería)
En todas las aplicaciones de Realidad Virtual, la primera acción realizada fue la de
simular el escenario del Laboratorio de Realidad Virtual y Aumentada de modo virtual.
Esta réplica virtual del escenario real, permite al usuario orientarse cuando utiliza las
gafas de Realidad Virtual y facilita su interacción con este medio, al ser totalmente fiel
en dimensiones y apariencia con el mundo real. Este escenario virtual, basado en el
real (Figura 36), queda como se mostró anteriormente en la Figura 8.
Para las aplicaciones, la base de cada una de ellas, ha sido el diseño final de la
aplicación detallado en la sección D.2.2. Así, para la aplicación de diseño, se ha
concebido un “visualizador virtual” que corresponde a la vitrina mostrada en la Figura
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 39 de 52
25. Dentro de este visualizador, se puede dejar la pieza de la cual se quiere observar
el diseño y, dándole a una palanca (ver Figura 25), se puede aumentar o disminuir la
imagen (zoom). En la vitrina, la pieza queda “flotando”, como si no tuviera gravedad.
Figura 25. Visualizador virtual de piezas
Cuando se accede a la aplicación, se selecciona la pieza que se quiera ver y
aparecerá en la pantalla. Con ayuda de los mandos (los cuales también se ven en la
pantalla) se puede manipular la pieza en las “manos” y desplazarse en el escenario
hasta dejarlo en la vitrina, si se requiere (Figura 26). En el caso de la imagen inferior,
se muestra una imagen de una pieza tras haber sido simulada por elementos finitos y
en la cual se puede ver, en función de los colores, los resultados de dicho cálculo
(aplicación de RV para Ingeniería).
Figura 26. Visualización y manejo de la pieza (caso de ingeniería)
Una vez en la vitrina, cuando ésta se deposita, quedaría “flotando” como se ve en la
Figura 27 y según se indicó anteriormente. De esta manera, la pieza muestra los
resultados de la simulación realizada por el software técnico de elementos finitos
(ANSYS), donde las diferencias de color pueden representar aspectos como: (1) Las
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 40 de 52
tensiones a las que está sometido el componente, (2) Las deformaciones que
ocasionan dichas tensiones o los (3) Mapas de velocidad y de presiones. Es decir,
esta pieza muestra el resultado directo mostrado en el software en función del tipo de
simulación realizada. Dentro de la vitrina, se puede ampliar o disminuir su tamaño, al
igual que sucedería con cualquier pieza depositada dentro de esta vitrina.
Figura 27. Pieza mostrada en vitrina
Se puede hacer de igual manera para comprobar el diseño de una pieza, siendo el
funcionamiento el mismo (aplicación de RV para Diseño) que el indicado para el caso
de ingeniería detallado anteriormente. En la Figura 28 se muestra como, al igual que
en el caso anterior, se escoge la pieza y con los mandos, se puede desplazar hasta la
vitrina.
Figura 28. Visualización y manejo de la pieza (caso de diseño)
Una vez se posiciona la pieza en la vitrina, ésta queda como volando sobre la misma,
tal y como se indicó anteriormente. En la Figura 29 se muestra cómo se ve la pieza en
el visualizador. El número que se observa detalla la escala a la que se visualiza en ese
momento, como resultado de aplicar el zoom.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 41 de 52
Figura 29. Visualización de la pieza (caso de diseño)
Una de las cuestiones más importantes es el modo en el que la pieza se puede ver y
el detalle de la misma. Al cargarse directamente el fichero CAD, se ve tal y como se ha
diseñado, según se muestra en la Figura 30.
Figura 30. Visualización de la pieza (caso de diseño)
Adicionalmente, entre los objetivos del proyecto se establecía el de simular y analizar
los procesos de producción y, para ello, se modelaron virtualmente una selección de
equipos de producción. En dicha selección se incluyeron los equipos de fabricación
aditiva P100 y M270 y dos equipos adicionales de post-procesado. El escenario es el
mostrado en la Figura 31 y se basa en el detalle de la aplicación mostrada en la
sección D.2.2.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 42 de 52
Figura 31. Escenario virtual – procesos de producción
Este escenario muestra las capacidades de distribución en planta, simulando una
distribución de los equipos, de cara a analizar las interacciones entre ellos, la
comodidad y la seguridad para los trabajadores, etc. Además, podrán incorporarse
nuevas adquisiciones al modelo y estudiar su disposición y manejo óptimo de los
sistemas, por medio de este tipo de herramientas.
D.3.1.2 Aplicaciones finales de Realidad Aumentada (Control de procesos)
Es importante recordar que esta aplicación final se basa en el esquema mostrado en la
Figura 32 y que consta de diversos elementos: [1] elementos hardware: código QR en
equipos de producción y las gafas de RA, y [2] elementos software, tales como la parte
de almacenamiento de datos, el visualizador software y el sistema de reconocimiento
del equipo.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 43 de 52
Figura 32. Esquema de la aplicación
En la Figura 33 se muestra la estructura de la base de datos de la aplicación de RA
(tablas, campos y relaciones). En la misma se observan distintos puntos: (1) Personal
se refiere a los usuarios de PRODINTEC (planificación y taller); (2) Tareas se refiere a
lo que se solicite en relación al control de procesos, operaciones a realizar, alertas y/o
avisos, entre otros; (3) Máquinas es el equipo al que se refieren las tareas.
Figura 33. Base de datos
En cada una de las máquinas de fabricación aditiva seleccionadas para el caso de la
aplicación se debe situar un código QR, que será único para cada una de ellas. En la
imagen inferior se ven los equipos de fabricación aditiva M270 (metal) y P100
(plástico) donde se ven los códigos QR, siendo éstos actualizados a lo largo del
proyecto.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 44 de 52
Figura 34. Código QR posicionado en los equipos de fabricación aditiva
Una vez listos los códigos QR, la base de datos y el resto de desarrollos software de la
aplicación, se comprueba el correcto funcionamiento de toda la aplicación con el
dispositivo de RA. La Figura 35 muestra una captura de la aplicación de una máquina
donde se listan las operaciones asociadas. Esta ventana se muestra después de
haber identificado el código QR, viéndose las tareas de la máquina seleccionada (la
captura de pantalla mostrada en la figura se realiza por streaming de video, gracias a
una conexión WiFi y, por ello, la calidad no es muy alta).
Figura 35. Visualización de tareas / operaciones para una máquina dada
El detalle de las operaciones que permite la aplicación desarrollada se describe en el
apartado D.3.2.2, pues las funcionalidades han sido optimizadas gracias a la
validación realizada por el operario y mostrada en dicha sección.
D.3.1.3 Laboratorio – Fabrica2020
Todas estas aplicaciones finales han podido implementarse gracias a que las
inversiones asociadas estaban totalmente instaladas y listas en la zona habilitada para
ello. En la Figura 36 se observa el detalle de este laboratorio.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 45 de 52
Figura 36. Laboratorio de Realidad Virtual y Realidad Aumentada – Fabrica2020
D.3.2 Pruebas y validación de las aplicaciones
Una vez se han desarrollado las aplicaciones finales, se realizan las pruebas de
validación de la tecnología tanto por parte de los desarrolladores como de los técnicos
expertos y/o operarios que le darán uso en sus respectivos casos de aplicación. En los
siguientes apartados se detallan las pruebas realizadas para cada uno de los casos de
estudio.
D.3.2.1 Realidad virtual (Diseño e Ingeniería)
Si bien se han realizado diversas pruebas, a continuación se describe la prueba de
validación para el caso de uso de Diseño (Caso I). El caso de uso para Ingeniería
(Caso II) es similar cambiando el tipo de pieza. En la Figura 37 se observa cómo es la
pantalla principal antes de seleccionar ninguna pieza. En la Figura 38 se muestra
cómo el usuario (técnico/operario) accede al entorno del caso de uso y a los botones
azules para seleccionar la pieza que quiere visualizar.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 46 de 52
Figura 37. Pantalla principal de acceso
En la zona de la derecha de la imagen de la pantalla y del entorno en RV aparece el
logo de PRODINTEC dando vueltas sobre sí mismo, mientras la pieza se carga. Una
vez cargada la pieza, aparece en el aire (según se ve en la imagen inferior).
Figura 38. Selección de pieza
Una vez que la pieza seleccionada se carga acaba cayendo al suelo. Desde el suelo
se debe coger con los mandos. Una vez se recoge, se puede girar sobre la mano o
llevarla a la vitrina/pecera en la que se puede agrandar o reducir de tamaño.
Si se quiere llevar a la vitrina / pecera, una vez depositada queda flotando en la misma
(Figura 39) en la escala de tamaño original. Si se quiere agrandar o reducir, con los
mandos se accede a la palanca para aumentar o reducir el tamaño según hacia donde
se gire.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 47 de 52
Figura 39. Pieza depositada en la vitrina/pecera
Una vez que la pieza se tiene depositada en la vitrina/pecera, se ve que si se mueve la
palanca (se marca en otro color), hacia un lado u otro se incrementa o reduce el
tamaño, según se indica en el texto asociado mostrado en la vitrina.
Figura 40. Cambio de tamaño de la pieza
Se muestra igualmente el caso de uso en el que se trataba de analizar y simular los
procesos de producción (modelado de equipos de fabricación aditiva y post-proceso).
Al acceder a la aplicación, el técnico/operario visualiza los cuatro equipos que se han
modelado según se observa en la Figura 41.
Figura 41. Entorno de acceso para la aplicación de los equipos de producción
Para acceder a cada una de las máquinas desde esta primera pantalla, hay que
“teletransportarse” con ayuda del mando. Una vez cerca de los equipos, se puede
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 48 de 52
interaccionar con ellos. Por ejemplo, en el caso de la máquina de fabricación aditiva,
se pueden crear piezas, pulsando distintos botones según se detalló en el diseño de la
aplicación (cada botón crea distintas piezas).
Una vez creada la pieza, se abre la puerta (Figura 42), ayudándose para ello del
mando que maneja el técnico – operario.
Figura 42. Apertura de puerta de la máquina de fabricación aditiva
Una vez se abre y se descubren las piezas, el técnico – operario puede cogerlas y
desplazarlas a donde quiera. Una vez cogida la pieza, ésta se puede desplazar y
depositar donde se quiera.
Otra de las interacciones posibles es con la desempaquetadora, abriéndola como se
mostraba anteriormente.
Figura 43. Interacción del técnico – operario con otro equipo (desempaquetadora)
Las pruebas de validación de los casos anteriores se han realizado con el dispositivo
HTC Vive, pero como ya se indicó, el desarrollo es totalmente compatible con otros
dispositivos, como las HOLOLENS.
Con todo ello, ha quedado demostrado que las aplicaciones desarrolladas para RV en
los casos de estudio seleccionados son fáciles de usar, intuitivas y adecuadas. Es
decir, han sido validadas correctamente por sus usuarios. Asimismo, se ha
comprobado que las aplicaciones software son compatibles con todos los dispositivos
disponibles, al haber hecho un desarrollo multiplataforma.
D.3.2.2 Realidad aumentada
De cara a probar y validar la tecnología de Realidad Aumentada, se ha contado con la
colaboración de Técnicos Expertos y operarios de Fabricación que han procedido a
probarlo durante sus tareas diarias con los equipos de fabricación aditiva. Durante la
ejecución de las tareas, se ha trabajado principalmente con dos equipos: EOS P100
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 49 de 52
(material plástico) y EOS M270 (material metálico). El operario, al utilizar las gafas de
Realidad Aumentada recibe la s siguiente información:
Planificación de las tareas asignadas a lo largo del día.
Recepción de alarmas asociadas a los trabajos realizados. Ahora mismo, la
funcionalidad está implementada de un modo manual, si bien la previsión es
que en un futuro puedan implementar de manera automática e integrar con
otros equipos.
La pantalla que se observa es la mostrada en la Figura 44, donde se observan las
tareas y los avisos / alarmas asociados a un equipo dado. En dicha imagen se observa
la fecha en la que se lanza la petición, la persona de planificación que la ordena, la
tarea asociada (código), la persona de taller asignada para realizarlo y posibles
comentarios asociados que se indiquen desde planificación. El operario, una vez haya
finalizado la tarea, puede interaccionar con la aplicación, marcando “Marcar
completado” y, en ese momento, la tarea desaparecería de la lista.
Figura 44. Pantalla de la aplicación: alertas y tareas para control de proceso (detalle)
En caso de que sea necesario dar una alerta o un aviso al operario, no es necesario
que se identifique un código QR. Por ejemplo, el personal de planificación puede
generar una alerta o aviso y, gracias a la conexión WiFi del dispositivo, el texto
aparecerá proyectado en el entorno como se muestra en la siguiente imagen.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 50 de 52
Figura 45. Captura de aviso/alerta en la aplicación de RA
Con ello, se ha procedido a validar el desarrollo de la aplicación. En la imagen inferior,
se ve al operario comprobando los trabajos de la máquina de fabricación aditiva en
plástico, pudiendo interaccionar en paralelo con la máquina y con la aplicación. A nivel
positivo, ha indicado que la aplicación es intuitiva y que se ahorra el tener que
consultar el ordenador o estar en contacto telefónico. Además, al tener las manos
libres, es más sencillo y ahorra tiempo. En cuanto a la parte negativa, se indica que el
tener las gafas de RA, hace que después de un tiempo, se sienta un poco mareado.
En este sentido, habría que minimizar el tiempo que el operario lleva este dispositivo,
además de tener en cuenta la autonomía del sistema.
Figura 46. Técnico / operario de taller probando las tecnologías de RA
En la imagen inferior, se ve al operario validando la aplicación para el equipo de
fabricación aditiva en metal. Los comentarios aportados tras la validación son
similares.
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 51 de 52
Figura 47. Técnico / operario de taller probando las tecnologías de RA
Con todo ello, ha quedado demostrado que las aplicaciones desarrolladas para RA en
los equipos seleccionados son fáciles de usar, intuitivas y adecuadas. Es decir, han
sido validadas correctamente por sus usuarios. Asimismo, se ha comprobado el
correcto funcionamiento de los desarrollos software.
D.4 RESULTADOS DEL HITO 4
Los resultados incluyen asistencia a diferentes ponencias en la materia, asistencia a
eventos, visita de empresas interesadas, etc. Igualmente se han identificado empresas
interesadas en esta solución y se ha desarrollado el modelo de negocio asociado al
mismo. Los eventos con asistencia y/o participación de PRODINTEC relacionados con
la Realidad Virtual y Aumentada son los siguientes:
Evento/Taller: Organización y participación en la Jornada “Exploring Additive
Manufacturing impact in Defence capabilities”
o Fecha: 12 de Septiembre de 2017
o Lugar: Laboral Ciudad de la Cultura y PRODINTEC, Gijón (Asturias,
España).
o Asistente: Equipo de proyecto de PRODINTEC.
o Información: https://www.eda.europa.eu/info-
hub/events/2017/09/12/default-calendar/exploring-additive-
manufacturing-impact-in-defence-capabilities
o Descripción: en el marco del proyecto de estudio de viabilidad de las
tecnologías de fabricación aditiva, PRODINTEC junto con la EDA,
organizó este evento. Dentro del mismo, había reservado un hueco en
la agenda para visitar PRODINTEC, entre las que se incluía visita real
de la fábrica móvil de AM (contenedor) y visita por medio de realidad
virtual de la misma.
Evento/Taller: Participación en el “7º Congreso Internacional de Ergonomía y
Psicosociología Aplicada”
o Fecha: 10 de Noviembre de 2017
o Lugar: Avilés (Asturias, España).
o Asistente: Luis Pérez
INFORME TÉCNICO 2017
Proyecto Desarrollo y validación de nuevas aplicaciones basadas en
la integración de tecnologías de realidad aumentada y realidad virtual
al proceso industrial. IDI/2016/000237
Página 52 de 52
o Información: http://congreso.ergonomos.es/programa-tecnico.html
o Descripción: la ponencia trataba sobre cómo la industria y los procesos
de fabricación han cambiado y evolucionado significativamente a lo
largo de las diferentes revoluciones industriales, mejorando las
condiciones de trabajo y la productividad gracias a la introducción de
nuevas tecnologías. En la ponencia se han tratado, entre otras
cuestiones, las aplicaciones de realidad virtual y realidad aumentada
pues son ya una realidad en muchos puestos de trabajo para la
formación, el manejo de equipos, la asistencia remota, etc.
Evento/Taller: Impartición del Módulo 2. Retos tecnológicos de la Smart
Factory del “Máster Industria 4.0” – Título Propio de la Universidad de Oviedo,
parte asociada a Realidad Virtual y Aumentada.
o Fecha: 11 y 12 de Diciembre 2017
o Lugar: PRODINTEC, Gijón (Asturias, España).
o Información: http://masterindustria40.es/
o Asistente: Luis Pérez y Eduardo Diez.
o Descripción: PRODINTEC ha impartido el curso asociado a Realidad
Virtual y Aumentada dentro del Módulo 2. Retos tecnológicos de la
Smart Factory Máster Industria 4.0” con parte teórica y demostraciones
en vivo, posibles gracias a los desarrollos realizados en el marco de
este proyecto. Número de alumnos: 15.