INFORME TÉCNICO 2017 PROGRAMA ASTURIAS 2016-2017 … · la integración de tecnologías de...

INFORME TÉCNICO 2017

PROGRAMA ASTURIAS – 2016-2017

Título actuación: Desarrollo y validación de

nuevas aplicaciones basadas en la integración

de tecnologías de realidad aumentada y realidad

virtual al proceso industrial

Nº Expediente: IDI/2016/000237

Entidad Beneficiaria:

Fundación PRODINTEC (CIF: G33914557)


Proyecto Desarrollo y validación de nuevas aplicaciones basadas en

la integración de tecnologías de realidad aumentada y realidad virtual

al proceso industrial. IDI/2016/000237

Página 2 de 52

ÍNDICE

A INTRODUCCIÓN ......................................................................................... 3

B CUMPLIMIENTO DE OBJETIVOS .............................................................. 4

C METODOLOGÍA .......................................................................................... 7

C.1 ACTIVIDADES REALIZADAS ......................................................................... 7

D RESULTADOS ALCANZADOS ................................................................. 11

D.1 RESULTADOS DEL HITO 1 .......................................................................... 11

D.1.1 Análisis de tecnologías y estado del arte ............................................... 12

D.1.2 Componentes y arquitectura del sistema ............................................... 13


D.2.1 Diseño de entornos virtuales y aumentados .......................................... 17

D.2.2 Desarrollo de las aplicaciones software ................................................. 24

D.2.3 Implementación de los casos de uso ..................................................... 30


D.3.1 Aplicación final ....................................................................................... 38

D.3.2 Pruebas y validación de las aplicaciones ............................................... 45






Página 3 de 52

A INTRODUCCIÓN

La cuarta revolución industrial o “Industria 4.0” es una realidad. El concepto

subyacente de esta nueva realidad son los sistemas integrados y las instalaciones

inteligentes de producción, que son capaces de generar una convergencia digital entre

los fabricantes, el negocio y los procesos internos.

En aras de facilitar la convergencia digital entre las distintas áreas de negocio y

procesos internos de PRODINTEC, el presente proyecto pretende integrar la realidad

aumentada y realidad virtual en la actividad diaria de las áreas técnicas del Centro.

Desde la concepción de las piezas o elementos, hasta su fabricación, estas

tecnologías suponen un valor añadido y un modo integrado e interactivo de abordar el

análisis de funcionalidad, de viabilidad técnica y de fabricabilidad, y el control del

proceso productivo.

El objetivo del presente proyecto es, por tanto, el desarrollo y la validación de una

plataforma de realidad virtual y realidad aumentada que permita la convergencia y

el trabajo colaborativo entre las distintas unidades que participan dentro del proceso

característico de la industria (DISEÑO → INGENIERIA → FABRICACIÓN → VENTA).

El sistema desarrollado y las aplicaciones se implementarán y testearán en

PRODINTEC, habilitando un espacio a modo de instalación piloto y showroom en el

que, de un modo interactivo y realista, se demuestre cómo estas nuevas tecnologías

pueden aumentar la eficiencia de las tareas de diseño y cálculo de componentes y

disminuyendo el riesgo de error en esas fases y en la fabricación.





Página 4 de 52

B CUMPLIMIENTO DE OBJETIVOS

El objetivo general del proyecto es desarrollar y validar nuevas aplicaciones que

integren tecnologías de Realidad Virtual (RV) y Realidad Aumentada (RA) con las

tecnologías y actividad propia de entornos industriales, de tal manera que se

incremente la seguridad en entornos de trabajo colaborativos, se minimicen los riesgos

y se mejore la eficiencia del sistema productivo al incorporar tareas con un mayor valor

añadido.

Para alcanzar el objetivo general del proyecto, se han fijado una serie de objetivos

técnicos específicos, En la siguiente tabla se muestran dichos objetivos, así como el

nivel de cumplimiento alcanzado conforme a los trabajos realizados al término de la

anualidad 2017.

Tabla 1. Objetivos del proyecto y grado de cumplimiento de los mismos.

OBJETIVO Nivel de cumplimiento

Obj. 1. Análisis de requisitos y

definición de conceptos de

aplicación de la tecnología en

la industria.

Nivel de cumplimiento: 100 %

Justificación: se han definido casos de aplicación de las

tecnologías de RV y RA en el proceso productivo de

PRODINTEC, estableciendo arquitecturas, requisitos de

software, de hardware, de usuario, etc.

Obj. 2. RV para las tareas de

diseño, ingeniería y fabricación

de componentes y elementos

mecánicos funcionales.


Justificación: se ha definido el caso de uso para visualizar

la información asociada al diseño de piezas generadas a

partir de software técnico (Caso I). Se ha desarrollado la

aplicación software y, gracias a diversas pruebas, se ha

llegado a su versión final. Esta versión final ha sido

implementada en el laboratorio RV-RA habilitado y ha

sido probado por técnicos expertos y operarios.

Obj. 3. RV en la simulación y

análisis de procesos de

producción.


Justificación: se ha definido el caso de uso para la

utilización de la RV para la comprobación de información

generada a partir de software técnico empleado para la

simulación de comportamientos mecánicos de piezas

(Caso II). Se ha desarrollado la aplicación software y,

gracias a diversas pruebas, se ha llegado a su versión

final. Esta versión final ha sido implementada en el

laboratorio RV-RA habilitado y ha sido probado por

técnicos expertos y operarios. Se ha añadido un caso

adicional en la aplicación final, que permite utilizar las

máquinas de fabricación aditiva, montaje y

desempaquetado.





Página 5 de 52

OBJETIVO Nivel de cumplimiento

Obj. 4. RA para procesos de

mecanizado y fabricación

aditiva.


Justificación: se ha identificado la información asociada y

comenzado con el diseño de un caso de uso basado en el

empleo de tecnología de RA para la visualización de

información relacionada con procesos de fabricación de la

entidad como la fabricación aditiva (CASO III).

Obj. 5. RA para visualización

de la información de peligro y

realización de tareas

colaborativas.


Justificación: se ha implementado dentro de la aplicación

de RA, la incorporación de mensajes que alertara de

peligros en la ejecución de las tareas.

Obj. 6. Instalación piloto y

transferencia tecnológica de

los resultados obtenidos.


Justificación: se ha habilitado la sala que alojará el

laboratorio, se han instalado y comprobado todos los

elementos tecnológicos que lo conforman. Se han

realizado múltiples pruebas para validar la tecnología. En

resumen, el demostrador tecnológico está listo.

En la siguiente tabla se resumen los indicadores considerados para el seguimiento y

monitorización del grado de avance del proyecto y sus objetivos, así como el nivel de

cumplimiento alcanzado en diciembre de 2017:

Indicador 1. Finalización de estudios previos de tecnologías de RV y RA,

arquitectura y aplicaciones: 100 %. Completados entregables asociados:

E.1.1.Informe de estado de la técnica y E.1.2.Informe de componentes y

arquitectura del sistema.

Indicador 2. Desarrollo del middleware necesario entre el software CAD

3D y las librerías de programación para RV: 100%. Se han diseñado las

pantallas y funciones de las soluciones así como las operativas para el

tratamiento de la información en el caso de uso de diseño.

Indicador 3. Desarrollo del middleware necesario entre el software FEM y

las librerías de programación para RV: 100%. Se han diseñado las pantallas

y funciones de las soluciones así como las operativas para el tratamiento de la

información en el caso de uso de ingeniería.

Indicador 4. Calibración del posicionamiento de información para su

visualización en RA (Septiembre 2017): 100 %. Se han desarrollado las

aplicaciones relativas a la identificación de los códigos QR en el entorno real y

a la adaptación del hardware en este entorno.

Indicador 5. Aplicación de RV desarrollada y validada, aplicable en la

industria en tareas de diseño e ingeniería: 100%. Las aplicaciones finales de

Realidad Virtual, incluyendo software desarrollado y el hardware asociado, han

sido implementadas para el Caso de uso I (diseño) y II (ingeniería). Los

técnicos expertos y operarios han probado y validado la tecnología para la





Página 6 de 52

ejecución de sus tareas diarias, comprobado que es una herramienta efectiva

en su día a día.

Indicador 6. Aplicación de RA desarrollada y validada, aplicable en la

industria en tareas de análisis y control de los procesos de producción

(Diciembre 2017): 100%. Se ha implementado la aplicación para tareas

relacionadas con el análisis y control de los procesos de producción en el taller

de las instalaciones.





Página 7 de 52

C METODOLOGÍA

C.1 ACTIVIDADES REALIZADAS

A continuación se resumen las acciones realizadas en cada tarea y su estado al final

de la anualidad 2017.

PT1. DISEÑO DEL SISTEMA

Tarea 1.1. Análisis de requisitos del proceso y estudio de tecnologías

Esta tarea se ha realizado íntegramente en la anualidad 2016. En ella se ha llevado a

cabo un análisis del proceso productivo de PRODINTEC relativo a la fabricación

aditiva o prototipado rápido, con el fin de identificar posibles puntos de integración de

las tecnologías de RV y RA. Así, para los diferentes equipamientos se evaluaron los

flujos de información y de materiales que intervienen en el proceso y los

potenciales datos que serían de apoyo al técnico de producción para asegurar un

control adecuado del proceso.

Por otro lado, también se han analizado las principales herramientas software que

intervienen en la fase de diseño e ingeniería de PRODINTEC y que, a su vez, estén

basados en el tratamiento de información 3D de piezas. Esta información se cruzó con

las diferentes alternativas de importación ofrecidas por los programas de modelado 3D

virtual (Blender) y el entorno de desarrollo y motor gráfico (Unity) que serán utilizados

en los desarrollos asociados al proyecto.

Dada la novedad de la tecnología en entornos industriales y de ingeniería, a lo largo

de esta tarea también se llevó a cabo un estudio de las aplicaciones y tecnologías

existentes, analizando aspectos como: su arquitectura, software de ingeniería

empleado, sistemas y dispositivos de visualización, conexiones existentes, entre otros

aspectos.

Tras recabar y analizar información asociada a las operativas de trabajo actual en la

organización, se establecieron los tres casos de uso a tener en cuenta para los

siguientes trabajos.

Tarea 1.2. Componentes y arquitectura del sistema

Tarea realizada íntegramente en la anualidad 2016, en la que se evaluaron los

requerimientos a nivel de sistema y también a nivel de usuario para cada uno de los

tres casos de estudio definidos. En relación a dichos requisitos se llevó a cabo el

diseño de la arquitectura del sistema, identificando los componentes de la solución,

el conexionado necesario para su funcionamiento y el procedimiento de comunicación.





Página 8 de 52

ENTREGABLES:

E1.1. Informe del estado de la técnica Es un informe exhaustivo de las tendencias

actuales incluyendo las principales líneas de actuación y conclusiones. Un resumen de

sus resultados, se recoge en el apartado D.1.

E1.2. Informe de componentes y arquitectura del sistema

Es el informe que recoge los diagramas y los modelos UML que guiarán el

comportamiento esperado del sistema. Un resumen de los resultados principales

logrados en 2016, se detallan en el apartado D.1.

PT2. DESARROLLO DE ENTORNOS Y APLICACIONES

Tarea 2.1. Diseño de entornos virtuales y aumentados

Durante la anualidad 2016 se comenzó con el diseño preliminar de pantallas y

principales funciones a implementar para el CASO I “Visualización de piezas 3D

mediante RV” y para el CASO III “Visualización de información de máquina mediante

RA”. Además, teniendo en cuenta los elementos y componentes necesarios, se

concibió la distribución de elementos óptima y su configuración dentro del

laboratorio de realidad virtual y realidad aumentada donde físicamente serían

implementados los diferentes escenarios planteados en los casos de uso. Una vez que

los componentes fueron recepcionados e instalados, se procedió con la configuración

de los diferentes elementos en el laboratorio físico, comprobando la correcta

disposición y funcionamiento de los diferentes componentes. Se realizó un estudio de

diferentes metodologías de desplazamiento dentro del entorno virtual por parte del

usuario y, además, se llevaron a cabo ensayos preliminares con modelos de

CAD3D para identificar posibles requisitos asociados a la importación y tratamiento de

la información desde el entorno de desarrollo de RV.

En la anualidad 2017 se procedió a desarrollar virtualmente el entorno del laboratorio,

utilizando para ello un escáner disponible en las instalaciones de PRODINTEC. La

nube de puntos generada por el escáner se trató para su optimización y se crearon

diversas texturas. Igualmente, se crearon escenarios virtuales a partir de las opciones

del Unity (por ejemplo, la vitrina para visualizar las piezas). Otros elementos del

entorno (por ejemplo, las máquinas de fabricación aditiva y post-procesado) se

diseñaron en un software externo (Rhinoceros) y fueron sometidas a un proceso de

optimización para reducir su número de vértices (usando el softwarwe Blender) y

lograr que pudieran ser utilizadas en Unity en los casos de uso. Como se indica en la

descripción de la siguiente tarea, esta optimización fue totalmente necesaria porque,

sin ella la aplicación se ralentizaría y no sería atractiva ni útil para los usuarios.

En resumen, durante 2017 se completaron los diseños de las aplicaciones de realidad

virtual y realidad aumentada para cada uno de los casos de uso definidos. El detalle

de esta tarea se recoge en el apartado D.2.1.





Página 9 de 52

Tarea 2.2. Desarrollo de las aplicaciones software

Durante la anualidad 2017, las aplicaciones software se han desarrollado conforme a

los diseños indicados en la tarea anterior y según las condiciones de cada uno de los

casos de uso. Se ha detallado el entorno y funcionalidades de cada uno de los casos

de aplicación, y se ha desarrollado el código (software) que permita el funcionamiento

de las aplicaciones de cada caso. Este software se testeó en las pruebas de

implementación de la tarea 2.3, de tal manera que, a la vista de dichas pruebas, el

código se iba optimizando. El detalle de las actividades realizadas se muestra en el

apartado de resultados del hito pero algunas cuestiones que se pueden mencionar en

esta línea son: realización de importadores (programación de objetos) de las piezas a

visualizar en los casos de RV ya que si no el Unity no era capaz de mostrar dichas

piezas, al ralentizarse; necesidad de crear el código basándose en el concepto de

hilos y co-rutinas para no pasar el límite de frames por segundo aceptable por el Unity

para que pueda funcionar con normalidad; necesidad de realizar ajustes y

compatibilidades en librerías del dispositivo de RA para que éste pudiera detectar y

leer el código QR.

Éstos han sido mejorados a medida que se implementaban desde la tarea 2.3,

ajustando el software para evitar incompatibilidades detectadas en la implementación

real. El detalle de esta tarea se recoge en el apartado D.2.2.

Tarea 2.3. Implementación de los casos de uso

Durante la anualidad 2017, las aplicaciones software desarrolladas en la tarea anterior

se han implementado en el entorno real. Es decir, una vez se disponía de los

desarrollos software, estos se han probado junto con el hardware.

Las pruebas de RV (Caso I y Caso II) han demostrado que, aunque el desarrollo

software era correcto, desde el punto de vista de la operativa (lentitud en el uso,

importación de piezas, etc.) eran necesarios una serie de ajustes, realizados en parte

en este hito y en parte en el hito 3. Para el caso de la aplicación de RA (Caso III), hubo

que hacer una serie de ajustes para que el sistema se ubicara de manera correcta en

el entorno real e identificara de manera adecuada los códigos QR básicos para la

correcta proyección de la aplicación. Gracias a estas pruebas de implementación, en

este hito y en el hito 3 se hicieron los ajustes pertinentes para lograr la aplicación final.

Nótese que, para ambos casos, el objetivo del Hito 2 era disponer de una versión

operativa, que durante el Hito 3 pudiera refinarse, especialmente en lo relativo a la

aceptación del usuario y comentarios sobre las aplicaciones.

Las versiones beta de los casos de uso logradas se detallan en el apartado D.2.3,

siendo los resultados de este paquete de trabajo las versiones beta de las aplicaciones

software (E2.1, E2.2 y E2.3).





Página 10 de 52

ENTREGABLES:

E2.1. Versión beta de la aplicación de realidad virtual desarrollada para diseño

Es la primera versión de la aplicación que muestra el desarrollo para el caso de uso de

RV para diseño antes de realizar las pruebas de validación y la integración en

profundidad. Un resumen se recoge en el apartado D.2.3.

E2.2. Versión beta de la aplicación de realidad virtual desarrollada para

ingeniería


RV en ingeniería antes de realizar las pruebas de validación y la integración en

profundidad. Un resumen se recoge en el apartado D.2.3.

E2.3. Versión beta de la aplicación de realidad aumentada implementada para el

control de procesos de producción de PRODINTEC


RA en el control de procesos de producción antes de realizar las pruebas de validación

y la integración en profundidad. Un resumen se recoge en el apartado D.2.3.

PT3. INTEGRACIÓN Y VALIDACIÓN

Tarea 3.1. Integración hardware y software y Tarea 3.2. Pruebas y validación

Ambas tareas están muy relacionadas y por ello se indica conjuntamente su contenido.

Así pues, durante la anualidad 2017, se han recogido todos los trabajos realizados

para obtener la aplicación final (software) en los casos de estudio seleccionados. Esto

ha incluido asegurar que los elementos hardware funcionaran perfectamente junto con

dichos desarrollos software.

Una vez realizada dicha integración, se procedió a realizar las pruebas de la

tecnología para su validación con técnicos expertos y operarios para cada uno de los

casos de estudio de aplicación. Estas pruebas han ayudado a mejorar la aplicación

final en cada uno de los casos, logrando así las versiones finales de las aplicaciones,

es decir, los entregables de este paquete de trabajo (E3.1, E3.2 y E3.3). El detalle se

puede encontrar en el apartado D.3.

ENTREGABLES:

E3.1. Versión final de la aplicación de realidad virtual desarrollada para diseño

Es la aplicación final que muestra el desarrollo para el caso de uso de RV para diseño.

Un resumen se recoge en el apartado D.3.

E3.2. Versión final de la aplicación de realidad virtual desarrollada para

ingeniería

Es la aplicación final que muestra el desarrollo para el caso de uso de RV en

ingeniería. Un resumen se recoge en el apartado D.3.

E3.3. Versión final de la aplicación de realidad aumentada implementada para el

control de procesos de producción de PRODINTEC





Página 11 de 52

Es la aplicación final que muestra el desarrollo para el caso de uso de RA en el control

de procesos de producción. Un resumen se recoge en el apartado D.3.

PT4. DIFUSIÓN Y EXPLOTACIÓN

Tarea 4.1. Difusión de resultados

Se han realizado una serie de tareas de difusión que han servido para presentar este

proyecto y por tanto, mostrar las capacidades de la entidad. Las acciones llevadas a

cabo se recogen en el entregable E4.1 y un resumen de las mismas se puede

encontrar en el apartado D.4.

Tarea 4.2. Plan de negocio y explotación

Por otro lado, PRODINTEC ha identificado a múltiples empresas interesadas en los

desarrollos del proyecto y que pertenecen a diversos sectores, si bien también se han

identificado diversos perfiles de empresas en varios sectores. Igualmente ha

desarrollado un modelo Lean Canvas como posible modelo de negocio de esta

solución, en el corto plazo como en el medio-largo plazo, con nuevos desarrollos que

pudieran llevarse a cabo.

ENTREGABLES:

E4.1. Resumen de las acciones de difusión

Es un informe en el que se resumen las acciones de difusión asociadas con esta

tecnología RV-RA. Los resultados se detallan en el apartado D.4.

E3.2. Listado de clientes potenciales

Es un informe en el que se recoge el listado de clientes potenciales interesados en las

tecnologías RV y RA utilizadas en este proyecto. Los resultados se detallan en el

apartado D.4.

D RESULTADOS ALCANZADOS

A continuación se describen los resultados obtenidos en la anualidad 2017, incluyendo

un resumen de los principales resultados de 2016 asociados a cada uno de los HITOS

en los que se ha trabajado.

D.1 RESULTADOS DEL HITO 1

Los resultados de este hito, se obtuvieron en la anualidad 2016 por lo que se incluye

únicamente un resumen de los principales resultados del proyecto, ya detallados

ampliamente en la memoria de la anualidad anterior.





Página 12 de 52

D.1.1 Análisis de tecnologías y estado del arte

Este apartado recoge la información asociada al entregable E1.1. Informe del estado

de la técnica y otros resultados asociados.

D.1.1.1 Análisis proceso productivo y requisitos de información

Durante la anualidad 2016, se realizó un análisis del proceso productivo de

PRODINTEC relativo a la fabricación aditiva o prototipado rápido, identificando los

diferentes equipamientos empleados y flujos de información y de materiales actuales.

En cada caso, se han identificado las variables relevantes de proceso que pudieran

con el fin de identificar datos que, mediante la aplicación de tecnologías de RV y/o RA,

pudieran ser de interés para un mejor control del proceso productivo por parte del

operario.

De este modo, las tecnologías estudiadas han sido: Prototipado rápido, SLS

(Selective Laser Sintering) y DMLS (Deposition Metal Laser Sintering). En cada

tecnología, se ha tenido en cuenta el software relacionado, los proveedores y el

equipo, los materiales, las variables relevantes del proceso, si usa soportes y la

necesidad de post-procesado.

Con carácter más general, también se identificó información de apoyo relacionada

con los procedimientos de trabajo y que pudiera por tanto ser parte de la

información a visualizar por el operario mediante el uso de dispositivos, por ejemplo,

de realidad aumentada.

D.1.1.2 Análisis de software técnico 3D y compatibilidad con SW de realidad

virtual

Igualmente, en 2016, se estudió la compatibilidad de archivos teniendo en cuenta los

formatos de exportación posibles desde cada software técnico y, por otro lado, los

formatos de importación al software de modelado 3D virtual (Blender) y el entorno de

desarrollo y motor gráfico (Unity). Teniendo en cuenta la información anterior, y tras

evaluar diferentes programas de diseño CAD3D y simulación, se determinaron cuáles

de los programas de software disponibles en PRODINTEC resultaron compatibles para

ser utilizados como input de entrada para generar o ser parte de un entorno virtual.

Con este análisis, se identificó que los principales formatos exportables desde los

programas técnicos CAD3D de PRODINTEC son compatibles con Blender, aunque no

todos con el Unity. Con este estudio se detectó la importancia de tener en cuenta las

diferentes compatibilidades ya a nivel de versiones entre los diferentes programas.

Así, por ejemplo, los archivos VRML (.wrl) para ser compatibles con Blender deben ser

de la versión 2.0.

D.1.1.3 Estudio de tecnologías de RV y RA

En 2016, también se realizó un estudio de las tecnologías de RV y RA, analizando

aspectos como arquitectura, software de ingeniería empleado, sistemas y dispositivos

de visualización, conexiones existentes, etc.





Página 13 de 52

Para el caso de los dispositivos existentes de Realidad Aumentada, las gafas

HOLOLENS son la única solución disponible en el mercado que puede ser de

aplicación para los propósitos del proyecto. Para el caso de la Realidad Virtual, hay

más opciones, tales como gafas OCULUS RIFT, HTC VIVE, SONY PLAYSTATION

VR o SAMSUNG GEAR VR.

En lo que respecta a las arquitecturas, también se han estudiado las diversas

opciones. En el caso de Realidad Virtual, las principales conclusiones con respecto a

sus arquitecturas de RV, cabe destacar:

Las aplicaciones mayoritarias en el ámbito de la industria son para la formación

y entrenamiento de actividades y la visualización de datos complejos y

simulaciones.

De las investigaciones referenciadas, las que hacen mención a la arquitectura

del sistema, proponen etapas de toma de datos e información del entorno,

digitalizado y/o modelado de los mismos y luego la generación de entornos

para la visualización de la información en cuestión. Esto es lo que se ha

propuesto para los CASOS I y II donde la RV constituirá un medio para la

mejora de la fase de diseño.

Para el caso de las arquitecturas de RA, en la bibliografía se ha encontrado lo

siguiente:

Las aplicaciones mayoritarias en el ámbito de la industria son para tareas de

montaje y mantenimiento, de formación y entrenamiento de personal aunque

también hay algunas referencias muestran la aplicación de esta tecnología en

el ámbito del diseño y cálculo de componentes o elementos y procesos de

producción.

De las investigaciones referenciadas, las que hacen mención a la arquitectura

del sistema, reflejan como necesarios tres niveles en las aplicaciones: (1) un

primer nivel para la generación de los contenidos a proyectar, (2) un nivel de

visualización y (3) un sistema de almacenamiento de datos, es decir servidor y

BBDD. Para la visualización de la información se podrían emplear tanto

dispositivos móviles como tabletas o móviles como gafas de RA (Hololens).

D.1.2 Componentes y arquitectura del sistema

Este apartado recoge el contenido del entregable E1.2. Informe de componentes y

arquitectura del sistema y otros resultados asociados.

D.1.2.1 Componentes del sistema

Como ya se indicó en 2016, para la implementación física de los escenarios o casos

de estudio planteados, se concibió la configuración del laboratorio de realidad

virtual y realidad aumentada que responde al esquema que se muestra en la

siguiente Figura 1, donde también se pueden observar los componentes del mismo.

Para instalarlo, se reservó un espacio físico, resultante de unir dos salas.





Página 14 de 52

Figura 1. Distribución en planta de laboratorio RV y RA

El laboratorio se divide en dos partes: una de trabajo y otra de demostración. En la

parte de trabajo está el PC sobre el que se va a programar y modelar las soluciones.

Además de contar con el proyector 3D, los armarios en los que se guardan todos los

dispositivos y un par de escritorios. La parte de demostración será la zona de uso del

HTC Vive y cuenta con un televisor y un proyector 3D, en los que se pueda compartir

la información que en cada momento esté siendo visualizada por el usuario de un

determinado dispositivo. En la distribución también se ha tenido en cuenta la

necesidad de disponer de un área libre de obstáculos suficiente para permitir el

movimiento libre del usuario. A su vez, se han evaluado aspectos para asegurar un

ángulo de visión óptimo y evitar choques, requisitos del sistema de audio para una

adecuada inmersión del usuario, etc.

Todos los equipos, tanto las Oculus Rift, como las HTC Vive o incluso la pantalla de

televisión, están conectados al ordenador central, desde el que se pueden manejar

con el software pertinente instalado. Una vez recepcionados los componentes e

instalados, se procedió con la configuración de los diferentes elementos en el espacio

físico seleccionado, verificando el correcto ajuste y funcionamiento de los

diferentes componentes. El detalle del resultado, corresponde a los trabajos

realizados en 2017 y su detalle se puede ver en el apartado D.3.1.3.

D.1.2.2 Selección de casos de uso, componentes y arquitectura del sistema

Ya durante 2016, se establecieron como prioritarias 3 posibles aplicaciones o casos

de uso y, para cada uno de ellos, se evaluaron los diferentes requerimientos del

sistema y del usuario. Debido a su importancia, a continuación se resume cada caso,

habiendo sido presentado el detalle de su arquitectura en la anualidad 2016.

CASO I: Visualización información 3D de piezas (RV). El objetivo de este caso de

aplicación es el de visualizar piezas y modelos 3D utilizando dispositivos de realidad

virtual. El caso de uso consiste en crear un visualizador de piezas y modelos 3D en

tecnología RV y, tras los avances realizados en la anualidad 2017, el dispositivo

empleado para ellos pueden ser las gafas de realidad virtual Oculus Rift y los mandos

Oculus Touch o bien las Gafas HTC Vive con los Mandos HTC.





Página 15 de 52

Es decir, el caso de uso que se ha logrado en la anualidad 2017 es multiplataforma, ya

que se ha utilizado el plug-in SteamVR en los desarrollos y en las pruebas realizadas

en esta anualidad, se ha comprobado que SteamVR permite que la aplicación

desarrollada se pueda usar indistintamente con ambas parejas de

dispositivos/mandos. Como entorno de desarrollo se utilizó el software Unity, al contar

con las librerías necesarias para programar en un entorno de realidad virtual

entendible para los dispositivos mencionados.

CASO II: Visualización información 3D simulaciones mediante Realidad Virtual.

El objetivo de este caso de uso consiste en crear un visualizador de modelos

tridimensionales con datos generados a partir del software de simulación de

comportamientos de piezas y/o de fluidos. Los resultados de este software (ANSYS)

muestra fundamentalmente aspectos como reparto de cargas mecánicas,

aerodinámicas, etc. Dichos resultados se muestran como una escala de colores sobre

la pieza, en función del resultado buscado. El caso de uso consiste por tanto en crear

un visualizador de modelos tridimensionales con datos generados a partir de software

técnico de simulación empleados durante el proceso de ingeniería (imagen

tridimensional de la pieza), siendo clave conseguir en la visualización la escala de

colores según los resultados aportados por el software ANSYS. Al igual que para el

caso anterior, tras los avances realizados en la anualidad 2017, en este caso se

pueden emplear dos dispositivos: las gafas de realidad virtual Oculus Rift y los mandos

Oculus Touch, o las Gafas HTC Vive con los Mandos HTC.

En este caso se empleó Unity 3D como motor gráfico y entorno de desarrollo, dado

que incluye las librerías necesarias para SteamVR y OpenVR, que son los sistemas

usados por HTC Vive. No obstante, como se ha indicado anteriormente, gracias al uso

de SteamVR, la aplicación desarrollada sirve tanto para los dispositivos HTC Vive

como Oculus Rift. Como ya se indicó en la anualidad 2016, se eligió Visual Studio para

el desarrollo de la algorítmica, dado que admite una integración mayor con el lenguaje

de programación C#, con el framework .NET y con el sistema operativo Windows

Nótese que, en el desarrollo de los casos de uso, se ha hecho una aplicación adicional

para análisis y simulación de sistemas de producción, basándose en los casos I y II.

Es decir, no sólo se pueden visualizar las piezas sino que hay una opción adicional

que permite visualizar procesos de fabricación (por ejemplo, fabricación aditiva, etc.).

CASO III: Visualización información de máquinas (RA). El objetivo que se persigue

se centra en mostrar información utilizando dispositivos de realidad aumentada, de

modo que los operarios puedan controlar los procesos y sistemas productivos. En este

caso, como dispositivos de RA se usan las gafas de realidad aumentada desarrolladas

por Microsoft y conocidas como Hololens.

Como ya se indicó en la anualidad 2016, respecto al entorno de desarrollo, se decidió

utilizar Unity y Visual Studio 2015 (Update 3), y como lenguaje de programación C#.

Se ha decidido utilizar esos entornos de desarrollo por su nivel de profundidad técnica





Página 16 de 52

y, en el caso de Visual Studio, además se ha tenido en cuenta que es una herramienta

utilizada a diario en múltiples desarrollos de PRODINTEC y que además es un

producto también de Microsoft, siendo compatible con Hololens. En efecto, estos

dispositivos cuentan con su propio SDK compatible completamente con Unity y Visual

Studio.

En la anualidad 2017 se avanzó en el desarrollo de la aplicación, de tal manera que

los equipos de producción son reconocidos a través de un código QR que lleva a la

“Data storage” donde se encuentra la base de datos. De este modo, a través del

software visualizador, desde las gafas el operario ve información sobre los datos de

proceso en las máquinas. De hecho el operario verá dos tipos de información y a su

vez, podrá interaccionar con la aplicación desarrollada:

Alertas: el operario puede recibir alertas en la propia aplicación que le

informarán de incidencias o peligros que puedan existir.

Datos de procesos: el operario verá las tareas que debe desarrollar en el

equipo, y desde planificación le informarán de la urgencia o prioridad.

A modo de resumen, en la siguiente Tabla 2 se incluye la información más relevante

definida respecto a los diferentes casos de estudio. Cabe destacar que para los casos

I y II, la aplicación desarrollada finalmente es multiplataforma gracias a la utilización

del plug-in SteamVR, por lo que se pude utilizar indistintamente con cualquiera de los

dispositivos indicados: Gafas Oculus Rift o Gafas HTC Vive.

Tabla 2. Resumen de requisitos de los casos de estudio.

CASO I CASO II CASO III

Objetivo Visualizar piezas y modelos 3D

Visualización datos simulación

Visualizar datos máquinas

Entorno de desarrollo

- Unity

- Visual Studio 2015

- Librería IOpen VR

- Unity 3D

- Visual Studio

- Librería Steam VR

- Librería Open VR

- Unity

- Visual Studio 2015

- SDK Hololens

Lenguaje programación

C# C# C#

Datos de entrada Fichero CAD3D Pieza Fichero CAD3D simulación

Información de procesos para máquinas

Dispositivos Aplicación multiplataforma: Gafas Oculus Rift + Gafas HTC Vive

Gafas Hololens

Sistema reconocimiento

Mandos Oculus (para gafas Oculus Rift) para reconocimiento gestual operario / Mandos HTC (para Gafas HTC Vive) para reconocimiento gestual operario

Códigos QR o LEDs de reconocimiento de máquinas





Página 17 de 52


D.2.1 Diseño de entornos virtuales y aumentados

Durante la anualidad la anualidad 2016 se hizo un diseño preliminar de los entornos

virtuales y aumentados si bien fueron completados y finalizados durante la anualidad

2017.

D.2.1.1 Diseño de entornos virtuales

Para el caso de la Realidad Virtual, y basándose en la estructura de la sala definida

en la Figura 1, una vez se implementaron las inversiones asociadas a este laboratorio

de Realidad Virtual y Aumentada (número de expediente IDI/2016/000252), se

dispusieron todos los elementos en la misma.

D.2.1.1.1 Sala del Laboratorio de RA-RV

Una vez se tuvieron instalados en la sala todos los elementos en la disposición

deseada, se utilizó otro equipamiento adquirido por medio de otra inversión (número

de expediente IDI/2016/000256), el Escáner FARO. Utilizando este equipamiento, se

escaneó la sala donde se instala el Laboratorio de Realidad Virtual y Aumentada.

Como resultado de ello, se obtuvo una nube de puntos (Figura 3), que posteriormente

fue tratada y modelada hasta obtener la imagen 3D necesaria para poder utilizar en el

desarrollo. Una vez se trató y modeló, el resultado de la imagen en la aplicación de

Realidad Virtual resulta como se muestra en la Figura 8. En el apartado D.2.2 se

detalla la necesidad de replicar esta sala debido al método de desplazamiento utilizado

en Realidad Virtual.

A continuación se detalla el proceso aplicado para obtener una representación lo más

precisa posible del emplazamiento real del entorno del Laboratorio de Realidad Virtual

– Realidad Aumentada. En la Figura 2 se muestran los pasos seguidos para obtener

en entorno de la sala del laboratorio y los principales elementos (hardware o software

usados en cada uno de ellos).





Página 18 de 52

Figura 2. Proceso de obtención de la imagen de la sala de RA-RV

A continuación se presenta el detalle de cada uno de los pasos.

PASO 1. ESCANEAR. Como se ha indicado, para el proceso de obtención de datos

se usa el láser escáner FOCUS 3Dx con HDR de FARO. Los datos generales de dicho

escáner se presentan en la Tabla 3:

Tabla 3. Características escáner utilizado.

Escáner láser FOCUS 3Dx con HDR. FARO

Rango (m) 0.6 - 130

Error (mm) ± 2

Ruido (mm) 0.3 @ 10m

Resolución (mm) 1.5 @ 10m

Software Faro Scene

El propósito de un escáner 3D es, de forma general, crear una nube de puntos a partir

de muestras geométricas en la superficie del objeto. Estos puntos se usan para

extrapolar la forma del objeto (reconstrucción). Puede incluir también información de

color en cada uno de los puntos. El modelo que se obtiene con un escáner 3D

describe la posición en el espacio tridimensional de cada punto analizado. Por lo

general se requieren varias tomas desde diferentes direcciones, para obtener

información de todos los puntos del objeto. El funcionamiento general se basa en lo

siguiente:





Página 19 de 52

1. A través de un haz láser, el escáner calcula la distancia, desde el emisor hasta

un punto de un objeto al alcance de su trayectoria.

2. Mediante uno o varios espejos giratorios, el escáner hace incidir dicho haz

láser en puntos dentro de una zona del espacio, proporcionando así la

distancia a todos esos puntos.

3. La nube generada contiene información sobre la distancia entre sí de los

distintos puntos del objeto

4. Para orientar las tomas generadas con el escáner, se utilizan aplicaciones

software con el que se obtiene un modelo 3D.

En cuanto a la tecnología utilizada, se distinguen dos tipos de escáneres; con o sin

contacto.

Los escáneres con contacto examinan el objeto apoyando el elemento de

medida sobre la superficie del mismo lo que provoca que pueda ser dañado o

modificado.

Los escáneres sin contacto permiten detectar la estructura de uno o varios

elementos sin modificar su configuración. Dentro de los escáneres sin contacto

se diferencia entre escáneres activos o pasivos.

o Los activos emiten algún tipo de señal y analizan su retorno a fin de

obtener la geometría de un objeto o escena. Se pueden utilizar

radiaciones electromagnéticas o ultrasonidos y se puede distinguir entre

tiempo de vuelo, triangulación láser, diferencia de fase, holografía

conoscópica, luz modulada y luz estructurada.

o Los pasivos detectan la radiación reflejada en el ambiente. La mayoría

detectan la luz visible ya que es una radiación disponible en el

ambiente. Pueden utilizarse otros tipos como el infrarrojo. Suelen ser

más económicos que los pasivos ya que no precisan casi en ningún

sitio un hardware particular.

En el caso del escáner láser de Faro utilizado en este proyecto, se trata de un escáner

sin contacto basado en tiempo de vuelo (activo). Es decir, mide el tiempo transcurrido

entre la luz emitida y la recibida y utiliza dicha medida para estimar la distancia al

objeto. El haz láser emitido es continuo y de potencia modulada. Su precisión depende

de la modulación y frecuencia utilizada. Como característica adicional al escaneo,

permite realizar fotografías con las que componer una imagen panorámica 360º con la

que asignar color a la nube obtenida en el paso anterior. Una vez aplicado el láser

escáner para el procesamiento completo de la sala, se obtiene una nube de puntos

como la mostrada en la Figura 3 y que deberá ser procesada en el siguiente paso.





Página 20 de 52

Figura 3. Nube de puntos del Laboratorio de Realidad Virtual y Aumentada y dimensionamiento

del espacio escaneado

Cabe destacar que para lograr dicha nube de puntos, el dispositivo láser se emplazó

en el punto indicado en la Figura 4.

Figura 4. Procesamiento de los datos escaneados.

PASO 2. PROCESAR. En la Figura 5 se puede observar tanto el escáner como el

software empleado (del propio FARO, Faro Scene) para gestionar los puntos

obtenidos en la etapa anterior.





Página 21 de 52

Figura 5. Dispositivo y software para el escáner láser.

El software Faro Scene ha sido diseñado de forma específica para los escáneres láser

Focus. Permite procesar y administrar datos de escaneo de manera eficiente mediante

el registro en tiempo real, el reconocimiento automático de objetos, el registro de

escaneo y el posicionamiento.

Una vez obtenida la nube de puntos asociada al laboratorio (paso 1), se observa que

está formada por 43.162.145 puntos, ocupando un espacio de 1.67 GB por lo que se

procede a reducirla para facilitar su manejo a la hora de modelar los objetos

contenidos en el espacio. Para ello se utiliza el software CloudCompare,

multiplataforma y de código abierto, que permite el procesamiento de imágenes. De

esta forma, se ha obtenido una nube de puntos compuesta por 4.624.747 puntos y

ocupando un espacio de 66 MB. En la Figura 6 se muestra un detalle de la nube de

puntos antes y después del procesado.

Figura 6. Nube de puntos antes y después del procesamiento

PASO 3. MODELAR. El modelado se realiza con ayuda de Blender, software

profesional, libre y de código abierto para la creación de películas de animación,

efectos visuales, modelos 3D etc. Permite desde modelado 3D hasta simulación de

partículas, movimientos o renderizados. Incluye un motor de juego integrado.

Adicionalmente, para la creación de texturas similares a las reales, se utiliza el

software Gimp, un editor de imágenes multiplataforma libre y con permisos para





Página 22 de 52

cambiar su código fuente y distribuir dichos cambios. Permite la creación de texturas y

mapas relacionados con ellas, a fin de incrementar el nivel de realidad en los modelos

diseñados.

(a) Color map (b) Height map (c) Normal map

Figura 7. Creación de texturas

En la Figura 8 se muestra una imagen renderizada del laboratorio modelado obtenida

como resultado de las actividades realizadas.

Figura 8. Réplica virtual del Laboratorio de RA y RV - Fabrica2020

PASO 4. IMPLEMENTAR APLICACIÓN. En esta etapa se usa Unity3D, motor de

videojuegos que permite realizar aplicaciones en las que reproducir los entornos

diseñados. Presenta una gran versatilidad a la hora de definir comportamientos y

funciones para objetos en tres dimensiones, ya que permite utilizar algunos

predefinidos previamente en el software y además realizar nuevos comportamientos

particulares a través de lenguajes de programación como C# o JavaScript, por lo que

favorece la inmersión y la interacción con el entorno modelado. El detalle de este paso

se detalla en el apartado D.2.2 y D.2.3.





Página 23 de 52

Además de diseñar el propio laboratorio (sala de gran tamaño) en el que se sitúa el

entorno de la aplicación, durante la etapa de implementación (apartado D.2.3) se han

debido diseñar ciertos elementos que aparecen en el mismo, tales como las máquinas

/ equipos. Todos ellos se ven en las aplicaciones finales detalladas en el apartado

D.3.1 así como las primeras pruebas de integración mostradas en el citado apartado.

Estos modelos fueron realizados utilizando el software técnico Rhinoceros y

posteriormente importado al entorno de la RV, con el tratamiento correspondiente para

asegurar la compatibilidad, si fuera necesario. Todo ello fue realizado y detallado en la

tarea de implementación (apartado D.2.3).

D.2.1.2 Diseño de entornos aumentados

Para el caso de Realidad Aumentada, se importa el modelo 3D directamente según

se indica posteriormente, pero no se ha debido realizar ningún tipo de diseño de

entorno adicional puesto que la imagen se proyecta directamente sobre el entorno

realidad. En la Figura 9 se muestran los elementos que componen los dispositivos de

Realidad Aumentada y que hace que dichas proyecciones sean posibles. En la parte

frontal en la zona central hay una cámara tipo webcam que ve en el espectro visible

mientras que en los laterales de la parte frontal hay dos cámaras de tecnología light

coding junto los proyectores de patrón infrarrojo. Las cámaras de light coding detectan

en el espectro infrarrojo. La información que el usuario ve, es gracias a un proyector

que está en el interior de las gafas.

Figura 9. Elementos del dispositivo de Realidad Aumentada ((izqda.) e información del punto

(dcha.)

Sabiendo que estos son los elementos del dispositivo, la cámara del espectro visible

es la que observa en entorno real, en nuestro caso de aplicación, detecta el código

QR. La posición de un punto dado (por ejemplo, aquella en la que se encuentra el

código QR), lo detectan las cámaras IR (infrarrojas), dando la profundidad (zp), el

patrón proyectado. De esta manera, una cámara detecta el patrón QR y la otra

determina su posición y orientación, a partir de la proyección de una normal en el plan

formado por (xp, yp). Con estos datos, el desarrollo realizado descrito en el siguiente

apartado, proyecta la información necesaria unos 10/20 cm con respecto a ese punto,





Página 24 de 52

en un primer momento. En cualquier caso, hay una función en el software Unity

llamada “Add Force”, que hace que esa información proyectada a unos 10/20 cm del

punto identificado, se proyecte cerca del punto para evitar que elementos del entorno

no permitan una buena proyección de la información.

D.2.2 Desarrollo de las aplicaciones software

Inicialmente, se realizó un diseño de aplicaciones software basado en pantallas para

las aplicaciones de Realidad Virtual, pero posteriormente se decidió que este se

clasificará en zonas/entornos y que será común para el Caso I y II. Cuando se habla

de hacer un “entorno común” para ambos casos, se refiere a hacer un entorno de

visualización común de cara al usuario. Sin embargo, el tratamiento que se hace de

las piezas (desarrollo de las aplicaciones software) que se muestran (diseño/

ingeniería) es distinto. De hecho, es mucho más complejo en el caso II (ingeniería)

pues las piezas no sólo muestran información de su geometría sino que, además,

añaden información de los resultados de la simulación en forma de paleta de colores,

tal y como se muestra en el propio software de simulación (ANSYS). Es decir, cada

color representa un resultado de la simulación realizada (posibles tensiones, roturas,

etc.). De este modo, cuando este tipo de piezas son importadas en la realidad virtual,

no se representa únicamente su geometría sino que también se muestran los

resultados de la simulación, es decir, las diferentes capas y zonas en las que la

simulación ha dado un resultado diferente (de ahí la mayor complejidad, aunque de

modo sencillo y al ojo humano, un color diferente).

De este modo, partiendo de los diseños preliminares de la anualidad 2016, en 2017 se

ha finalizado el diseño de los casos de uso, tanto para RV como para RA. En la Figura

10 se muestra el diseño final de los entornos y funciones definidos para los casos

de RV (I y II). Nótese que en este caso se habla de descripción y funciones desde un

punto de vista general, pero el nivel de desarrollo del software para permitir la

visualización las piezas, es mucho más complejo en el caso de la pieza del caso II

(ingeniería) por los motivos indicados anteriormente.





Página 25 de 52

Figura 10. Diseño final de entornos y funciones del Caso I. Diseño y Caso II. Ingeniería de RV

Además, de estos casos de estudio de RV, se ha incluido un caso adicional asociado

con el análisis y simulación de los sistemas de producción. En la Figura 11 se muestra

el detalle del diseño final de los entornos.

Figura 11. Diseño final de entornos y funciones del Caso* Producción





Página 26 de 52

En la anualidad 2016 se estudiaron las principales metodologías de desplazamiento en

el entorno de RV, que se pueden resumir en: 1. Desplazamiento en primera persona

con mando, 2. Desplazamiento en tercera persona con mando, 3. Desplazamiento con

mando realizando saltos de posición, 4. Impedir desplazamiento, sistema de niveles y

5. Cinemáticas.

Para los casos de uso de este entorno, se ha decido aplicar 3 de estas metodologías:

Desplazamiento en primera persona con mando, Desplazamiento con mando

realizando saltos de posición e Impedir desplazamiento, sistema de niveles. Cada uno

de ellos se aplicará en determinadas situaciones o acciones de los casos de estudio,

según se indica en la Figura 12.

Para poder proceder a su implementación en las aplicaciones desarrolladas se han

implementado una serie “Assets” o plantillas de movilidad que incorporan el código de

programación que permite ese movimiento y para las diferentes tecnologías con las

que contamos.

Figura 12. Metodologías de desplazamiento para el Caso I. Diseño y Caso II. Ingeniería de RV

En la Figura 13 se muestra el diseño final de los entornos y funciones definidos

para el caso de RA (Caso III): existen una serie de pantallas hasta llegar a la pantalla

“final” en la que el operario ve la información sobre los procesos de máquina y su

estado, así como las alertas que le hacen llegar. Igualmente es importante destacar

que, desde esta pantalla, el operario puede interaccionar con la aplicación, por

ejemplo, para marcar las tareas finalizadas.





Página 27 de 52

Figura 13. Definición pantallas y funciones preliminares. CASO III “Visualización información de

máquinas mediante RA”

A continuación se destacan las principales problemáticas encontradas durante el

desarrollo de este software, tanto para Realidad Virtual como Realidad Aumentada:

Limitaciones de los archivos: las primeras pruebas se realizaron con archivos

de imágenes 3D tipo .wrl (formato en el que se puede guardar desde el

software Blender). Por ello, la primera idea fue la aplicación directa de estos

archivos. Sin embargo, uno de los principales problemas encontrados al tratar

los archivos .wrl (o VRML, virtual reality modeling language) es que son muy

complejos de manejar. Por ello, se ha decidido trabajar basándose en el

concepto de programación de objetos, con archivos .ply (polygon file format) y

.stl (standard triangle language), más sencillos de manejar que los anteriores.

Los arhivos tipo .ply contienen texto, código binario o ambos. Basándose en el

concepto de programación de objetos, se ha desarrollado un importador que

convierte un archivo .wrl en uno tipo .ply. Este importador se aplica en el Caso

II-Ingeniería, leyendo los datos del archivo en el orden que tiene que ir (normal,

puntos, color, etc.). Igualmente, para el Caso I-Diseño, se ha hecho un

importador para archivos .stl siendo en este caso más sencillo pues la

información necesaria son los puntos, no es necesario saber ni normales ni

colores, como en el caso anterior.

Limitaciones de Unity: Unity tiene un límite de operativa en 65.000 vértices. Por

lo que si un objeto es más grande, lo debe partir en distintos objetos. Además,

Unity, al igual que Windows, Android, etc., si tiene una tarea en ejecución que

tarda mucho, la interfaz se bloquea. Más en particular, en la RA-RV, se debe

refrescar unas 90 veces por segundo por lo que no se puede ejecutar nada que

vaya a tardar mucho ya que, de lo contrario, se congelaría la imagen. Por ese

motivo, para evitar que el sistema se “cuelgue” o ralentice durante la ejecución

de las distintas aplicaciones desarrolladas, el desarrollo del software se ha

hecho basándose en el concepto de hilos y co-rutinas, que se implementan a

través del código de programación:





Página 28 de 52

o Hilos (o thread en inglés): es un proceso ligero o subproceso, es decir,

secuencia de tareas encadenadas muy pequeña que puede ser

ejecutada por un sistema operativo. Un hilo es simplemente una tarea

que puede ser ejecutada al mismo tiempo que otra tarea. Los hilos de

ejecución que comparten los mismos recursos, sumados a estos

recursos, son en conjunto conocidos como un proceso. El hecho de que

los hilos de ejecución de un mismo proceso compartan los recursos

hace que cualquiera de estos hilos pueda modificar estos recursos.

Cuando un hilo modifica un dato en la memoria, los otros hilos acceden

a ese dato modificado inmediatamente. El proceso sigue en ejecución

mientras al menos uno de sus hilos de ejecución siga activo. Cuando el

proceso finaliza, todos sus hilos de ejecución también han terminado.

Asimismo en el momento en el que todos los hilos de ejecución

finalizan, el proceso no existe más y todos sus recursos son liberados.

Los hilos son utilizados en toda la aplicación y no se pueden interrumpir

hasta que terminan.

o Co-rutinas: la principal diferencia con los hilos es que se pueden parar

antes de que terminen de ejecutarse y luego continuaría.

En la Figura 14 se explica la aplicación de hilos y co-rutinas en esta aplicación.

Se puede observar que hay dos hilos, un hilo principal de la interfaz gráfica y

un hilo de carga. Cuando se quiere cargar un fichero, desde la interfaz gráfica

se genera una co-rutina que fotograma a fotograma la va poniendo en marcha,

asegurando así que los fotogramas por segundo no superan los máximos que

hacen que la imagen se congele o la aplicación se ralentice.

Figura 14. Uso de hilos y co-rutinas en la programación de las aplicaciones





Página 29 de 52

A continuación se describen los retos particulares de cada caso de uso detectados en

el momento de su definición y la manera en la que se les ha hecho frente en cada

caso:

RETOS Y SOLUCIONES DEL CASO I (DISEÑO):

Compatibilidad ficheros. Es muy importante elegir el formato de fichero

correcto y utilizar un sistema gestual entendible y sencillo para el usuario La

solución en este caso ha sido la de aplicar la operativa propia desarrollada tras

realizar las diversas pruebas de funcionalidad mostrada en la Figura 24.

Selección de funciones. Hay que decidir si las acciones se harán mediante

movimientos de las manos, pulsando botones en los mandos, etcétera. En

principio, es probable que se utilicen los botones de los mandos, ya que estos

ofrecen un sistema universal de uso, esto es; al pulsar determinado botón, se

realiza una acción. En cambio, con los gestos, cada usuario podría realizarlos

de una manera distinta que dificulte la interacción con la aplicación

Finalmente, por simplificación en el manejo, se ha optado por implementar las

acciones directamente sobre los botones de los mandos.

RETOS Y SOLUCIONES DEL CASO II (INGENIERÍA):

Área de trabajo. Teniendo en cuenta que el operario se movería en torno a la

pieza, se hace necesario realizar el seguimiento en un área relativamente

amplia y libre de obstáculos para no dificultar el movimiento del usuario Se

escogió la distribución del laboratorio amplia, según detalle en el apartado

D.1.2.

Renderizado óptimo. Se debía tener en cuenta que los motores de

renderizado en tiempo real solo admiten modelos texturizados, de lo contrario

podría aumentar el coste de renderizado e incrementar la tasa de fotogramas

por segundo, provocando mareos al usuario. Por tanto se deberá realizar una

adaptación previa de los ficheros Se ha desarrollado un importador basado

en la programación de objetos, para crear archivos .ply que pudieran ser

utilizados fácilmente en este entorno.

RETOS Y SOLUCIONES DEL CASO III (REALIDAD AUMENTADA):

Visualización de la información. Lograr una buena posición en la que mostrar

la información, sin interferir en lo que se está viendo en el plano real Se

proyecta la imagen unos 10 o 20 cm de donde se encuentra el puntero láser y,

posteriormente, se añade la función “Add force” para que desde ese punto se

proyecte sobre una posición “más fija”.

Sistema de reconocimiento de máquina. Se hace necesario encontrar un

sistema de reconocimiento óptimo, que permita obtener la información

rápidamente y sin acercarse demasiado a la máquina para reconocerla. Entre

las opciones a considerar estarían los códigos QR o los dispositivos LEDs





Página 30 de 52

Finalmente se ha optado por los códigos QR ya que son más económicos y

más sencillos de modificar. Además, es una solución más efectiva de cara a

desarrollos futuros y ampliaciones.

D.2.3 Implementación de los casos de uso

Partiendo de los entornos visualizados, donde fue necesario, y con los diseños de los

entornos y las aplicaciones software desarrolladas, se procede a implementar los

casos de uso en la sala asignada para el Laboratorio Fabrica2020. A continuación se

hace un resumen de las pruebas y principales conclusiones a las que se llegó en el

proyecto y que fueron la base para el desarrollo de las aplicaciones finales detalladas

en el apartado D.3.1. En la anualidad 2016 se realizaron unas pruebas preliminares

que permitieron establecer las bases de las implementaciones realizadas en 2017, es

decir, permitieron determinar las debilidades de las aplicaciones para orientar de una

manera más efectiva los trabajos de esta línea.

D.2.3.1 Resumen de las pruebas de implementación

Durante la anualidad 2017, partiendo del conocimiento generado en 2016, se ha

realizado la importación de los modelos 3D en sus versiones finales.

Pruebas de implementación para Realidad Virtual (Caso I – Diseño y Caso II –

Ingeniería): las principales pruebas relacionadas con este caso, se resumen a

continuación.

Importación de los diseños 3D en el entorno de realidad virtual:

.1. Importación de la sala de realidad aumentada: basándose en el proceso

detallado en el apartado D.2.1.1.1, se disponía de un archivo en formato

.blend o .fbx que se podía abrir desde el software Blender. Este archivo podía

importarse perfectamente en el software Unity3D. Los resultados de estas

pruebas de implementación fueron favorables.

.2. Importación de los equipos desarrollados: para implementar los casos de uso,

se han debido desarrollar elementos adicionales, como las máquinas de AM o

los equipos de post-procesado. Durante las pruebas, se ha comprobado que

los archivos (.3ds) generados desde el software técnico Rhinoceros, una vez

abiertos en el software Blender, tienen un problema para poder ser usados en

el software Unity3D. Anteriormente se mencionó que Unity3D tiene un límite

de vértices que puede tratar de cara a ofrecer una experiencia atractiva al

usuario (sin ralentizaciones, imágenes congeladas, etc.). Teniendo esto en

cuenta, los archivos de las máquinas tienen vértices duplicados y un gran

número de vértices que no permite que el software Unity3D pueda abrirlo. Por

lo tanto, gracias a las pruebas, se comprobó que estos archivos debían ser

retocados y, por lo tanto, hubo que simplificar (reducir el número de vértices)

de manera manual en todos estos equipos en el software Blender, antes de

llevarlo a Unity3D. Las siguientes imágenes lo muestran.





Página 31 de 52

La Figura 15 muestra un elemento superior del equipo de AM en plástico

P100. Al abrirlo en Blender, sólo este elemento tiene 9.079 vértices. Por lo

tanto, de manera manual han debido de eliminarse dobles vértices (resultado

de la importación directa desde Rhinoceros).

Figura 15. Detalle del equipo P100 (elemento superior) vista “en bruto” – vista en Blender

Tras este procesamiento, se ha logrado reducir el número de vértices a 576.

Posteriormente, se ha extendido este proceso, a cada elemento adicional del

equipo y a su totalidad, como se muestra más abajo.

Figura 16. Detalle del equipo P100 (elemento superior) vista “tras procesamiento” – vista en

Blender





Página 32 de 52

Una vez finalizado el proceso, el equipo total queda representado de manera

óptima en Blender con un total de poco menos de 4.000 vértices para todo el

equipo, según el detalle de la Figura 17.

Figura 17. Imagen 3D del equipo P100 importado en el software Blender

Este mismo proceso se ha realizado para el resto de equipos que se

utilizaban. En la siguiente imagen se muestra la imagen del equipo de

limpieza antes del ajuste manual para reducir el número de vértices. Una vez

reducido este número, se importó correctamente al software Unity3D.

Figura 18. Imagen 3D del equipo de limpieza importado en el software Blender





Página 33 de 52

El mismo proceso aplica al equipo de empaquetado, mostrado en la imagen

inferior.

Figura 19. Imagen 3D del equipo de empaquetado importado en el software Blender

La Figura 20 muestra el resultado del proceso manual de simplificación de los

ficheros 3D de los equipos, para el caso particular de la máquina AM de

metal. En este caso, el resultado muestra 4.637 vértices.

Figura 20. Imagen 3D del equipo de AM SLS importado en el software Blender





Página 34 de 52

Cabe destacar que, además de estos equipos, hubo otros elementos que

debieron diseñarse y tratarse en Blender, antes de ser exportados a Unity3D.

Es el caso del logo de PRODINTEC mostrado en la imagen inferior (506

vértices), y que juega un papel activo en los casos de Realidad Virtual como

se muestra en la aplicación final de los mismos.

Figura 21. Imagen 3D del logo de PRODINTEC importado en el software Blender

.3. Importación de las piezas de simulación. En la anualidad 2016 se realizó esta

importación con una pieza sencilla; en la anualidad 2017 se realizaron las

pruebas de implementación con piezas más complicadas como la mostrada en

la Figura 22.





Página 35 de 52

Figura 22. Pieza usada en el Caso II (ingeniería)

Para realizar las pruebas, en este caso se utilizó el resultado de los cálculos

mecánicos obtenidos con ANSYS, exportado en formato VRML (.wrl). De

nuevo, como este archivo contiene gran cantidad de información (información

del sólido, de los mapas de esfuerzo, deformaciones o velocidad y de las

leyendas de colores de dichos cálculos), resultó necesario su tratamiento para

su visualización en el software de modelado de entornos virtuales BLENDER.

De hecho, con las pruebas preliminares realizadas en 2016 se constató que,

tras importar el archivo en el UNITY, la información del cálculo mecánico no

era apreciable debido a que trata la información como un sólido sin materiales

o texturas. Por este motivo, a lo largo de 2017 se desarrolló el importador que

transforma el archivo .wrl a .ply y, con éste último, ya se pueden observar los

rangos de colores, mejorando así la experiencia del diseño, mostrándose el

detalle en el HITO 3. En la Figura 23 se muestra esta nueva pieza una vez

convertida a formato .ply (usando el software Meslab) para poder ser

importada en la aplicación de RV.

Figura 23. Resultados del cálculo con ANSYS importados en el Blender





Página 36 de 52

Creación de elementos 3D adicionales sobre Unity3D. Otros elementos 3D

utilizados no han tenido pruebas de implementación especialmente complicadas,

porque han sido creados desde el propio software Unity3D. Esto es el caso de la

vitrina / pecera (Figura 26) detallada en apartados posteriores, que se obtuvo de

unir dos cubos dentro de dicho software.

Pruebas de funcionamiento / usuario: todos los ajustes y pruebas del punto 1 y 2,

se han podido hacer gracias a las pruebas de funcionamiento y de aceptación del

usuario. De esta manera, cuando la aplicación se ralentizaba, fue cuando se

trabajó en reducir el número de vértices de las imágenes 3D mencionadas

anteriormente o bien, la programación en base a objetos del importador detallado

en el apartado D.2.2.

Pruebas de implementación para Realidad Aumentada (Caso III): las principales

pruebas relacionadas con este caso, se resumen a continuación:

Determinar el espacio de visualización de los dispositivos RA: por defecto, el

dispositivo sólo identifica una determinada zona predefinida (4x4 m). Así, se ha

debido trabajar en ampliar la zona del taller en la que se trabaja ya que, en caso

contrario, el sistema no identificaba adecuadamente el código QR. De hecho, una

de las cuestiones que se comprobó es que si el código QR no está en la zona que

observan las gafas (la zona de escaneo donde se crea la malla 3D), el cursor

(punto de luz) con el que se interacciona entre el mundo real y el aumentado se va

al infinito. Adicionalmente, se comprobó que, en caso de que haya ventanas en el

escenario, no se les puede dar profundidad, dado que el sistema no es capaz de

identificar el plano de la ventana y, por lo tanto, no se consigue la identificación

automática del QR.

Detección del código QR: inicialmente se utilizó una librería que no era totalmente

reconocida por la Universal Windows Platform con la que trabajan las gafas. Para

conseguir un total reconocimiento, se tuvo que reformar dicha librería y

recompilarla para que pudiera trabajar en dicha plataforma y que las gafas

pudieran detectar y leer los códigos QR.

Pruebas de funcionamiento de las cámaras del dispositivo RA: en las pruebas

iniciales también se detectaron problemas con las librerías con las que se accedía

a la cámara frontal del dispositivo de RA. De esta manera, hubo que acceder a ella

con una librería para detección de QR.

D.2.3.2 Conclusiones de las pruebas de implementación

A continuación se resumen las principales conclusiones de las pruebas de

importación de modelos 3D:

Identificación de aspectos críticos del proceso de diseño, importación y tratamiento

de información: la cantidad de polígonos que presentan las piezas, la posibilidad





Página 37 de 52

de introducción de texturas realistas o la capacidad de mantener piezas fijas en el

espacio.

o Realidad virtual: los modelos 3D que se importan a Unity 3D deben tener un

número reducido de vértices y por ello se requiere un paso intermedio en el

que se debe simplificar el modelo 3D en Blender para que éste pueda operar

correctamente en Unity 3D.

o Realidad Aumentada: en el caso de las Hololens para RA, su capacidad para

mantener piezas fijas en el espacio resultó ser muy satisfactoria pero, por el

contrario, la limitación de polígonos es más crítica, lo que condiciona el resto

de los desarrollos, tal y como se explicó en el punto anterior.

Calidad de la importación según el tipo de archivo: mediante estas pruebas

también se constató que los archivos importados en Blender con formato 3d Studio

(.3ds) resultaron tener una mejor calidad de malla que los importados en VRML

(.wrl) o en STL (.stl).

o Realidad virtual y realidad aumentada: por lo tanto, siempre que se puede se

trabaja con archivos .3ds por su mejor calidad. No obstante, hay que

asegurarse que los archivos bajo estos formatos cumplen las limitaciones de

Unity3D para el paso posterior, tal y como se indicó en el punto anterior.

Gracias a las pruebas realizadas en la anualidad 2017, se ha re-definido la operativa

de trabajo para generar piezas y elementos en un entorno virtual a partir de

información generada desde un programa de diseño CAD3D (Ver Figura 24). Como

puede comprobarse, la sistemática de trabajo consiste en que desde programa

CAD3D se dibujan los elementos (piezas, espacios, etc.), desde ahí hay que

convertirlo a un formato compatible (*.fbx, wrl o 3ds) desde el software Blender. Una

vez se dispone del formato compatible desde Blender, se debe comprobar si el archivo

tiene menos de 65.000 vértices. Si tiene menos de esa cantidad de vértices, se puede

importar directamente a Unity. En caso contrario, debe lograrse que el archivo cumpla

ese criterio, simplificando el archivo en Blender o bien partiéndolo en varios objetos

(opciones existentes dentro del propio software Blender). Una vez cumple el requisito,

ya se puede importar a Unity.





Página 38 de 52

Figura 24. Nueva operativa de trabajo para asegurar compatibilidad ficheros 3D.


En este apartado se recogen las versiones finales de las distintas aplicaciones de

Realidad Virtual y Realidad Aumentada que se han definido para cada caso de

estudio. Igualmente, se recoge un resumen de las pruebas y validación de las

tecnologías asociadas a cada caso de uso, realizadas con técnicos expertos y/o

operarios para que pudieran dar su feedback como usuarios finales de la misma.

D.3.1 Aplicación final

A continuación se detallan las aplicaciones finales para cada caso de estudio.

D.3.1.1 Aplicaciones finales de Realidad Virtual (Diseño e ingeniería)

En todas las aplicaciones de Realidad Virtual, la primera acción realizada fue la de

simular el escenario del Laboratorio de Realidad Virtual y Aumentada de modo virtual.

Esta réplica virtual del escenario real, permite al usuario orientarse cuando utiliza las

gafas de Realidad Virtual y facilita su interacción con este medio, al ser totalmente fiel

en dimensiones y apariencia con el mundo real. Este escenario virtual, basado en el

real (Figura 36), queda como se mostró anteriormente en la Figura 8.

Para las aplicaciones, la base de cada una de ellas, ha sido el diseño final de la

aplicación detallado en la sección D.2.2. Así, para la aplicación de diseño, se ha

concebido un “visualizador virtual” que corresponde a la vitrina mostrada en la Figura





Página 39 de 52

25. Dentro de este visualizador, se puede dejar la pieza de la cual se quiere observar

el diseño y, dándole a una palanca (ver Figura 25), se puede aumentar o disminuir la

imagen (zoom). En la vitrina, la pieza queda “flotando”, como si no tuviera gravedad.

Figura 25. Visualizador virtual de piezas

Cuando se accede a la aplicación, se selecciona la pieza que se quiera ver y

aparecerá en la pantalla. Con ayuda de los mandos (los cuales también se ven en la

pantalla) se puede manipular la pieza en las “manos” y desplazarse en el escenario

hasta dejarlo en la vitrina, si se requiere (Figura 26). En el caso de la imagen inferior,

se muestra una imagen de una pieza tras haber sido simulada por elementos finitos y

en la cual se puede ver, en función de los colores, los resultados de dicho cálculo

(aplicación de RV para Ingeniería).

Figura 26. Visualización y manejo de la pieza (caso de ingeniería)

Una vez en la vitrina, cuando ésta se deposita, quedaría “flotando” como se ve en la

Figura 27 y según se indicó anteriormente. De esta manera, la pieza muestra los

resultados de la simulación realizada por el software técnico de elementos finitos

(ANSYS), donde las diferencias de color pueden representar aspectos como: (1) Las





Página 40 de 52

tensiones a las que está sometido el componente, (2) Las deformaciones que

ocasionan dichas tensiones o los (3) Mapas de velocidad y de presiones. Es decir,

esta pieza muestra el resultado directo mostrado en el software en función del tipo de

simulación realizada. Dentro de la vitrina, se puede ampliar o disminuir su tamaño, al

igual que sucedería con cualquier pieza depositada dentro de esta vitrina.

Figura 27. Pieza mostrada en vitrina

Se puede hacer de igual manera para comprobar el diseño de una pieza, siendo el

funcionamiento el mismo (aplicación de RV para Diseño) que el indicado para el caso

de ingeniería detallado anteriormente. En la Figura 28 se muestra como, al igual que

en el caso anterior, se escoge la pieza y con los mandos, se puede desplazar hasta la

vitrina.

Figura 28. Visualización y manejo de la pieza (caso de diseño)

Una vez se posiciona la pieza en la vitrina, ésta queda como volando sobre la misma,

tal y como se indicó anteriormente. En la Figura 29 se muestra cómo se ve la pieza en

el visualizador. El número que se observa detalla la escala a la que se visualiza en ese

momento, como resultado de aplicar el zoom.





Página 41 de 52

Figura 29. Visualización de la pieza (caso de diseño)

Una de las cuestiones más importantes es el modo en el que la pieza se puede ver y

el detalle de la misma. Al cargarse directamente el fichero CAD, se ve tal y como se ha

diseñado, según se muestra en la Figura 30.

Figura 30. Visualización de la pieza (caso de diseño)

Adicionalmente, entre los objetivos del proyecto se establecía el de simular y analizar

los procesos de producción y, para ello, se modelaron virtualmente una selección de

equipos de producción. En dicha selección se incluyeron los equipos de fabricación

aditiva P100 y M270 y dos equipos adicionales de post-procesado. El escenario es el

mostrado en la Figura 31 y se basa en el detalle de la aplicación mostrada en la

sección D.2.2.





Página 42 de 52

Figura 31. Escenario virtual – procesos de producción

Este escenario muestra las capacidades de distribución en planta, simulando una

distribución de los equipos, de cara a analizar las interacciones entre ellos, la

comodidad y la seguridad para los trabajadores, etc. Además, podrán incorporarse

nuevas adquisiciones al modelo y estudiar su disposición y manejo óptimo de los

sistemas, por medio de este tipo de herramientas.

D.3.1.2 Aplicaciones finales de Realidad Aumentada (Control de procesos)

Es importante recordar que esta aplicación final se basa en el esquema mostrado en la

Figura 32 y que consta de diversos elementos: [1] elementos hardware: código QR en

equipos de producción y las gafas de RA, y [2] elementos software, tales como la parte

de almacenamiento de datos, el visualizador software y el sistema de reconocimiento

del equipo.





Página 43 de 52

Figura 32. Esquema de la aplicación

En la Figura 33 se muestra la estructura de la base de datos de la aplicación de RA

(tablas, campos y relaciones). En la misma se observan distintos puntos: (1) Personal

se refiere a los usuarios de PRODINTEC (planificación y taller); (2) Tareas se refiere a

lo que se solicite en relación al control de procesos, operaciones a realizar, alertas y/o

avisos, entre otros; (3) Máquinas es el equipo al que se refieren las tareas.

Figura 33. Base de datos

En cada una de las máquinas de fabricación aditiva seleccionadas para el caso de la

aplicación se debe situar un código QR, que será único para cada una de ellas. En la

imagen inferior se ven los equipos de fabricación aditiva M270 (metal) y P100

(plástico) donde se ven los códigos QR, siendo éstos actualizados a lo largo del

proyecto.





Página 44 de 52

Figura 34. Código QR posicionado en los equipos de fabricación aditiva

Una vez listos los códigos QR, la base de datos y el resto de desarrollos software de la

aplicación, se comprueba el correcto funcionamiento de toda la aplicación con el

dispositivo de RA. La Figura 35 muestra una captura de la aplicación de una máquina

donde se listan las operaciones asociadas. Esta ventana se muestra después de

haber identificado el código QR, viéndose las tareas de la máquina seleccionada (la

captura de pantalla mostrada en la figura se realiza por streaming de video, gracias a

una conexión WiFi y, por ello, la calidad no es muy alta).

Figura 35. Visualización de tareas / operaciones para una máquina dada

El detalle de las operaciones que permite la aplicación desarrollada se describe en el

apartado D.3.2.2, pues las funcionalidades han sido optimizadas gracias a la

validación realizada por el operario y mostrada en dicha sección.

D.3.1.3 Laboratorio – Fabrica2020

Todas estas aplicaciones finales han podido implementarse gracias a que las

inversiones asociadas estaban totalmente instaladas y listas en la zona habilitada para

ello. En la Figura 36 se observa el detalle de este laboratorio.





Página 45 de 52

Figura 36. Laboratorio de Realidad Virtual y Realidad Aumentada – Fabrica2020

D.3.2 Pruebas y validación de las aplicaciones

Una vez se han desarrollado las aplicaciones finales, se realizan las pruebas de

validación de la tecnología tanto por parte de los desarrolladores como de los técnicos

expertos y/o operarios que le darán uso en sus respectivos casos de aplicación. En los

siguientes apartados se detallan las pruebas realizadas para cada uno de los casos de

estudio.

D.3.2.1 Realidad virtual (Diseño e Ingeniería)

Si bien se han realizado diversas pruebas, a continuación se describe la prueba de

validación para el caso de uso de Diseño (Caso I). El caso de uso para Ingeniería

(Caso II) es similar cambiando el tipo de pieza. En la Figura 37 se observa cómo es la

pantalla principal antes de seleccionar ninguna pieza. En la Figura 38 se muestra

cómo el usuario (técnico/operario) accede al entorno del caso de uso y a los botones

azules para seleccionar la pieza que quiere visualizar.





Página 46 de 52

Figura 37. Pantalla principal de acceso

En la zona de la derecha de la imagen de la pantalla y del entorno en RV aparece el

logo de PRODINTEC dando vueltas sobre sí mismo, mientras la pieza se carga. Una

vez cargada la pieza, aparece en el aire (según se ve en la imagen inferior).

Figura 38. Selección de pieza

Una vez que la pieza seleccionada se carga acaba cayendo al suelo. Desde el suelo

se debe coger con los mandos. Una vez se recoge, se puede girar sobre la mano o

llevarla a la vitrina/pecera en la que se puede agrandar o reducir de tamaño.

Si se quiere llevar a la vitrina / pecera, una vez depositada queda flotando en la misma

(Figura 39) en la escala de tamaño original. Si se quiere agrandar o reducir, con los

mandos se accede a la palanca para aumentar o reducir el tamaño según hacia donde

se gire.





Página 47 de 52

Figura 39. Pieza depositada en la vitrina/pecera

Una vez que la pieza se tiene depositada en la vitrina/pecera, se ve que si se mueve la

palanca (se marca en otro color), hacia un lado u otro se incrementa o reduce el

tamaño, según se indica en el texto asociado mostrado en la vitrina.

Figura 40. Cambio de tamaño de la pieza

Se muestra igualmente el caso de uso en el que se trataba de analizar y simular los

procesos de producción (modelado de equipos de fabricación aditiva y post-proceso).

Al acceder a la aplicación, el técnico/operario visualiza los cuatro equipos que se han

modelado según se observa en la Figura 41.

Figura 41. Entorno de acceso para la aplicación de los equipos de producción

Para acceder a cada una de las máquinas desde esta primera pantalla, hay que

“teletransportarse” con ayuda del mando. Una vez cerca de los equipos, se puede





Página 48 de 52

interaccionar con ellos. Por ejemplo, en el caso de la máquina de fabricación aditiva,

se pueden crear piezas, pulsando distintos botones según se detalló en el diseño de la

aplicación (cada botón crea distintas piezas).

Una vez creada la pieza, se abre la puerta (Figura 42), ayudándose para ello del

mando que maneja el técnico – operario.

Figura 42. Apertura de puerta de la máquina de fabricación aditiva

Una vez se abre y se descubren las piezas, el técnico – operario puede cogerlas y

desplazarlas a donde quiera. Una vez cogida la pieza, ésta se puede desplazar y

depositar donde se quiera.

Otra de las interacciones posibles es con la desempaquetadora, abriéndola como se

mostraba anteriormente.

Figura 43. Interacción del técnico – operario con otro equipo (desempaquetadora)

Las pruebas de validación de los casos anteriores se han realizado con el dispositivo

HTC Vive, pero como ya se indicó, el desarrollo es totalmente compatible con otros

dispositivos, como las HOLOLENS.

Con todo ello, ha quedado demostrado que las aplicaciones desarrolladas para RV en

los casos de estudio seleccionados son fáciles de usar, intuitivas y adecuadas. Es

decir, han sido validadas correctamente por sus usuarios. Asimismo, se ha

comprobado que las aplicaciones software son compatibles con todos los dispositivos

disponibles, al haber hecho un desarrollo multiplataforma.

D.3.2.2 Realidad aumentada

De cara a probar y validar la tecnología de Realidad Aumentada, se ha contado con la

colaboración de Técnicos Expertos y operarios de Fabricación que han procedido a

probarlo durante sus tareas diarias con los equipos de fabricación aditiva. Durante la

ejecución de las tareas, se ha trabajado principalmente con dos equipos: EOS P100





Página 49 de 52

(material plástico) y EOS M270 (material metálico). El operario, al utilizar las gafas de

Realidad Aumentada recibe la s siguiente información:

Planificación de las tareas asignadas a lo largo del día.

Recepción de alarmas asociadas a los trabajos realizados. Ahora mismo, la

funcionalidad está implementada de un modo manual, si bien la previsión es

que en un futuro puedan implementar de manera automática e integrar con

otros equipos.

La pantalla que se observa es la mostrada en la Figura 44, donde se observan las

tareas y los avisos / alarmas asociados a un equipo dado. En dicha imagen se observa

la fecha en la que se lanza la petición, la persona de planificación que la ordena, la

tarea asociada (código), la persona de taller asignada para realizarlo y posibles

comentarios asociados que se indiquen desde planificación. El operario, una vez haya

finalizado la tarea, puede interaccionar con la aplicación, marcando “Marcar

completado” y, en ese momento, la tarea desaparecería de la lista.

Figura 44. Pantalla de la aplicación: alertas y tareas para control de proceso (detalle)

En caso de que sea necesario dar una alerta o un aviso al operario, no es necesario

que se identifique un código QR. Por ejemplo, el personal de planificación puede

generar una alerta o aviso y, gracias a la conexión WiFi del dispositivo, el texto

aparecerá proyectado en el entorno como se muestra en la siguiente imagen.





Página 50 de 52

Figura 45. Captura de aviso/alerta en la aplicación de RA

Con ello, se ha procedido a validar el desarrollo de la aplicación. En la imagen inferior,

se ve al operario comprobando los trabajos de la máquina de fabricación aditiva en

plástico, pudiendo interaccionar en paralelo con la máquina y con la aplicación. A nivel

positivo, ha indicado que la aplicación es intuitiva y que se ahorra el tener que

consultar el ordenador o estar en contacto telefónico. Además, al tener las manos

libres, es más sencillo y ahorra tiempo. En cuanto a la parte negativa, se indica que el

tener las gafas de RA, hace que después de un tiempo, se sienta un poco mareado.

En este sentido, habría que minimizar el tiempo que el operario lleva este dispositivo,

además de tener en cuenta la autonomía del sistema.

Figura 46. Técnico / operario de taller probando las tecnologías de RA

En la imagen inferior, se ve al operario validando la aplicación para el equipo de

fabricación aditiva en metal. Los comentarios aportados tras la validación son

similares.





Página 51 de 52

Figura 47. Técnico / operario de taller probando las tecnologías de RA

Con todo ello, ha quedado demostrado que las aplicaciones desarrolladas para RA en

los equipos seleccionados son fáciles de usar, intuitivas y adecuadas. Es decir, han

sido validadas correctamente por sus usuarios. Asimismo, se ha comprobado el

correcto funcionamiento de los desarrollos software.


Los resultados incluyen asistencia a diferentes ponencias en la materia, asistencia a

eventos, visita de empresas interesadas, etc. Igualmente se han identificado empresas

interesadas en esta solución y se ha desarrollado el modelo de negocio asociado al

mismo. Los eventos con asistencia y/o participación de PRODINTEC relacionados con

la Realidad Virtual y Aumentada son los siguientes:

Evento/Taller: Organización y participación en la Jornada “Exploring Additive

Manufacturing impact in Defence capabilities”

o Fecha: 12 de Septiembre de 2017

o Lugar: Laboral Ciudad de la Cultura y PRODINTEC, Gijón (Asturias,

España).

o Asistente: Equipo de proyecto de PRODINTEC.

o Información: https://www.eda.europa.eu/info-

hub/events/2017/09/12/default-calendar/exploring-additive-

manufacturing-impact-in-defence-capabilities

o Descripción: en el marco del proyecto de estudio de viabilidad de las

tecnologías de fabricación aditiva, PRODINTEC junto con la EDA,

organizó este evento. Dentro del mismo, había reservado un hueco en

la agenda para visitar PRODINTEC, entre las que se incluía visita real

de la fábrica móvil de AM (contenedor) y visita por medio de realidad

virtual de la misma.

Evento/Taller: Participación en el “7º Congreso Internacional de Ergonomía y

Psicosociología Aplicada”

o Fecha: 10 de Noviembre de 2017

o Lugar: Avilés (Asturias, España).

o Asistente: Luis Pérez

https://www.eda.europa.eu/info-hub/events/2017/09/12/default-calendar/exploring-additive-manufacturing-impact-in-defence-capabilities







Página 52 de 52

o Información: http://congreso.ergonomos.es/programa-tecnico.html

o Descripción: la ponencia trataba sobre cómo la industria y los procesos

de fabricación han cambiado y evolucionado significativamente a lo

largo de las diferentes revoluciones industriales, mejorando las

condiciones de trabajo y la productividad gracias a la introducción de

nuevas tecnologías. En la ponencia se han tratado, entre otras

cuestiones, las aplicaciones de realidad virtual y realidad aumentada

pues son ya una realidad en muchos puestos de trabajo para la

formación, el manejo de equipos, la asistencia remota, etc.

Evento/Taller: Impartición del Módulo 2. Retos tecnológicos de la Smart

Factory del “Máster Industria 4.0” – Título Propio de la Universidad de Oviedo,

parte asociada a Realidad Virtual y Aumentada.

o Fecha: 11 y 12 de Diciembre 2017

o Lugar: PRODINTEC, Gijón (Asturias, España).

o Información: http://masterindustria40.es/

o Asistente: Luis Pérez y Eduardo Diez.

o Descripción: PRODINTEC ha impartido el curso asociado a Realidad

Virtual y Aumentada dentro del Módulo 2. Retos tecnológicos de la

Smart Factory Máster Industria 4.0” con parte teórica y demostraciones

en vivo, posibles gracias a los desarrollos realizados en el marco de

este proyecto. Número de alumnos: 15.

http://congreso.ergonomos.es/programa-tecnico.html

http://masterindustria40.es/

INFORME TÉCNICO 2017 PROGRAMA ASTURIAS 2016-2017 … · la integración de tecnologías de...

Documents

Transcript of INFORME TÉCNICO 2017 PROGRAMA ASTURIAS 2016-2017 … · la integración de tecnologías de...