RealidadVirtualyAumentada enelEntornoIndustrial

Dr.-Ing. Jorge Posada Velsquez

Director Adjunto / Zuzendari Laguntzailea jposada@vicomtech.org Elgoibar, 27/10/2011

Vicomtech-IK4
Centro de

Centro de Investigacin Aplicada

Aplicada en tecnologas de Tecnologas de

Investigacin

Interaccin Visual y Comunicaciones, Computer Graphics y Multimedia. Ubicados en el Parque Tecnolgico de San Sebastin, desde 2001 Miembros de y de

+100 investigadores (24 Ph.D.) Ingenieros, Informticos, etc. Ingresos 2010: 6,1 MEUR. 50% cuota industrial 43 publicaciones cientficas en Conferencias y Journals en 2010

Areas

Digital TV and Multimedia Services

DVB Standars, new representation formats, TV & Internet

Biomedical Applications and e-Health

Medical Image Analysis, virtual analytics, e-health, telemedicine

eTourism and Cultural Heritage

Tourism applications, real-time traffic management, Heritage Recovery

Industrial Applications in Engineering & Transport

VR/AR, Interactive 3D, artificial vision, Simulation, Semantic and CAD,

3-D Animation and Interactive Virtual Environments

Mutiplattaform-multilanguage Interfaces, avatars, e-Learning, Serious Games

IK4 Research Alliance

Computer Graphics, Realidad Virtual/Aumentada para Industria

El uso de Computer Graphics en entornos industriales y de ingeniera ha sido uno de los primeros casos de xito histricos de dichas tecnologas (ej. CAD, prototipado virtual, etc.). Este uso ha evolucionado a gran velocidad tanto en la industria como en la investigacin y hoy en da est avanzando an ms rpido gracias a los ltimos avances tecnolgicos de hardware y software. La Realidad Virtual y la Realidad Aumentada (su extensin) son parte de un continuo, en el cual las tecnologas de Computer Graphics se integran y aportan ms valor.

Milgram, Takemura
6

Virtual Reality & Augmented Reality en el Product Lifecycle

Tradicionalmente, el uso de estas tecnologas en diseo de detalle, simulacin y visualizacin de procesos (interactiva, visual o en tiempo real), la formacin y tareas de design review ha sido importante y creciente.

Actualmente, y gracias al avance tecnolgico en hardware y software, tambin otros aspectos como el mantenimiento o el diseo conceptual.

Cada vez son ms importantes las sinergias con otras tecnologas complementarias, como computer vision y tecnologas semnticas.

Virtual Reality & Augmented Reality en el Product Lifecycle

Semantic Technologies

Computer Vision

VR/AR & CG
8

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

Simulacin - Configuradores de Producto Visualizacin realista de productos configurables Configuracin interactiva de parmetros constructivos, opciones seleccionables y materiales Catlogos virtuales interactivos que van ms all de las imgenes Orientado al diseo paramtrico para preparacin de ofertas o comunicacin un cliente,

10

Proyecto CONFICAB
Configuracin visual esttica de cabinas de ascensor
Control de dimensiones, estilos, materiales, espejos, pasamanos, iluminacin, suelo, botonera, distribucin, accesos, etc. Regeneracin inmediata con cualquier cambio

11

Proyecto CONFICAB
Configurador visual interactivo 3D de cabinas de ascensor
Muestra el aspecto final segn parmetros y verifica fabricabilidad Preparacin de ofertas instrucciones para fabricacin e

Conectado a mdulo de reglas de configuracin de Ikerlan

Imagen de alta calidad

espejos, reflejos, metales, etc.

Versiones escritorio y Web Aplicable a otros configuradores y catlogos paramtricos 3D

12

Proyecto CONFICAB

13

Proyecto CONFICAB

Video
14

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

15

MIROWALK
Advanced Semantic Techniques for Interactive 3D Navigation in Large CAD Model Visualization

16

Proyecto MIROWALK
Introduccin
Visualizador de Grandes Modelos para revisin de diseo (design review) con base en Realidad Virtual y Tecnologas Semnticas

Motivacin
El Design Review permite identificar de forma temprarna errores de diseo y ahorrar costes de fabricacin La navegacin natural y la percepcin e inmersin en un ambiente de Realidad Virtual facilita el trabajo del diseador en al fase de revisin de diseo .

Solucin Propuesta
Combinacin de tecnologas avanzadas de visualizacion 3D interactivas (simulacin de diseo en realidad virtual) con tecnologas semnticas de simplificacin del modelo.

17

Proyecto MIROWALK

Video
18

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

19

Interactive, Real-Time physical based simulation for Engineering (example of Clean-Sky JTI)

Video

Cortesa de nuestro socio estratgico Fraunhofer IGD

20

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

21

Proyecto SIMCUT
SIMCUT: Simulacin visual en tiempo real de punzonado y corte de chapa (plasma, oxicorte, laser, agua) Investigacin graphics en geometra computacional y computer

22

Proyecto SIMCUT

Programas CNC de corte como entrada Visualizacin y animacin de instrucciones CNC sincronizadas la mquina, trayectorias, chapa,

23

Proyecto SIMCUT

Video 1

Video 2
24

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

25

Proyecto INGEINNOVA
Simulacin en Realidad Virtual, en los nuevos estndares de Web3D nativos-, de resultados reales de clculo de brazos robticos en plantas industriales

26

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

27

Proyecto SIMUMEK

Simulacin 3D interactiva de procesos de mecanizado CNC

28

Proyecto SIMUMEK

Simulacin 3D interactiva de procesos de mecanizado CNC

Dos modos: monitorizacin en mquina, simulacin independiente

Ncleo geomtrico propio desarrollado sin licencias externas

Fresado, Torneado, Torno con eje C Algoritmos de eliminacin de material, rendering, cambios de herramienta, optimizacin geomtrica

Integracin en entornos software (mediante un API expuesto a aplicaciones):

Educativo (Alecop WinUnisoft) Control CNC (FAGOR)
29

Proyecto SIMUMEK

Torno realizando roscado

Mecanizado complejo

Pieza torneada y suavizada

Fresado mostrando mordazas y texturas Torno con eje C

30

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

31

Simulacin de vehculos, mquinas, procesos

Simulacin interactiva en primera persona de vehculos y maquinaria de construccin Se necesitan sistemas de visualizacin y de control especiales. Se busca una realidad virtual inmersiva
Pantallas convencionales, pantallas 3D, proyecciones estereoscpicas, HMDs (head-mounted displays) Dispositivos de interaccin (mandos, pedales, volantes) y de tracking (trackers pticos, magnticos o ultrasnicos) para determinar posiciones y orientaciones de usuario, objetos, herramientas

Objetivo: utilizar virtualmente esos vehculos o mquinas sin necesidad de ellos, sin riesgos, consumos o gastos reales. Tpicamente se emplean para formar: habilidades, tcnicas manuales, uso de mquinas, conduccin

32

Proyecto Europeo VARTRAINER Versatile augmented reality simulation for training in the safe use of construction machinery

(+ mltiples socios)

33

Proyecto Europeo - VARTRAINER

Simulacin interactiva en primera persona de vehculos y maquinaria de construccin
Retroexcavadora, dumper, plataforma elevadora, montacargas Visualizacin en forma de realidad aumentada con grficos de calidad y simulacin de condiciones meteorolgicas Destinado a formacin para la seguridad en el trabajo Versin completa con cabina y versin PC reducida

34

Proyecto VarTrainer
Proyecto Europeo Motivacin
El sector de la construccin es de alto riesgo Se producen multitud de accidentes por personal poco preparado para situaciones peligrosas

Solucin tecnolgica
Simulacin de maquinaria de construccin
Vehculos: Excavadora, Volquete. Elevadores: Montacargas, plataforma de trabajo

Entrenamiento orientado al usuario final Grficos de alta calidad para aumentar realismo

Objetivos
Entrenamiento seguro de personal
Plataforma mvil con cabina real y HMD (casco virtual)
35

Entrenar situaciones peligrosas.

Proyecto VarTrainer
Simulacin verstil
Plataforma mvil + cabina y controles reales Controles estndar de juegos de PC (gamepad)

Mezcla de Realidad Virtual y Realidad Aumentada

Utilizacin de HMD estreo, inmersivo. Tcnica de chroma-key Seguimiento de usuario (marcador infrarrojo)

Elementos de VR
Simulacin de excavacin Efectos realistas atmosfricos
36

Proyecto VARTRAINER
Visualizacin en realidad aumentada
HMD con cmaras y chroma-key (fondo azul) Tracking por marcador ptico IR.

37

Proyecto VARTRAINER

Video

38

Proyecto FORKSIM
Simulacin interactiva elevadoras (forklifts) en primera persona de carretillas

Simulacin fsica de elementos de la mquina y cargas Control con volante y pedales Visualizacin en pantalla de retroproyeccin estreo o HMD

39

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

40

Proyecto MACHS

41

Proyecto MACHS MACHS: Formacin para mquina-herramienta. el mantenimiento de

Expertos crean cursos virtuales en Realidad Virtual e manera sencilla El simulador los carga y presenta al alumno como un juego serio.

Modos de funcionamiento
Simulacin: el sistema muestra los procedimientos automticamente Ejercicio: el alumno realiza paso a paso las tareas en el simulador. El sistema le puede corregir

Caractersticas
Modelo virtual 3D de la mquina con diferentes cmaras Partes interactivas (partes mviles, tapas, pernos, medidores) Mensajes de ayuda superpuestos

42

Proyecto MACHS

Video 1

Video 2

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

44

Proyecto SIMUSOL
Simulacin interactiva en primera persona de soldadura manual por arco elctrico Sistema de visualizacin inmersiva con HMD Control por tracking 3D de herramienta
Tracking magntico 6 DOF para control del visor y del portaelectrodo

45

Proyecto SIMUSOL
Set-up

46

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

47

Simulacin para formacin online

Los sistemas de e-learning se despliegan en Internet y presentan sus contenidos en interfaces Web
Contenidos que siempre contienen mucho texto, algunas imgenes y pocos contenidos de otro tipo Modelos 3D interactivos, entornos virtuales y simulaciones pueden mejorar la transmisin de conocimiento en estos cursos electrnicos

Aadir visualizaciones 3D o simulaciones interactivas en este medio tiene muchas limitaciones: la Web no permite el mismo desarrollo que la programacin un PC completo. Existen estndares de contenidos 3D en la Web y recientemente han surgido nuevas tecnologas que amplan enormemente las posibilidades de visualizacin 3D avanzada en Internet

48

Proyecto Europeo: EWINDTECH

Formacin online sobre mantenimiento de turbinas elicas incluyendo simulaciones 3D en Realidad Virtual Curso e-learning de acceso a travs de Internet Dos tipos de contenidos virtuales:
Modelos 3D interactivos que simulan el comportamiento de un molino Videos 3D prediseados que muestran partes especficas o aspectos del funcionamiento en mayor calidad http://www.ewindtech.net/

49

Proyecto EWINDTECH

Video

50

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

51

Maintenance

SEMTEK
Semantic Based Maintenance using mobile devices and Augmented Reality

52

 Introduction
Mobile Augmented reality steered by semantics to support Maintenance Tasks The application of agent theory is a key factor in this project. Conventional software systems are designed for static worlds from which a perfect knowledge has been already acquired. SEMTEK, however, deals with dynamic and uncertain contexts where the computational system has only a local vision of the world and has limited resources.

Motivation
As test case we chose the Industrial Maintenance scenario and we mixed traditional VR-AR techniques with semantic technologies (ontologiesSOEKS) embedded in portable devices (UMPC, PDA). The use of novel techniques like the Set Of Experience Knowledge Structure (SOEKS) allowed us to model and embed user experience in the system

Objectives
To enhance a maintenance task with the aid of VR-AR portable systems To use a Semantic approach to support the Maintainer (user) experience
53

Maintenance

SEMTEK (IV)

54

EJEMPLOS VR/AR EN ENTORNO INDUSTRIAL

55

Tecnologas Virtuales Aplicadas, con foco a largo plazo, para el Ciclo de Vida de Producto)

Cortesa de nuestro socio estratgico DFKI (Centro Alemn de Inteligencia Artificial), socio de GraphicsMedia.net
56

Video 1

Video 2

57

Conclusiones
Hay un uso cada vez mayor en la Industria y la Academia de tecnologas de Computer Graphics, Realidad Virtual y Realidad Aumentada con el fin incrementar la productividad de las empresas. Las tecnologas complementarias de Computer Vision y Tecnologas Semnticas son cada vez ms importantes e sus sinergias con la Realidad Virtual y Aumentada en entornos industriales. Ideas que se crean inalcanzables hace slo unos aos en estos mbitos, ahora se pueden realizar gracias al tremendo avance de la ciencia y la tecnologa base.

La realidad virtual y la realidad aumentada pueden afectar todas las facetas del ciclo de vida de producto .

58

Conclusiones
Y lo ms importante.

ZORIONAK IDEKO!!!!
Dr.-Ing. Jorge Posada Velsquez
Director Adjunto / Zuzendari Laguntzailea Vicomtech-IK4 jposada@vicomtech.org
59

60