Virtual Reality & Interaction Virtual Reality Input Devices Output Devices Augmented Reality Applications Virtual Reality Input Devices Output Devices.

  • Published on
    17-Apr-2015

  • View
    103

  • Download
    1

Transcript

<ul><li> Slide 1 </li> <li> Virtual Reality &amp; Interaction Virtual Reality Input Devices Output Devices Augmented Reality Applications Virtual Reality Input Devices Output Devices Augmented Reality Applications </li> <li> Slide 2 </li> <li> 2 Realidade Virtual O que Realidade Virtual? O que voc entende por Realidade Aumentada? O que Realidade Mista? Qual a diferena bsica entre RV imersiva e no imersiva? Descreva o ciclo basico para se realizar realidade virtual? Por que latncia um dos pontos chaves em RV? Explique por que uma pessoa pode sentir nuseas ao fazer RV. Quais os dispositivos ("devices") mais comuns para se fazer realidade virtual (de entrada e de sada)? Descreva a utilidade bsica e aplicao de cada um deles (pelo menos 5). Fale sobre os ambientes virtuais compartilhados. </li> <li> Slide 3 </li> <li> 3 What is Virtual Reality? Simples: Ambiente imersivo com head-tracker, head-mounted-display, luvas e/ou wand Global: Computao Grfica interativa Nossa definio: Um sistema imersivo interativo </li> <li> Slide 4 </li> <li> 4 Preenchendo a mente A mente tem o estranho desejo de acreditar que o mundo percebido real. -Jaron Lanier Iluso de profundiade: Paralaxe estreo (disparidade) Paralaxe devido a movimento da cabea Disparidade devido a movimento de objetos Acomodao visual Escala de textura Interao: pegue um objeto no ambiente e mova-o Sinais proprioceptivos: quando voce move o brao e v uma mo onde voce acredita que sua mo esteja, voce a aceita como sua prpria mo. Aceita o visto como real mesmo que a parte grfica seja pobre </li> <li> Slide 5 </li> <li> 5 Ciclo interativo Display deve ser continuamente redesenhado (usualmente estreo). Usurio move-se constantemente. Posies so acompanhadas de algum modo. Posio de visualizao modelo so atualizados. De volta ao passo inicial. Tracking Recalc geometry Redisplay </li> <li> Slide 6 </li> <li> 6 Low Latency is Key latncia: tempo decorrido entre percepo da mudana e atualizao da imagem relativa. 1 msec latencia leva a erro de 1 mm A velocidades normais de cabea/mos. 50 msec (1/20 sec.) comum. Caso contrrio, usurio sente nusea O ouvido interior diz que houve movimento mas seus olhos dizem o contrrio Efeito maior para a viso perifrica (exemplo: nibus movendo ao lado) Nusea um problema srio para plataformas de motion Chamada de mau do vmito Cmera-mans fazem movimentos de cmera lentos </li> <li> Slide 7 </li> <li> 7 Entrada: Acompanhando (Head/Hand tracking) Magntico Transmissores estacionrios, receptores nas mos ou num chapu Mais antigo, mais comum Rpido (4 ms de latncia, 120Hz para Polhemus Fasttrak) Objetos de metal e campos magnticos causam interferncia (e.g. CRTs) Acsticos Funcionam bem em pequenas reas Rudos de fundo interferem ticos (1) Cmera na cabea captura LEDs no teto (UNC HiBall) Preciso (0.2 mm posio) e rpido (1 ms latency, 1500 Hz) No disponvel comercialmente tico (2) Cmera na cabea captura marcas no ambiente Sistema de Viso Computacional calcula posio da cmera Muito simples e barato Lento (pode pular frames inteiros - 30 ms) </li> <li> Slide 8 </li> <li> 8 Input: Tracking Head/Hand 2 Inerciais Acelermetros miniatura Susceptveis a trao Hibridos Intersense combina inercial para velocidade e acstico para detectar trao Atualizao a 150 Hz, latncia extremamente baixa Muito caro, porm </li> <li> Slide 9 </li> <li> 9 UNC HiBall Tracker Caera v atravs de 6 lentes LEDs pulsando no teto Muito preciso (0.2 mm de erro de posio) Rpido (1 ms latency, 1500 Hz) http://www.cs.unc.edu/~tracker/ </li> <li> Slide 10 </li> <li> 10 Entrada: Sentindo as mos Tecnologias primitivas: mouse ok para posio 2D, pobre para desenhar/orientao joystick, trackball Bom para movimentos pequenos e lentos Estiletes sessveis a presso Bom para desenhar Wand tracker com botes acoplados Pode incluir um joystick/joybutton ou trackball Maneira simples de pegar objetos virtuais Rotacionando objeto em sua mo prov sentido forte de realidade mas no tem force-feedback Data glove captura ngulos de cada junta de cada dedo Mais graus de liberdade do que geralmente preciso baixa preciso </li> <li> Slide 11 </li> <li> 11 Entrada e sada: Hptico Hptico significa relacionado ao sentido do tato input: sentir posio/orientao dos dedos/mos output: force-feedback Exemplos: Joystick mecnico de force-feedback: 2 ou 3 graus de liberdade (DOF): x,y,(twist toro do pulso) brao robtico, ex: Phantom Dispositivo hptico de levitao magntica 6 DOF Ralph Hollis at CMU http://www.cs.cmu.edu/afs/cs/project/msl/www/haptic/haptic_desc.htmlhttp://www.cs.cmu.edu/afs/cs/project/msl/www/haptic/haptic_desc.html plataforma de movimento para simulador! Phantom maglev haptic device </li> <li> Slide 12 </li> <li> 12 Entrada: Affective Computing Sentindo ateno e emoes do usurio: gestoe postura voz eixo visual respirao pulso &amp; presso sangunea atividades eltricas dos msculos condutncia da pele http://www.media.mit.edu/affect/ Altera comportamento do sistema de acordo com estas medidas Sentindo a sade do usurio: http://www.bodymedia.comhttp://www.bodymedia.com - Pittsburgh company </li> <li> Slide 13 </li> <li> 13 </li> <li> Slide 14 </li> <li> 14 Sada: seqncia de imagens renderizadas Historicamente, as grandes SGIs Agora PCs esto entrando na histria, exceto: Alguns problemas com estreo Banda passante interna (placa me) Demanda do sistema Pelo menos 30 frames/sec; 60 melhor vezes 2, para estreo resoluo mais alta que se possa conseguir pelo menos de 1 a 40K polgonos renderizados por quadro (mais seria melhor) </li> <li> Slide 15 </li> <li> 15 Sada: Display Technologies Head mounts Imersivo No-imersivo (realidade aumentada) Projection displays CAVE-type IDesk/IScreen Fishbowl VR O mais simples Monitor comum, use Quicktime VR Para fazer estreo, uma imagem diferente para cada olho trivial para head mounts use shutter glasses left &amp; right imagens entrelaadas culos polarizados ou culos red/blue left &amp; right imagens superpostas (tica) </li> <li> Slide 16 </li> <li> 16 CAVEs A room with walls and/or floor formed by rear projection screens. </li> <li> Slide 17 </li> <li> 17 CAVE Details Typical size: 10 x 10 x 10 room 2 or 3 walls are rear projection screens Floor is projected from above One user is tracked (usually magnetically) He/she also wears stereo shutter goggles And carries a wand to manipulate or move through the scene Computer projects 3D scenes for that viewers point of view on walls Presto! Walls vanish, user perceives a full 3D scene Turning head doesnt necessitate redraw, so latency problems are reduced But, view is only correct for that viewer! cost is very high </li> <li> Slide 18 </li> <li> 18 Baby CAVEs IDesks e seus similares (Pittsburgh Supercomputing Centers IScreen) Fishbowl VR tambm encontra-se nesta categoria Emissor acstico para head tracker Tela de projeo posterior SGI Onyx com Infinite Reality Graphics &amp; 4 Processadores Emissores para culos estreos </li> <li> Slide 19 </li> <li> 19 Headmounts imersivos clssicos Tpicos: pequenos LCDs, um para cada olho Maior resoluo: CRTs miniaturas Alta voltagem, diretamente em sua tmpora! Displays Flat panel passam esta tecnologia COnsegue-se 1Kx1K ou mais, mas caro e pesado (&gt;$10K) Bom para militares Problema srio com navegao, de latncia Leva a nusea Campo de vista limitado, pode ser 35 o IO Systems I-glasses 640x480 res stereo ~$4K, 1999 head-mounted display Bell Helicopter, 1967 </li> <li> Slide 20 </li> <li> 20 The Ultimate: Virtual Retinal Display Eric Seibel, U. Washington Human Interface Technology Lab www.hitl.washington.eduwww.hitl.washington.edu www.mvis.com Simples: atire um raio laser em seu olho e module-o bem rpido. Uso potencial para realidade virtual de alta resoluo e sem fio Video Source Drive Electronics Photon Generator Intensity Modulator Beam Scanning Optical Projection </li> <li> Slide 21 </li> <li> 21 Virtual Retinal Display In Use Tom Furness of HITL Uses a prototype Microvisions upcoming Nomad Product (supposedly) </li> <li> Slide 22 </li> <li> 22 Sistemas Headmount de Realidade Aumentada Realidade Aumentada significa aumentar a imagem do ambiente real com o virtual, ao invs trocar o real pelo virtual. heads-up display Olhar por prismas ou LCDs transparentes Alternativamente, use video see-through Cameras so baratas e rpidas Image-based tracking Permite objetos virtuais encobrir reais RV Aumentada muito sensvel a latncia! Mas usurio fica confortvel e orientado, podendo ver o escritrio e o laboratorio http://www.cs.unc.edu/~azuma/azuma_AR.html note: many AR devices are small &amp; lightweight! </li> <li> Slide 23 </li> <li> 23 A Nice Little Augmented Reality System Projeto da HITL; cdigo conte disponvel Video see-through Barato mas de baixa resoluo Video-based tracking Tracker reconhece marca no carto Barato mas alta latncia Mltiplos cartes com diferentes caracteres Caracteres interagem se colocados prximos de outros </li> <li> Slide 24 </li> <li> 24 Output: Audio Audio is important! (try watching a movie with the sound turned off) Synthesis techniques library of canned samples one at a time mixed (compositing) MP3 digital audio compression format parametric model engine sound as a function of speed, incline, gear, throttle www.staccatosys.com human voice driven by phonemes, inflection, emphasis, etc. Spatialized sound make sound seem to come from any point in space (not the loudspeaker) need several loudspeakers, carefully phased might need model of listeners head shape </li> <li> Slide 25 </li> <li> 25 Movendo-se pelo ambiente Melhor maneira caminhar Com um wand, pode pegar o ambiente e coloc-lo para trs Parece surpresamente natural Ou pode voar sobre o ambiente. Parece divertido... Mas sua viso diz que voce se move enquanto seu ouvido interior diz que voce est parado Surpresa? Nusea comum No to severo se a imagem no cobre sua viso perifrica Mais inteligente: Mova uma rplica pequena sua atravs de uma rplica pequena do ambiente. Ruim para programar, bom para usurio. </li> <li> Slide 26 </li> <li> 26 Ambientes virtuais compartilhados Idia simples: duas ou mais pessoas olhando a mesma geometria Podem estar separadas: desenhe avatares para as que no esto localmente presentes. Deve evitar latncia da rede no seu loop Exemplo: o que fazer se uma pessoa atira uma boal virtual na outra? </li> <li> Slide 27 </li> <li> 27 Applicaes de RV Flight simulators Architectural walk-throughs Design - interference testing (e.g. engine assembly) Teleoperation of robots in dangerous (Chernobyl) or distant (Mars) locations Medical X-ray vision (e.g. ultrasound) Remote surgery Psychotherapy (e.g. fear of heights) Interactive microscopy </li> <li> Slide 28 </li> <li> 28 UNC NanoManipulator http://www.cs.unc.edu/Research/nano/ feeling carbon nanotubes with an Atomic Force Microscope </li> <li> Slide 29 </li> <li> 29 </li> <li> Slide 30 </li> <li> 30 More Applications Video Games Location-Based Entertainment DisneyQuest Sony Metreon www.xulu.comwww.xulu.com Entertainment Technology (CMU) http://www.etc.cmu.edu/http://www.etc.cmu.edu/ Virtualized Reality (CMU) http://www.ri.cmu.edu/projects/project_144.htmlhttp://www.ri.cmu.edu/projects/project_144.html Office of the Future (UNC) use walls / desktops as displays http://www.cs.unc.edu/Research/stc/office/http://www.cs.unc.edu/Research/stc/office/ Ubiquitous computing and wearable computers information superimposed on the environment </li> <li> Slide 31 </li> <li> 31 Office of the Future </li> </ul>

Recommended

View more >