60 34

Focus on...

beyond 4D
Siggraph 2013, the worlds premier conference and trade show on computer graphics and interactive techniques, celebrated its 40th anniversary last July in Anaheim by welcoming over 17,160 attendees and 180 exhibiting companies.
Siggraph 2013, la manifestazione pi importante al mondo per il settore della computer grafica e delle tecnologie legate allinterazione ha festeggiato lo scorso luglio 40 anni, accogliendo ad Anaheim oltre 17.160 partecipanti e 180 aziende espositrici.

In 4D cinemas and VR contexts, we receive physical stimulation from the seats and other devices in contact with our bodies. Such stimulations represent the next frontier, however without contact with equipment

is easy to imagine an interactive table tennis video game in which a player uses a joystick or mouse to hit the ball back to their opponent. The game would however be even more exciting if the player could feel the impact of the ball on their bat, and guide it by moving their eyes, a bit like what happens in real games. Researchers from Tokyo University are working on a system to create this scenario, and the prototype was one of the most interesting products at the recent SIGGRAPH, the worlds leading computer graphics show, held in Anaheim, California, at the end of July. The technology is called Vibrotracker, and it works by measuring vibrations on a surface without however coming into contact with it. The measurements are made using a laser beam fired at the surface; the frequency and amplitude of the vibrations are measured by analysing the reflected beam after this has absorbed the movement of the surface, for example in the case of a ball hitting
GAMES & PARKS INDUSTRY 9 - 2013

It

by Domenico Matarazzo
a table tennis bat. Vibrotracker can even measure vibrations on fast-moving objects with extreme accuracy and in real time, without any interference. The first applications are in the field of video games, however it is expected to find uses in education and museums, for example to see the impact of the flapping of a butterflys wings on surrounding leaves. AIREAL on the other hand is a free air tactile feedback technology that gives users a physical feeling in VR situations, however without using helmets, gloves, glasses or other devices. AIREAL was presented by researchers from Disney Research, and is based on a device that creates physical impact on the user using small vortexes or rings of compressed air aimed at the users skin. The device is simple and was entirely made using 3D printers. According to the managers of Disney Research, applications will be in gaming and storytelling, mobile interfaces, and gesture control. Eye-tracking technology also

Nelle sale cinematografiche in 4D e in contesti di realt virtuale si ricevono stimolazioni fisiche da poltrone e altri apparecchi a contatto con i nostri corpi. La frontiera del futuro rappresentata dalle stesse stimolazioni, date per senza il contatto con apparecchiature Siggraph 2013: oltre il 4D di Domenico Matarazzo Nellambito dei videogiochi possibile immaginare un individuo giocare a ping pong in modo interattivo con un joistick o un mouse per indirizzare la pallina contro un avversario. Il gioco per diventerebbe ancora pi coinvolgente se lutente potesse sentire limpatto della pallina sulla racchetta e guidarla utilizzando lo sguardo, un po come avviene nella realt. Ricercatori dellUniversit di Tokyo stanno approntando un sistema per realizzare questo scenario e il prototipo stato uno dei prodotti pi seguiti nellambito dellultima edizione del Siggraph, la manifestazione pi importante del mondo per il settore della computer grafica, svoltasi a fine luglio ad Anaheim, California. La tecnologia si chiama Vibrotracker e consente di effettuare misurazioni delle vibrazioni di una superficie senza entrare in contatto con questa. La misurazione avviene attraverso un raggio laser indirizzato sulla superficie dinteresse; frequenza ed ampiezza delle vibrazioni vengono rilevate attraverso lanalisi del laser di ritorno dopo che questo ha assorbito il movimento della superficie, come ad esempio limpatto di una pallina su una racchetta da ping pong.

SIGGRAPH 2013 facts and figures 4,075 square metres of exhibition area 17,162 visitors from 77 countries: artists, researchers, gaming experts, programmers, directors, students and teachers 180 exhibitors from 15 countries 1,354 speakers at the conferences 115 papers presented at the Technical Papers Forum, chosen from the 480 submissions.

Focus on ...
aroused a lot of interest at the Californian event. This is already widely used by companies, above all consumer marketing businesses. Advertising agencies, for example, before producing a commercial or an ad, carry out tests to see where the consumer is looking. Two miniature cameras (one for each eye) measure where the eye is looking and the data are displayed on a map that highlights the points that attracted most attention. The same technology is now available to consumers and is used as a control device that may replace the mouse or joystick and create new scenarios in the field of electronic games. Eye-tracking technology is also part of the Vibrotracker described above, but is also used by Foveated 3D Display, technology presented by Microsoft Research and that is based on principle known since the mid-1800s. Indeed, historically it has been demonstrated that while we clearly perceive what is around us, we only focus in a small area. In spite of this, computer graphics systems render the entire screen at uniform resolution, even the periphery. Foveated 3D Display follows the users gaze and provides high resolution images only in the areas where the eyes are focused. This means a saving in rendering resources that would normally be used for the periphery. With the increasing popularity of the eye-tracking technology and the consequent cost reduction costs, Foveated 3D Display can allow applications above all in museums or scientific and educational venues where

33
Photos Credit: Disney Research

Siggraph 2013 in cifre

4.075 metri quadrati di area espositiva 17.162 visitatori da 77 nazioni: artisti, ricercatori, esperti di giochi, programmatori, registi, studenti e docenti 180 aziende espositrici da 15 nazioni 1.354 relatori al programma convegni 115 relazioni tecniche presentate al Technical Papers Forum scelte tra le 480 proposte. Vibrotracker pu misurare le vibrazioni di un oggetto in movimento anche rapido con estrema accuratezza e in tempo reale senza alcuna interferenza. Le prime applicazioni sono in ambito di videogiochi, ma si prevede la diffusione anche in ambito educativo e nei musei, ad esempio per vedere limpatto del battito di ali di farfalle sulle foglie circostanti. AIREAL unaltra tecnologia che si propone di trasmettere allutente una sensazione fisica nel contesto di realt virtuale ma senza lutilizzo di caschi, guanti, occhiali o altri strumenti. AIREAL stato presentato da ricercatori della Disney Research e su basa su uno strumento che crea un impatto fisico sullutente attraverso piccoli vortici di aria compressa indirizzati sulla pelle dellindividuo. La strumentazione semplice ed stata realizzata interamente con stampanti in 3D. Le applicazioni secondo i responsabili della Disney Research saranno nello story telling, in interfacce mobili e controllo gestuale di contenuti su uno schermo. Notevola rilevanza nel corso della manifestazione californiana ha ottenuto anche la tecnologia eye-tracking. Questa gi diffusa in ambito aziendale, soprattutto nelle aziende di marketing al consumatore. Le agenzie di pubblicit, ad esempio, prima di produrre uno spot o un annuncio pubblicitario fanno dei test per vedere dove si indirizza locchio del consumatore. Lo sguardo viene registrato da due microcamere (una per occhio) e i dati sono raccolti
GAMES & PARKS INDUSTRY 9 - 2013

Aireal is a new low-cost technology that delivers expressive tactile sensations in free air. It enables users to feel virtual objects, and receive feedback on full body gestures, all without requiring the user to wear a physical device. Aireal is designed to use a vortex, a ring of air that can travel large distances while keeping its shape and speed.
Aireal una nuova tecnologia a basso costo che trasmette sensazioni tattili senza contatto fisico. Il soggetto sente oggetti virtuali e riceve un feedback dai movimenti di tutto il corpo, ma senza dover indossare apparecchiature. Aireal progettata per basarsi su dei minivortici, anelli daria che percorrono anche lunghe distanze mantenendo forma e velocit.

very high-definition details can improve the visitor experience. Opportunities also exist for the opposite technology, in other words a solution that extends the field of view so as to further involve the user. Once again Microsoft Research presented IllumiRoom, a system that projects images on objects surrounding the screen used for electronic gaming. In this case, the entire environment seems Foveated 3D Display exploits as if it were part of the the fact that when people watch game, with a new visual something, there is less visual experience that brings accuracy in the peripheral areas compared to the centre of their illusion of motion into gaze: based on this reality, in the the context of the game. field of computer graphics, this Finally, one interesttechnology renders high resolution ing technology for the images only in the areas where photo labs at amusethe eyes are focused, bringing reductions in hardware and power ment parks that have requirements. seen their business beFoveated 3D Display sfrutta il fatto ing eroded by action che lindividuo quando guarda cameras and mobile qualsiasi cosa ha un calo di acutezza visiva sulle aree che sono phones is KinEmotion, periferiche rispetto a dove il suo sguardo si focalizza. Partendo da technology that allows questa verit, nei contesti di computer grafica, questa tecnologia users to create and print allora fornisce immagini in alta risoluzione solo per le zone dove cade lo sguardo, comportando risparmi in hardware e consumi. a customised manga,

36

Focus on...
the popular Japanese comic characters. KinEmotion uses the Microsoft Kinect sensor to take 3D photos of a person posing for the camera. KinEmotion then identifies the level and the intensity of the emotions expressed, and based on these data, associates the movements that generally accompany the specific emotion. Once the association has been made, KinEmotion retrieves a suitable background for the emotional state from an internal database. For example, a sad and depressed expression will have a strip with a grey or cloudy background. Although SIGGRAPH was held California, during some meetings at the show it was highlighted how the special effects industry is slowly but inexorably moving away from California and from Los Angeles in particular. Globalisation, labour costs and above all incentives in the form of tax breaks are bringing about the establishment of creative centres in different parts of the world. With The Lord of the Rings, for example, New Zealand became a reference point for the sector. London, thanks to tax breaks, has attracted the Warner Bros. production centre, and the British capital is also a leader in the sector of audio-visual special effects. The films presented in the various competitions saw international and above all European students win the most important prizes. Irrespective of origin, however, if one of the students at SIGGRAPH had posed for KinEmotion to create their own manga, the background would have been sunshine. Judging from the technology being developed, in fact, the future seems to offer many opportunities for creative artists in the entertainment sector.n
KinEmotion software takes 3D pictures of you as you convey an emotion such as excitement, fear, victory or surprise. The Microsoft Kinect sensoron the software works out your state of mind from the very subtle ways your hold yourself,puts a backdrop from a library to complement the emotion (such as a sunburst for joy) and as a result it creates a whimsical, manga-style rendition of the image.
Il software KinEmotion scatta foto in 3D del soggetto che consciamente o inconsciamente porta con s delle emozioni, come allegria, paura, senso di vittoria o sorpresa. Partendo da unanalisi dettagliata della postura, il sensore Kinect nel software della Microsoft calcola poi lo stato danimo del soggetto, sceglie da una library uno sfondo appropriato allemozione (per esempio, per la gioia un sole splendente) e per finire elabora la foto in un originale fumetto in stile manga.

in una mappa che evidenzia i punti che attirano di pi lattenzione. La stessa tecnologia ora viene proposta ai consumatori e si posiziona come uno strumento di controllo che potrebbe rimpiazzare il mouse o il joystick e creare nuovi scenari nellambito dei giochi elettronici. La tecnologia eye-tracking ad esempio parte del Vibrotracker di cui sopra, ma anche al centro di Foveated 3D Display, una tecnologia presentata da Microsoft Research e che si rif ad un principio noto fin dal XIX secolo. Storicamente infatti provato che lindividuo pur essendo cosciente di ci che lo circonda, ha la capacit di focalizzare il suo sguardo solo su unarea ben delimitata. In ambito di computer grafica per tutte le imagini sono trattate con la stessa risoluzione, anche quelle cosiddette periferiche. FoveGAMES & PARKS INDUSTRY 8 - 2013

Focus on ...

45

IllumiRoom system by Microsoft Research augments the area surrounding a TV screen with projected visualizations to enhance the traditional living room entertainment experience.
Attraverso la proiezione di visualizzazioni, il sistema IllumiRoom di Microsoft Research aumenta larea circostante lo schermo Tv. Cos facendo, la classica esperienza di intrattenimento che si pu vivere nel chiuso della propria stanza viene ad essere notevolmente potenziata.

ated 3D Display segue lo sguardo dellutente al computer e fornisce immagini ad alta risoluzione solo per le zone dove cade lo sguardo. In questo modo si risparmiano le risorse che sarebbero normalmente indirizzate alle zone periferiche. Con la crescente popolarit della tecnologia eye-tracking e la conseguente riduzione dei costi, Foveated 3D Display pu consentire applicazioni soprattutto in musei o in strutture di carattere scientifico ed educativo dove dettagli ad altissima definzione possono migliorare lesperienza dei visitatori. Delle opportunit esistono offrendo anche la tecnologia opposta, ovvero una soluzione che ingrandisca il campo visivo fino a coinvolgere lutente. Sempre Microsoft Research infatti ha presentato IllumiRoom, un sistema che proietta immagini su tutto ci che circonda lo schermo in cui lutente si dedica ad un gioco elettronico. In questo caso lintero ambiente sembra diventare parte del gioco con una nuova esperienza visiva a cui abbinata unillusione di movimento nellambito del gioco stesso. Una tecnologia interessante per i foto-lab dei parchi che vedono il business eroso da action camera e telefonini rappresentata infine da KinEmotion, una tecnologia che consente di creare e stampare un manga personalizzato, ovvero i popolari fumetti giapponesi. KinEmotion utilizza il sensore Kinect di Microsoft per scattare foto in 3D di un soggetto in posa. KinEmotion identifica poi le emozioni espresse e lintensit di queste, e sulla base di questi dati, associa dei movimenti che in genere si accompagnano alle specifiche emozioni. Effettuata questassociazione, KinEmotion estrae da un proprio database interno il background adatto allo stato emotivo. Ad esempio, unespressione triste e depressa avr una striscia con uno sfondo grigio o nuvoloso. Bench Siggraph si sia svolto in California, in alcuni incontri del programma convegnistico stato evidenziato come lindustria degli effetti speciali si stia lentamente ma inesorabilmente allontanando dalla California e da Los Angeles in particolare. Globalizzazione, costo della mano dopera e soprattutto incentivi sottoforma di agevolazioni fiscali stanno creando centri creativi in parti differenti del mondo. Con Il signore degli anelli, ad esempio, la Nuova Zelanda diventata un punto di riferimento nel settore. Londra, grazie a incentivi fiscali ha attirato il centro produzione della Warner Bros. e ora la capitale inglese anche una capitale nel settore degli effetti speciali per laudiovisivo. Anche i filmati presentati nelle varie competizioni hanno visto studenti internazionali, e soprattutto europei, vincere i premi pi ambiti. Indipendentemente dalla provenienza per se uno degli studenti presenti al Siggraph posasse per KinEmotion per avere il proprio manga, il background sarebbe con un sole splendente. A giudicare dalle tecnologie in fase di sviluppo infatti, il futuro sembra offrire molte opportunit per i creativi nel settore dellentertainment.q
GAMES & PARKS INDUSTRY 9 - 2013