The Full-AAR project

The Full-AAR project by WHS explores the narrative possibilities and technical practices of Audio Augmented Reality (AAR). As a sub-genre of Augmented Reality (AR), AAR enhances the real world with virtual sounds instead of overlaid visual images. The Full-AAR project concentrates specifically on AAR with six-degrees-of-freedom (6DoF), that is, experiences where the user can move freely in a real-world space while the story—or other information—is mediated through headphones by virtual sounds embedded in the environment. In the optimal situation, regardless of the user’s head and body movements, the sounds stay fixed to their positions relative to the environment and thus appear as coexisting with the reality. Further, user’s location, movements and direction of glance can be used to trigger interactive cues, thus advancing the non-linear narrative.

With a hands-on approach, the Full-AAR project is a contribution to the development of the ‘language’ of this nouveau medium of 6Dof AAR—a medium still without a more convenient name. Since there are no ready-made technical solutions or artistic tools yet available for this medium, the project is testing and implementing various technical approaches and setups in order to find some of the most optimal means for content-creation for 6DoF AAR. In this regard, the following topics are being closely examined:

1. Use of spatialisation and auralisation of virtual audio to enable plausible acoustic illusions

2. Use of accurate 6DoF head and body tracking to enable both plausible acoustic illusions and kinesthetic interaction

3. Creation of interactive stories and search for useful and characteristic narrative techniques for the 6DoF AAR medium

4. Letting simultaneous users experience the same story with different narrative viewpoints from each other and contrasting audio content

5. Finding useable and fluent workflows and methods for content-creation

In the course of the project, a series of demos and narrative experiences open for public will be prepared. The first of them will be premiered during 2022 at WHS’ own the Unika gallery space in Helsinki. The first demo will be based on the history of the venue with the businesses operating in the premises, namely a laundry Vaahto Oy, a rubber carpet shop Kumila Oy, and a legendary joke shop Pilailupuoti adding colours and narrative levels to the story. Also, the rumoured connections between Vaahto and a subversive, underground nazi group during the war times will be touched. The experience will create a shareable and at the same time private narrative space for the audience. Interactive, branching narrative will transform the venue into an audible story, making the audience as the main protagonists.

Later, best-practices, toolkits and other findings around the narrative creation and technical realisation of 6DoF AAR experiences will be presented and published.

The Full-AAR project is financially supported by the European Union NextGenerationEU fund, and will continue at least until the end of 2023.


WHS:n Full-AAR-projekti tutkii lisätyn audiotodellisuuden (Audio Augmented Reality, AAR) kerronnallisia mahdollisuuksia ja teknisiä toteutustapoja. AAR on lisätyn todellisuuden (Augmented Reality, AR) alalaji, jossa todellisen kokemusmaailman päälle lisätään kuvien sijaan virtuaalisia ääniä. Full-AAR-projekti keskittyy erityisesti AAR:ään, joka hyöydntää kuutta liikeulottuvuutta (six-degrees-of-freedom, 6DoF). Tämä tarkoittaa kokemuksia, joissa kokija voi liikkua vapaasti todellisessa tilassa kuullen ympäristöön sijoitettuja, virtuaalisia ääniä kuulokkeiden kautta. Riippumatta pään asennosta tai sijainnista äänet pysyvät kiinnittyneinä todellisen maailman esineisiin ja muihin kohteisiin. Lisäksi kokijan sijaintia, kehon liikkeitä ja katseen suuntaa voidaan käyttää interaktiivisesti ohjaamaan tarinan kulkua.

Full-AAR-projekti osallistuu käytännön tekemisen kautta tämän uuden taiteenlajin kerrontatapojen kehittämiseen. Helpon ja käyttökelpoisen nimen lisäksi “6DoF AAR”:lle ei myöskään ole vielä tarjolla valmiita teknisiä ratkaisuja tai taiteellisia työkaluja. Niinpä tämä projekti tutkii ja kokeilee erilaisia teknisiä lähestymistapoja, joilla löytyisi optimaalisimmat keinot sisällön tuottamiseen 6DoF AAR:ään. Projektissa keskitytään erityisesti seuraaviin aihealueisiin:

1. Akustisen illuusion luominen virtuaaliäänen spatialisoinnilla ja virtuaaliakustiikalla

2. Akustisen illuusion ja kinesteettisen interaktion luominen tarkalla pään ja vartalon 6DoF-seurannalla

3. Interaktiivisten tarinoiden luominen ja 6DoF AAR -taiteenlajille ominaisten kerrontatekniikoiden löytäminen

4. Useamman käyttäjän kokemuksen rakentaminen niin, että käyttäjät kuulevat tarinan eri perspektiiveistä ja eri äänisisällöllä

5. Käyttökelpoisten ja sujuvien työtapojen löytäminen sisällöntuotantoon

Projektin aikana rakennettaan sarja yleisölle avoimia demoja ja kerronnallisia kokemuksia. Ensimmäinen näistä toteutetaan vuoden 2022 aikana WHS:n omassa Unika-galleriatilassa Helsingissä. Ensimmäisen demoesityksen pohjana toimii tilan historia. Unikan toisessa päässä aikoinaan toiminut pesula Vaahto Oy ja toisen päädyn kumimattoja ja autonkumeja myynyt Kumila Oy tuovat sävyjään ja tarinakerroksia tilassa järjestettävään demoon. Myös Vaahdon huhuttuja yhteyksiä suomalaiseen maanalaiseen ja kumoukselliseen natsimieliseen ryhmittymään sotavuosina sivutaan. Oman lukunsa esityksessä saa myös tilassa pitkään toiminut Pilailupuoti. Teos luo yleisölle jaettavan ja samalla yksilöllisen kerronnallisen tilan. Moneen suuntaan kokijan reaktioiden mukaan haarautuva fiktio muuttaa esitystilan kuunneltavaksi tarinaksi, jonka pääosassa on yleisö.

Myöhemmin esitellään ja julkaistaan projektissa kehiteltyjä parhaita käytänteitä, työkalupakkeja ja muita havaintoja liittyen 6DoF AAR -kokemusten narratiiviseen rakentamiseen ja niiden tekniseen toteutukseen.

Full-AAR-projekti jatkuu ainakin vuoden 2023 loppuun, ja sitä rahoittaa Euroopan Unionin NextGenerationEU-mekanismi.