Full-AAR

The Full-AAR project of WHS explores the narrative possibilities of audio augmented reality (AAR) with six-degrees-of-freedom (6DoF). That is, experiences where the user can move freely in a real-world space while virtual sounds are embedded in the environment, played back through headphones. The idea is to obtain an illusion of virtual sounds coexisting with the real world, and use that illusion to tell stories with a strong connection to the surrounding environment.

The non-profit project aims at developing 6DoF AAR as a storytelling medium with its own narrative language. The emphasis is on indoor experiences in complex multi-room environments such as historical buildings, home museums, etc. Since no comprehensive technical platforms or artistic tools yet exist for the medium, a number of virtual audio solutions, indoor tracking systems, game engine workflows, system configurations, and narrative techniques have been tested since the start of the project in autumn 2021. Furthemore, a custom virtual acoustics application for the use of the project is being developed in collaboration with the Aalto University Acoustics Lab.

Any findings within the project with suggestions for best practices are shared in the project wiki.

Narrative possibilities

6DoF AAR carries many intriguing possibilities for storytelling and immersive experiences. For example, it can be used to convey an alternative narrative of a certain place through virtual sounds interplaying with the real world. The medium is also potentially powerful in creating plausible illusions of something happening out of sight of the user, for instance, behind or inside an object.

Unlike in traditional visual AR, in AAR the user’s sight is not disrupted at all. In addition to the artistic possibilities it opens, this may be beneficial in places where situation awareness is important such as museums, shopping centres and other urban environments.

AAR might also be an interesting medium for visually impaired people. In the Full-AAR project, we are inviting visually impaired to test our demos and give feedback on the experience. We are curious to learn how they encounter the interplay between the real space and artificial acoustic elements as well as how they judge the fidelity and plausibility of the virtual audio.

Demos

As a platform for testing the narrative ideas, we are preparing a series of demos and narrative experiences open for public. The first one will be premiered during 2023 at WHS’ own Unika gallery in Helsinki. The story is based on the history of the venue with the businesses operating in the premises, namely a laundry Vaahto Oy, a rubber carpet shop Kumila Oy, and a legendary joke shop Pilailupuoti adding colours and narrative levels to the story. Also, the rumoured connections between Vaahto and a subversive, underground nazi group during the war times will be touched. The experience will create a shareable and at the same time private narrative space for the audience. Interactive, branching narrative will transform the venue into an audible story, making the audience as the main protagonists.

Full-AAR is financially supported by the European Union NextGenerationEU fund.

Check the wiki for more detailed information on the project.

The Full-AAR project is financially supported by the European Union NextGenerationEU fund.

Full-AAR-projekti

WHS:n Full-AAR-projekti tutkii lisätyn audiotodellisuuden (audio augmented reality, AAR) kerronnallisia mahdollisuuksia. AAR on lisätyn todellisuuden (augmented reality, AR) alalaji, jossa todellisen kokemusmaailman päälle lisätään kuvien sijaan virtuaalisia ääniä. Full-AAR-projekti keskittyy erityisesti AAR:ään, joka hyödyntää kuutta liikeulottuvuutta (six-degrees-of-freedom, 6DoF). Tämä tarkoittaa kokemuksia, joissa kokija voi liikkua vapaasti todellisessa tilassa kuullen ympäristöön sijoitettuja, virtuaalisia ääniä kuulokkeiden kautta. Riippumatta pään asennosta tai sijainnista äänet pysyvät kiinnittyneinä todellisen maailman esineisiin ja muihin kohteisiin. Lisäksi kokijan sijaintia, kehon liikkeitä ja katseen suuntaa voidaan käyttää interaktiivisesti ohjaamaan tarinan kulkua.

Full-AAR-projekti käynnistyi syksyllä 2021 ja se osallistuu käytännön tekemisen kautta tämän uuden taiteenlajin kerrontatapojen kehittämiseen. Sen lisäksi että “6DoF AAR”:ltä puuttuu helppo ja käyttökelpoinen nimi, sille ei myöskään ole vielä tarjolla valmiita teknisiä ratkaisuja tai taiteellisia työkaluja. Niinpä tämä projekti tutkii ja kokeilee erilaisia teknisiä toteutusapoja virtuaaliäänen, sisätilapaikannuksen, pelimoottorien, järjestelmäsuunnittelun ja narratiivisten tekniikoiden kannalta. Projektissa kehitetään myös omaa virtuaaliääniratkaisua yhteistyössä Aalto-yliopiston akustiikan laboratorion kanssa.

Projektista nousseita havaintoja ja parhaita käytänteitä jaetaan projektin wiki-sivustolla.

Tarinankerronnalliset mahdollisuudet

6DoF AAR tarjoaa kiehtovia mahdollisuuksia tarinankerrontaan ja immersiivisiin kokemuksiin. Tietystä paikasta voidaan kertoa vaihtoehtoisia narratiiveja virtuaaliäänien avulla, jotka ovat samanaikaisesti vuorovaikutuksessa todelliseen maailmaan. 6DoF AAR:llä on myös mahdollista luoda uskottavia illuusioita siitä, että jotain tapahtuu käyttäjän näkymättömissä, esimerkiksi oven takana tai esineen sisällä.

Toisin kuin perinteisessä visuaalisessa AR:ssä, ääneen perustuvassa AAR:ssa käyttäjän näkökenttään ei tuoda mitään lisättyä sisältöä. Tästä voi taiteellisten mahdollisuuksien lisäksi olla hyötyä paikoissa, joissa ympäristön havainnointi on tärkeää, kuten museoissa, kauppakeskuksissa ja monissa kaupunkiympäristöissä.

AAR voi olla myös mielenkiintoinen taiteenlaji näkövammaisille. Full-AAR-projektissa kutsumme näkövammaisia ​​testaamaan demojamme ja antamaan palautetta. Olemme kiinnostuneita kuulemaan, kuinka he kohtaavat todellisen tilan ja keinotekoisten akustisten elementtien välisen vuorovaikutuksen sekä kuinka he arvioivat virtuaalisen äänen tarkkuuttaa ja uskottavuutta.

Demot

Projektin aikana rakennettaan sarja yleisölle avoimia demoja ja kerronnallisia kokemuksia. Ensimmäinen näistä toteutetaan vuoden 2023 aikana WHS:n omassa Unika-galleriatilassa Helsingissä. Ensimmäisen demoesityksen pohjana toimii tilan historia. Unikan toisessa päässä aikoinaan toiminut pesula Vaahto Oy ja toisen päädyn kumimattoja ja autonkumeja myynyt Kumila Oy tuovat sävyjään ja tarinakerroksia tilassa järjestettävään demoon. Myös Vaahdon huhuttuja yhteyksiä suomalaiseen maanalaiseen ja kumoukselliseen natsimieliseen ryhmittymään sotavuosina sivutaan. Oman lukunsa esityksessä saa myös tilassa pitkään toiminut Pilailupuoti. Teos luo yleisölle jaettavan ja samalla yksilöllisen kerronnallisen tilan. Moneen suuntaan kokijan reaktioiden mukaan haarautuva fiktio muuttaa esitystilan kuunneltavaksi tarinaksi, jonka pääosassa on yleisö.

Yksityiskohtaisempaa tietoa projektista löytyy wikistä.

Projektia rahoittaa Euroopan Unionin NextGenerationEU-instrumentti.