Audio Signal Processing for a Game Environment : Translating Audio Into a Playable Experience

Abstract

The purpose of the thesis was to analyze the digital audio signal, and turn it into a playable experience creating a new way of consuming and enjoying music. The end result was a game using audio signal as its main source of input for generating playable content.

In the thesis audio signal analysis methods and signal characteristics were examined: how audio is processed and analyzed. It also examined and compared the possibilities of real-time audio signal processing and pre-calculated audio signal processing. It showed how to generate events from existing audio signals concentrating on audio music track analysis and processing. Several ways of combining and transforming audio signals into events for the game engine were implemented.

As a generalization game engines work primarily based on events. Events are generated by the players, and by the game environment with the variables programmed into its state machine. The thesis focused on audio events while briefly exploring other game events. It was shown that by turning audio events into game events it is possible to create several types of actions where audio is used inside the game. The audio signal creates enemy patterns, transforms visual landscapes and changes overall speed and aggressiveness of the gaming experience. Since the CPU and GPU powers are limited resources, gaming is based heavily on optimizations and generating believable illusions. The sweet spot between audio events and the rest of the game mechanics was examined, e.g. how much intake the audio signal can produce and still maintain the game’s playability and fun factor.

As a result a game utilizing audio driven events was built using open source tools and plug-ins for analyzing and combining audio signal data. How the game is programmed, how its logic works and how it is optimized for running inside Adobe Flash Platform were explained in the thesis. Complete game including all the source code was made available for download.

Työn tarkoituksena oli analysoida digitaalista audiosignaalia ja muuntaa se uudeksi pelat-tavaksi kokemukseksi. Lopputuloksena tehtiin peli joka käyttää audiosignaalia lähteenään luodessaan pelattavaa sisältöä.

Työ tutki audiosignaalin analysoinnin metodeja ja vaihtoehtoja: kuinka signaalia prosessoi-daan ja analysoidaan erilaisilla suotimilla ja apu-ohjelmilla. Siinä käytiin läpi erilaisia mah-dollisuuksia reaaliaikaisen analyysin ja ennalta suoritetun analyysin väliltä painottuen mu-siikkia sisältävien signaalien analysointiin. Työssä toteutettiin erilaisia tapoja tunnistaa kiinnostavia alueita signaalista, joista muodostettiin tapahtumia pelimoottorin käyttöön.

Yleisellä tasolla pelimoottorit perustuvat tapahtumiin. Tapahtumia luovat pelaajat ja pe-liympäristö siihen ohjelmoitujen muuttujien avulla. Työ keskittyi audiopohjaisiin tapahtumiin ja niiden luontiin käyden läpi myös muita tärkeimpiä peleissä käytössä olleita tapahtumia. Näytin kuinka muodostamalla audiotapahtumista pelitapahtumia on mahdollista luoda useita erityyppisiä tapahtumia. Audiosignaalin perusteella luotiin vihollismuodostelmia, sitä käytettiin taustagrafiikan piirtämiseen, sekä pelin yleisen vaikeustason ja nopeuden sään-telyyn.

Koska tietokoneiden, sekä prosessorien että näytönohjainten, suorituskyky on yhä rajallinen perustui pelin ohjelmointi optimointiin ja illuusion luomiseen realismin sijasta. Työ analysoi audiosignaalin käyttömahdollisuuksia myös tästä perspektiivissä: kuinka paljon signaalin voi olettaa vaikuttavan peliin ilman että pelattavuus ja hauskuus kärsivät, ja kuinka paljon sitä voi reaaliaikaisesti käsitellä.

Lopputuloksen rakennettiin peli joka käyttää musiikkia pelikokemuksen muodostamiseen. Siihen käytettiin ilmaisia avoimen lähdekoodin ohjelmistoja, joiden lisäksi valittiin parhaat saatavilla olevat työkalut niiden avuksi. Työssä näytettiin kuinka peli on rakennettu, kuinka sen koodi toimii ja kuinka sitä optimoitiin suorituskykyä silmälläpitäen. Peli on ladattavissa pelattavana versiona, lisäksi myös lähdekoodi on ladattavissa.