Musiikin visualisointisovellus

Abstract

Insinöörityöprojektina kehitettiin ja otettiin käyttöön musiikin visualisointisovellus, joka visualisoi reaaliaikaisesti musiikista saatavaa MIDI- ja äänitietoa live-esiintymistilanteessa. Sovelluksen tilaaja on muusikko, joka soittaa kosketinsoittimia sooloartistina. Hän tarvitsi musiikkiesityksensä tueksi visuaalisen esityksen, jotta live-esiintymisistä tulisi mielenkiintoinen kokemus, jossa musiikki ja visuaaliset tehosteet toimivat yhdessä luoden mielenkiintoisen ja uuden kokemuksen yleisölle.

Visuaalinen esitys voidaan heijastaa projektorilla esiintymislavan taustakankaalle tai esittää näytöltä. Esityksen aikana sitä ohjailee visuaalisia esityksiä reaaliajassa luova VJ (video jockey), joka valitsee kuhunkin kappaleeseen sopivat visualisoinnit. Sovellusta käytettiin kaksi kertaa live-esitystilanteissa eri tiloissa. Sen todettiin toimivan halutulla tavalla, vaikka kehitysmahdollisuuksia ilmenikin.

Sovellus kehitettiin Unity-ohjelmalla OS X -käyttöjärjestelmillä toimivaksi. Unity on monipuolinen ohjelma, joka mahdollistaa erilaisten sovellusten kehityksen usealle alustalle samaan aikaan. Sovellus perustuu Unity-kohtauksiin, joita siihen koottiin kuusi erilaista. Kohtauksilla ei ole kestoa, vaan ne jatkuvat, kunnes käyttäjä avaa uuden kohtauksen. Sovellus toimii pikanäppäimillä, niin että tiettyä numeronäppäintä painamalla aukeaa uusi esitys. Jokainen kohtaus on oma kokonaisuutensa ja suunniteltu tilaajamuusikon kappaleisiin sopivaksi, mutta koska suurin osa sovelluksen tuottamista visualisoinneista koostuu abstrakteista elementeistä, voidaan sovelluksen esityksistä muokata helposti toiselle muusikolle tai isommalle yhtyeelle sopiva.

MIDI-tietona sovelluksessa visualisoidaan MIDI nuotti päälle -viestin toimintaa, jolla sadaan kosketinsoittimen koskettimen painalluksen nopeustietoa. Digitaalisesta äänitiedosta sovellus visualisoi äänen aaltomuotoa ja taajuusspektrejä. Äänitiedon havaittiin tuottavan varsin informatiivisia, jopa infografiikkaan verrattavissa olevia visualisointeja. MIDI-tieto otettiin sovelluksessa käyttöön lisäosan avulla, kun taas äänitieto vastaanotettiin käyttäen Unityn omia kirjastoja.

This project consisted of the development of a music visualization application and its deployment during a live gig. The application was developed for a musician who plays keyboards as solo artist to enable interesting and new experience for his audience. The application visualizes audio and MIDI data in real time with mainly abstract graphics and therefore it can easily be modified to work with other musicians’ performances too.

The visual presentation can be projected to a canvas with a projector or streamed on a screen. During a live performance, the application is controlled by a VJ (video jockey) who chooses a fitting scene for each song. The application has been used twice at live gigs and it worked as designed. However, the development will continue because more variety in the visuals is needed.

The application was developed for the OS X operating system with Unity. The visual shows in the application are all different Unity scenes, which will go on until the user opens a new scene.

The application visualizes MIDI Note On messages, which are created when a key on the MIDI keyboard is pressed. The application also visualizes the waveform and frequency spectrum of sound, which were observed to produce almost infographic-like visualizations.