Musiikin nuotinnus Voice Noter -mobiilisovelluksella

Abstract

Voice Noter -mobiilisovellus on Herwood Technologies Oy:n ja Kangain Oy:n kehittä-mä laulamisen harjoitteluohjelma Android-käyttöjärjestelmälle. Kun laulaja laulaa melodiaa, sovellus näyttää sävelet mobiililaitteen näytöllä vaakapalkkeina. Näytön näkymä on nuottiviivaston kaltainen; ruudun alareunassa on matalat äänet, ja ylälaidassa on korkeat äänet. Esimerkiksi Playstation SingStar -pelissä on samantapainen käyttöliittymä.

Työssä kehitettiin sovellukseen ominaisuus, joka nuotintaa ohjelmalle lauletun tai soitetun melodian. Tavoitteeksi asetettiin, että uusi ominaisuus tunnistaa ja nuotintaa yksiäänisiä melodioita. Android-sovellukset ohjelmoidaan tavallisesti Java-ohjelmointikielellä. Digitaalinen signaalinkäsittely tehdään kuitenkin suoritusnopeuden parantamiseksi yleensä C- tai C++-ohjelmointikielellä; Voice Noter:ssa käytetään C++-kieltä. Tutkimuksessa pohdittiin myös nuotinnustoiminnon käyttöliittymän toteutustapaa; monimutkainen käyttöliittymä on vaikea toteuttaa mobiililaitteella.

Voice Noter tallettaa äänisignaalin datan bittikarttaan, josta ohjelma piirtää sävelet nopeasti mobiililaitteen ruudulle. Tutkimuksen aikana havaittiin, että bittikartan 49 Hz:n näytteenottotaajuus riittää neljäsosanuottien tunnistamiseen tempolla 120 iskua minuutissa. Kahdeksasosanuotin tai lyhempien nuottien tunnistamiseen vaaditaan suurempi näytteenottotaajuus. Työn tuloksena kehitetiin algoritmi, joka tunnistaa ja nuotintaa lastenlaulujen tasoisia yksiäänisiä melodioita; testaus suoritettiin soittamalla melodioita sähkökitaralla. Algoritmi muuntaa bittikartan näytteet MIDI-tiedostoksi, jota pystyy muokkaamaan tietokoneella; tietokoneella voidaan esimerkiksi lisätä kappaleeseen soinnut ja tämän jälkeen tallettaa PDF-nuotiksi. Yksinkertaisella koodin lisäyksellä ohjelma saadaan tallentamaan nuotti LilyPond-tekstitiedostona, jolloin ilmaisella LilyPond-nuotinnusohjelmalla varustetulla tietokoneella tiedosto voidaan muuntaa kahdella hiirenpainalluksella PDF-nuotiksi.

Kehittämisideana on nuottien aika-arvojen tunnistuksen parantaminen näytteenottotaajuutta lisäämällä tai hyödyntämällä Voice Noter:n toista uutta ominaisuutta - tempoharjoitustoimintoa. Toiminto etsii melodiasta rytmin ja kertoo käyttäjälle, pysyykö hän tempossa. Rytmin tunnistuksen tekniikoita pystyy todennäköisesti hyödyntämään nuotin alkamishetken määrittämisessä. Tutkimuksen nuotinnusalgoritmi tekee nuotin aina samalla sävel- ja tahtilajilla sekä tempolla. Algoritmia voidaan jalostaa nuotintamaan myös muilla asetuksilla. Lisäksi kielisoittimilla on soittotekniikoita, joista algoritmi ei pysty tunnistamaan nuotteja. Esimerkiksi liu’utettujen ja venytettyjen sävelien tunnistamiseen tarvitaan suuri näytteenottotaajuus.

Voice Noter is a mobile application for singing training. The application is developed by Herwood Technologies and Kangain companies. It runs on the Android operating system. The user interface is similar to the Playstation SingStar game’s interface. When a singer sings a melody, notes are displayed on the mobile device’s screen as horizontal beams. Higher notes are displayed at the top of the screen and lower notes are at the bottom.

In this work, a new software feature was developed for producing sheet music from sung or played melody. The goal was to recognize and make music notation from mono-phonic music. Usually Android applications are programmed with Java language, but in digital signal processing C or C++ programming language is used for better performance. Voice Noter’s signal processing is programmed with C++. Development of the user interface was also studied, though implementation of the user interface was not part of the thesis.

Voice Noter stores audio signal data to a bitmap from which the program draws notes quickly to the screen of the device. During the research it was discovered that the bitmap’s 49 Hz sampling rate is enough to recognize quarter notes at a tempo of 120 beats per minute. To recognize eight notes or shorter notes the sampling rate must be higher. As a result of this thesis an algorithm was developed. The algorithm recognizes notes and produces a MIDI file from monophonic children’s songs. Testing was done by playing melodies with an electric guitar. The algorithm converts bitmap’s samples into a MIDI file, which can be edited with a computer. For example one can add chords to the song with a music notation program and export the file as a PDF sheet music. A simple addition to the program code would enable exporting a text file which contains sheet music information in LilyPond syntax. With a computer one could convert the text file to PDF sheet music with two mouse clicks. LilyPond is a free text based music notation program.

In future work, the algorithm could be improved by increasing the sampling rate or by making use of Voice Noter’s another new feature - the beat analyzer. The beat analyzer searches for the rhythm of the melody and gives feedback if the user is in tempo or not. The techniques used in rhythm recognition can probably be used for determining the beginning of a note. The algorithm developed in this thesis always produces sheet music with same configuration - tempo and time signature are the same. The program can be developed to produce sheet music with other configurations. With string instruments there are playing techniques like sliding and bending that currently cannot be recognized. In order to recognize these cases, the sampling rate must be increased.