Datan laatu koneoppimisessa

Abstract

Datan määrä organisaatioissa kasvaa kiihtyvällä tahdilla. Perinteisen raportoinnin ja data-analytiikan rinnalla halutaan hyödyntää tekoälyä ja koneoppimista liiketoiminnan kehittämisessä sekä uusissa liiketoimintamahdollisuuksissa. Tämän mahdollistamiseksi datan laadullisiin ominaisuuksiin tulee kiinnittää entistä enemmän huomiota.

Tässä opinnäytetyössä tutkittiin toimeksiantajaorganisaation tietokannan datan laatua ja arvioitiin sen valmiutta koneoppimisen hyödyntämiseen. Tutkimus toteutettiin Kiinteistönvälitysalan Keskusliitto Ry:n KVKL Hintaseurantapalvelulle case-tutkimuksena.

Tutkimuksen teoriaosuudessa käsiteltiin datan laadun rakentumista, laadun ulottuvuuksia ja niiden mittaamista kokonaisuutena. Lisäksi käsiteltiin tekoälyn ja koneoppimisen perusteita, erityisesti koneoppimisen ennustemallien näkökulmasta. Tutkimusosuudessa keskityttiin analysoimaan toimeksiantajan datan laatua objektiivisten mittareiden kautta. Tämän lisäksi tutkimuksessa testattiin kahta erityyppistä koneoppimismallia. Malleja koulutettiin erilaisin tavoin esikäsitellyillä data-aineistoilla. Näin osoitettiin datan laadun merkitys koneoppimisen ennustemalleille.

Tutkimuksen tulokset osoittivat datan muuttuneen merkittävästi vuosien varrella. Datan sisällön ja laadun havaittiin kehittyneen hyvään suuntaan. Koneoppimiskokeilussa ennustemallit ennustivat jopa 90 %:n tarkkuudella asunnon hinnan oikein datan laadun puhdistustoimenpiteiden jälkeen. Vaikka tulos oli varsin hyvä, ennustetarkkuutta saataisiin todennäköisesti parannettua keskittymällä datan oikeellisuuden ja oikeamuotoisuuden parantamiseen. Tulosten pohjalta toimeksiantajalle annettiin kehitysehdotuksia datan laadun kehittämiseksi. Tämän opinnäytetyön ulkopuolelle rajattiin tarkempi koneoppimismallien valintaan ja opti- mointiin liittyvä läpikäynti.

Data volumes keep increasing in organisations. Alongside traditional reporting and data analytics, the aim is to utilise artificial intelligence and machine learning in business development and new business opportunities. Machine learning requires high-quality data, and therefore it should be given more attention.

The purpose of the study was to focus on the quality of data and to evaluate its significance for machine learning. The study was conducted as a case study for Kiinteistönvälitysalan Keskusliitto Ry, KVKL Hintaseurantapalvelu.

The theoretical part of the study contained basics of data quality and strategy, quality dimensions, and measurement. Further, the theoretical part included basics of artificial intelligence and machine learning, especially from the perspective of machine learning prediction models. The research part focused on analysing data quality through objective dimensions directly related to the utilisation of machine learning. In addition, two different machine learning models were tested with differently pre-processed data sets, and thus demonstrating the importance of data quality for prediction models.

The results showed a significant change in the data over the years. The data content and quality had improved. In the machine learning experiment, the prediction models predicted the price of the apartment with up to 90 % accuracy after data pre-processing. Although the result can be considered quite good, the accuracy of the prediction could probably be improved by focusing more on machine learning models, which was not in the scope of this thesis. Based on the results, development suggestions were provided to improve the quality of the data.