DuckDB:n hyödyntäminen monilähteisen datan analysoinnissa : Case Oulun kaupungin laite- ja laskutusrekisterit sekä ICT-ympäristön hallintajärjestelmät

Abstract

Datamäärien jatkuva kasvu ja tarve tehokkaaseen tiedonkäsittelyyn ovat lisänneet kiinnostusta kevyisiin analytiikkaratkaisuihin. Tässä opinnäytetyössä tutkitaan DuckDB:n ominaisuuksia ja arvioidaan sen hyödyntämistä monilähteisen datan analysoinnissa ilman perinteisen palvelinarkkitehtuurin asennus- ja ylläpitotaakkaa. Tutkimus keskittyy kahteen käytännön tapausesimerkkiin Oulun kaupungin ympäristössä: Case LaskutusTarkistus ja Case Azure Kulutus- ja laskutusdata. Nämä tapaukset käsittelevät monen eri datalähteen (kuten laiterekisterit, laskutusjärjestelmät ja ICT-hallintajärjestelmät) dataa, joka on usein eri tiedostoformaateissa. Työssä osoitetaan, kuinka DuckDB:n arkkitehtuuri, laaja formaattituki ja täysi SQL-yhteensopivuus mahdollistavat tiedon tehokkaan yhdistämisen ja analysoinnin. Tulokset osoittavat, että DuckDB tarjoaa perinteisiin asiakas-palvelin-tietokantoihin verrattuna kevyemmän ja yksinkertaisemman ratkaisun. Sen avulla voidaan oikeissa käyttökohteissa vähentää työmäärää poistaen skeeman hallinnan ja erillisen tietokantapalvelimen ylläpidon tarpeen. DuckDB sopii hyvin yksittäiselle käyttäjälle, mutta useamman käyttäjän rinnakkaistyöskentelyyn se ei ole sopiva vaihtoehto.