Sensor Data Collection Framework for Improving Data Quality

Abstract

Datan ja metadatan laadun huomioiminen on tärkeä osa tutkimusaineistojen jakamista. FAIR-periaatteet (Löydettävä, Saavutettava, Yhteentoimiva, Uudelleenkäytettävä) tarjoavat ohjeita tutkimusaineistojen uudelleenkäytettävyyden parantamiseksi, mutta niiden noudattaminen riippuu siitä, miten data kerätään ja tallennetaan alusta alkaen.

Tämän opinnäytetyön tavoitteena oli kehittää sensoridatan keruujärjestelmä, jossa on yleisesti sovellettava lähestymistapa hyvien käytäntöjen varmistamiseksi datan keruussa ja tallennuksessa, mikä tarjoaa perustan FAIR-yhteensopivien tietoaineistojen luomiselle.

Järjestelmä toteutettiin käyttämällä S3-objektitallennusjärjestelmää ja aikasarjaoptimoitua PostgreSQL-tietokantaa Python-ohjelmointikielellä. Järjestelmässä raakadataa rikastetaan kattavilla ja kuvailevilla metatiedoilla, joista selviää milloin ja miten data kerättiin, käsiteltiin ja validoitiin.

Tämän seurauksena järjestelmän tuottamat tietoaineistot osoittivat parempaa FAIR-yhteensopivuutta verrattuna ad-hoc-keräysmenetelmiin.

Considering the quality of data and metadata is an important part of sharing datasets for research. The FAIR principles (Findable, Accessible, Interoperable, Reusable) provide guidelines for improving research data reusability, but adherence depends on how data is collected and stored from the beginning.

The goal of this thesis was to develop a sensor data collection system with a generally applicable approach to ensure good practices for collection and storage of data, providing a foundation for creating FAIR-compliant datasets. The system was implemented using S3 storage software and a time-series-optimized PostgreSQL database in the Python programming language. In the system, raw data is enriched with comprehensive and descriptive metadata that describes when and how the data was collected, processed and validated. As a result, the datasets produced by the system showed improved FAIR compliance compared to ad-hoc collection approaches.