Dataputken suunnittelu Azure-ympäristössä : raportoinnin automatisointi

Abstract

Tämän opinnäytetyön tarkoituksena oli kehittää ETL-/ELT-dataputki määriteltyä käyttötapausta varten. Tavoitteena oli automatisoida asiakkaiden tarvitsemien tietojen tuottaminen sekä yrityksen sisäisen raportoinnin tarvitsemien tietojen toimittaminen.

Opinnäytetyössä tutkittiin tapaustutkimuksen ja toimintatutkimuksen keinoin, miten dataputki kannattaa toteuttaa määritellyssä käyttötapauksessa. Työhön sisältyi prosessien suunnittelu, teknisten ratkaisujen valinta ja itse toteutustyö. Toteutus oli ennalta rajattu Azure-alustalle.

Työn tuloksena syntyi tekninen toteutus, joka siirtää tarvittavan datan automaattisesti lähdejärjestelmästä haluttuihin kohteisiin halutuissa tietomuodoissa. Ratkaisu tehtiin tietylle käyttötapaukselle, joten tutkimus rajattiin sen mukaisesti. Tarve oli kuitenkin varsin tyypillinen, joten työn tuloksia voidaan hyödyntää soveltuvilta osin myös muissa vastaavissa tarpeissa.

The purpose of this thesis was to develop an ETL/ELT data pipeline for a pre-defined use case. The goal was to automate the production of the information needed by customers and the provision of the information needed for internal reporting within the company.

Through case study and action research, the thesis examined how to implement a data pipeline in a pre-defined use case. The study included process design, selection of technical solutions and the implementation work of the solution itself. The implementation was predefined for the Azure platform.

The result of the work was a technical implementation that automatically transfers the necessary data from the source system to the desired targets in the desired data formats. The solution is made for a specific use case and the study is limited accordingly. However, the need was quite typical, and based on which the results of the study can be applied to other similar needs.