Azure Pipelines -liukuhihna tiedostojen vientiin Databricks-ympäristöihin

Abstract

Automaatio on nykyään keskeinen osa teknisiä järjestelmiä. Automaation tarve tulee edelleen kasvamaan, kun pilvipalveluiden käyttö lisääntyy ja ne mahdollistavat entistä suurempien datamäärien käsittelyn.

DevOps on käytänteitä ja periaatteita, joiden tavoitteena on nopeuttaa kehitystyötä. Automaatio voi mahdollistaa esimerkiksi nopean käyttöönoton, kun päivitys koodiin voi laukaista liukuhihnan, joka kokoaa ja ottaa koodin käyttöön.

Tämän opinnäytetyön tarkoituksena oli luoda automatisoitu liukuhihna Azure Pipelines -alustalle. Liukuhihna ajaa ohjelman, jolla viedään tiedostoja useaan Databricks-ympäristöön, jotka ovat pilvipalveluja. Aikaisemmin toimeksiantajalla tiedostot oli viety yksitellen käsin jokaiseen ympäristöön. Tämä prosessi oli aikaa vievä ja altis inhimillisille virheille.

Opinnäytetyön tuloksena saatiin toimiva liukuhihna. Prosessi saatiin pitkälti automatisoitua, ja se on nopea.

Automatization is nowadays a central part of any technical system. The need for automatization will grow as the usage of cloud services grows. Cloud services are enabling the handling of ever larger amounts of data.

DevOps is a set of principles aimed to make development faster and more efficient. Automatization enables for example fast deployments as a code update can trigger a new build and deploy pipeline.

The goal of this thesis was to create and automate a pipeline in Azure Pipelines. The pipeline runs a script that imports files to Databricks environments hosted in the cloud. Previously this task was carried out by hand and file by file. The process was time-consuming and prone to mistakes.

The pipeline was deployed successfully. The file import process became mostly automated and faster.