Developing microservice-based distributed workflow engine.

Abstract

Digital system need to perform tasks which sometimes can be called workflows since they are quite repetitive in nature. It makes sense to automate these tasks using workflow engines. Micro-service architecture is a well-tested and widely adapted pattern known from archive systems and operating systems like Linux and Unix. Finding a lightweight and customizable micro-service engine can be hard. The most are tied to specific systems, require learning a tedious mark-up languages or otherwise difficult to adapt. Project is about development and piloting of a simple generic micro-service based workflow engine for digital archives. Design goals were portability, flexibility and being as simple as possible. The workflow is demonstrated with a case study on born-digital content ingest. Primary client for this project was archiving project called OSA, which is project done by the Depart-ment of Electrical Engineering and Information Science in Mikkeli UAS. The project produced a working prototype of a workflow engine which is simple to use and is based on microservice architecture. Microservices required for the simple ingest process were created. Even the main client was concentrated on archiving, the engine that project produced was designed to work as a generic open source component which could be used in any project in need of a simple workflow engine.

Digitaalisissa arkistointi järjestelmissä on usein tarve suorittaa tehtäviä joita voi kutsua ketjumaisiksi ja jotka ovat luonteeltaan toistettavia. On hyödyllistä automatisoida tälläsiä tehtäviä käyttämällä työkulkumoottoria. Mikropalvelut on hyvin testattu ja laajasti käytössä oleva arkkitehtuuri joka tunnetaan esimerkiksi arkistointijärjestelmistä ja käyttöjärjestelmistä kuten Linux ja Unix. Kevyen ja silti riittävät ominaisuudet omaavan työnkulkumoottorin löytäminen voi olla hankalaa. Suurin osa työnkulkumoottoreista on sidottu tiettyihin järjestelmiin, vaatii hankalien merkkauskielien opiskelua tai ovat muuten hankalia käyttää. Tämän projektin tarkoituksena on kehittää yleiskäyttöinen ja helppo mikropalveluihin perustuva työnkulkumoottori. Suunnittelu tavoitteita olivat siirrettävyys, joustavuus ja helppokäyttöisyys. Työtehtävänä esitellään digitaalisen aineiston syöttö arkistointijärjestelmään. Pääasiallinen asiakas projektille on OSA-hanke, joka on Mikkelin Ammattikorkeakoulun, Sähkö- ja informaatiotekniikan laitoksen suorittama hanke. Projektin tuloksena oli toimiva prototyyppi työnkulkumoottorista sekä tarvittavat mikropalvelut arkistoon syöttöä varten. Vaikka pääasiakas toimii arkistointi alalla onnistuttiin projektissa luomaan työnkulkumoottorista tarpeeksi yleiskäyttöinen jotta sitä voidaan käyttää komponenttina myös muissa projekteissa joissa on tarvetta helppokäyttöiselle työnkulkumoottorille.