Scriben jonopohjaisten integraatioprosessien käyttöönotto ja automatisointi

Abstract

Insinöörityön tarkoituksena oli ottaa käyttöön Scriben jonopohjaiset integraatioprosessit Talentumilla tehtävän dataintegraation suorituskyvyn ja luotettavuuden parantamiseksi. Tavoitteena oli selvittää suorituskykytestien avulla, kuinka paljon jonojen käyttö paransi suorituskykyä. Lisäksi tavoitteena oli automatisoida jonopohjaisia integraatioprosesseja. Työn toimeksiantaja oli Talentum Oyj. Työssä tutustuttiin ensiksi Talentumilla käytössä oleviin asiakkuudenhallintajärjestelmiin nimeltä Tabu ja Microsoft Dynamics CRM. Seuraavaksi perehdyttiin Scribe Insight –integraatiotyökalun komponentteihin ja ominaisuuksiin. Tämän jälkeen tutustuttiin Scriben jonopohjaisten integraatioprosessien toimintaan ja niiden käyttöönoton vaatimuksiin. Seuraavaksi jonopohjaiset integraatioprosessit otettiin käyttöön ja niiden suorituskykyä testattiin kolmella eri prosessilla: Asiakkaiden päivitys, tilausten päivitys ja laskujen päivitys. Asiakas-testissä saavutettiin 5-kertainen siirtonopeus Tabun ja CRM:n välillä. Tilaus-testissä saavutettiin 2-kertainen nopeus ja lasku-testissä 5,45 kertainen nopeus. Suorituskykyjen erot johtuivat prosessien monimutkaisuuksien eroista sekä CRM:n rajoitteista. Testeillä saavutettujen tulosten perusteella jonopohjaiset integraatioprosessit paransivat suorituskykyä. Testien aikana ilmenneet ongelmat osoittivat, että jonojen käyttö vaatii erilaisia toimenpiteitä, joita olisi myös mahdollista automatisoida jatkossa. Esimerkiksi Scriben lokitaulu täytyy puhdistaa säännöllisesti, jottei se pääse täyttymään ja samalla hidastamaan Scriben toimintaa. Lopuksi kolme testattua prosessia automatisoitiin päivittäin ajettaviksi. Lopputuloksena oli kolme jonopohjaista automatisoitua integraatioprosessia.

The purpose of this thesis was the implementation of Scribe Insight’s queue integration processes to improve the performance and reliability of Talentum’s data integrations. The goal was to perform a series of performance tests and find out how the queue based integration processes affected performance. In addition the aim was to automate said integration processes. The thesis was commissioned by Talentum Oyj. The first part of the thesis focuses on customer relationship management software called Tabu and Microsoft Dynamics CRM which are currently used by Talentum. The next part takes a look at the components and features of data integration software called Scribe Insight. After this the thesis focuses on the functionality and requirements of the queue based integration processes provided by Scribe. Then the thesis describes how the queue integration processes were implemented and how their performance was tested. The performance was tested with three processes: customer update, order update and invoice update. A five times better performance between Tabu and CRM was achieved in the customer test. The order test resulted in two times better performance and the invoice test resulted in 5.45 times better performance. The differences in performance were due to differences in the complexity of the processes and the limitations of CRM. The queue integration processes improved the performance based on the results of the tests. The problems encountered during testing indicated that the use of queues requires different measures to be taken. These measures can also be automated in the future. For example, the Scribe log-table must be cleaned regularly to prevent it from getting filled up and slowing down Scribe in the process. Finally the three processes were automated to be run daily. The end results were three automated queue integration processes.