Reaaliaikainen data Microsoft Azure -pilvipalvelussa

Abstract

Opinnäytetyön tavoitteena oli tutkia Microsoft Azure -pilvipalvelun reaaliaikaiseen Big Data -prosessointiin tarjoamien ratkaisujen toimintaperiaatteita ja ominaisuuksia. Tutkittavia palveluita olivat Event Hubs, Stream Analytics sekä Machine Learning. Työn toimeksiantajana toimi Inmics Oy. Työllä haluttiin antaa toimeksiantajalle kokonaiskuva tutkittavista palveluista sekä helpottaa niiden käyttöönoton mahdollisuuksien kartoittamista tulevaisuudessa. Työ toteutettiin testaamalla palveluita kahdessa erilaisessa kokoonpanossa. Ensimmäisessä testauksessa testidataa syötettiin Event Hubs -palvelun kautta Stream Analytics työlle, jolla dataan suoritettiin reaaliaikaisia kyselyitä. Toisessa testauksessa analysointi pyrittiin toteuttamaan Machine Learning -ratkaisulla, jota kutsuttiin Stream Analytics -työn kyselyssä. Testaus pystyttiin suorittamaan kokonaisuudessaan käyttäen palveluiden ilmaisia testijaksoja. Event Hubs ja Stream Analytics -palveluiden ominaisuudet saatiin esitettyä kattavasti ja testikäytön perusteella todettiin, että yhdistelmä pystytään ottamaan käyttöön hyvin tehokkaasti ilman vuosien kokemusta, mutta dokumentaatioista löytyi vielä parantamisen varaa. Työssä myös havainnollistettiin kokonaisen Machine Learning -ratkaisun luominen ja käyttöönotto, jossa onnistumisen tärkeimmiksi määrittäviksi tekijöiksi nostettiin riittävän hyvä suunnittelu sekä perustaidot ohjelmoinnista. Yleisesti ottaen palveluiden todettiin olevan vielä hieman kehitysvaiheessa, mutta esimerkiksi dokumentaation huomattiin lisääntyvän ja kehittyvän jatkuvasti. Palveluiden arvioitiin myös kasvattavan asemaansa referenssikohteiden lisääntyessä tulevaisuudessa

The purpose of the thesis was research how real-time data can be utilized with Microsoft Azure’s Big Data-oriented services, which were Event Hubs, Stream Analytics and Machine Learning. The bachelor’s thesis was assigned by Inmics Oy with the goal to get a bigger picture of the operational principles of the services so that the possible future deployments could be even considered. The services were tested in two segments and with two different set of services used. In the first segment, the test data was fed to the Stream Analytics through Event Hubs and then real-time queries were performed to the data. In the second segment, the whole analysis was carried out using the Machine Learning -model, which was called from a Stream Analytics query. All tests were made using a free trial period of each service. As a result, the features of the Event Hubs and Stream Analytics services were represented extensively, and it was discovered that the combination of these services can be implemented highly efficiently without having years of experience. The creation and implementation of a whole Machine Learning -solution were also demonstrated successfully. Sufficient planning and the basic knowledge of coding were noticed to be the most important factors for succeeding in the process. Broadly based on the user experience, it could be said that the services are still slightly under progress, and the major problem with all services was the occasional lack of proper documentation. However, the usability of the services was estimated to improve along the increase of the real life use cases in the future.