Improving data analysis in continuous integration environment
Taajamo, Joni (2020)
2020
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-202005046987
https://urn.fi/URN:NBN:fi:amk-202005046987
Tiivistelmä
Tässä opinnäytetyöraportissa käydään läpi dataa automaattisesti analysoivan järjestelmän kehitysvaiheet. Opinnäytetyön tavoite oli suunnitella ja toteuttaa dataa analysoiva järjestelmä, joka analysoi jatkuvassa integraatiossa toteutettujen testien tuloksia toimeksiantajana toimivan Nokia Networks-yrityksen yksikössä. Projekti toteutettiin käyttäen ketterää menetelmää, Scrumia. Projekti toteutettiin vuoden 2020 ensimmäisellä neljänneksellä.
Raportin alkuvaiheessa esitellään ja vertaillaan projektin toteutukseen liittyviä teknologioita. Järjestelmän tärkeimmät teknologiat olivat Python, Microsoft Power BI, Docker, PostgreSQL ja MongoDB. Osaa teknologioista, kuten Power BI:tä käytettiin toimeksiantajan toiveesta. Tämän vaiheen tarkoituksena on auttaa varsinaisessa kehityksessä ja vahvistamaan käytettyjen teknologioiden ymmärrystä.
Tietoperustan jälkeen käsitellään varsinaista järjestelmän toteutusta. Suurin osa toteutuksesta on salassa pidettävää, mutta yksityiskohtia esitellään esimerkkien avulla. Järjestelmän toteutus voidaan jakaa karkeasti kahteen osaan: datan käsiteltävään muotoon muuttava osuus ja datan visualisoiva raportti. Toteutus oli onnistunut ja se on viety tuotantoon.
Raportin loppupuolella käsitellään projektin tuloksia lyhyen teknisen arvioinnin ja käyttäjätyytyväisyyskyselyn avulla. Käyttäjäkyselyn tulokset olivat positiivisia. Käyttäjätulosten perusteella projekti saavutti tavoitteensa, jotka olivat manuaalisen työn vähentäminen ja muiden vastaavien projektien innoittaminen. Raportin lopuksi käsitellään siitä opittuja asioita, joita oli runsaasti. This thesis reports the process of developing a data pipeline system for Nokia Networks. The main goal was to plan, design and develop a data analytics system that analyzes the test results from the continuous integration (CI) system. Requirements for the system were gathered from stakeholders and it was developed using a Lean method, Scrum. The project was conducted during Q1 of 2020.
This report begins by demonstrating the research and benchmarking of relevant technologies and methods. The system’s key technologies are Python, Microsoft Power BI, Docker, PostgreSQL and MongoDB. Some of the technologies were used at the request of Nokia Networks. This phase helped to design the final system and to confirm the selected technologies.
After the research phase, details of the implementation are discussed. Most parts of the system are confidential to Nokia Networks, but technical aspects are presented using examples. The system is broadly formed of two separate parts: a data pipeline which migrates the data from original source to analyzable form and the report which visualizes the results. Implementation was successfully developed and deployed into production.
Finally, the results of the project are evaluated with a brief technical review and user satisfaction inquiry. The results from the inquiry were positive and verified the quality of the system. Projects goals of reducing the time of test analysis and inspiring other projects were reached. The report is concluded by discussing the key learnings from the project.
Raportin alkuvaiheessa esitellään ja vertaillaan projektin toteutukseen liittyviä teknologioita. Järjestelmän tärkeimmät teknologiat olivat Python, Microsoft Power BI, Docker, PostgreSQL ja MongoDB. Osaa teknologioista, kuten Power BI:tä käytettiin toimeksiantajan toiveesta. Tämän vaiheen tarkoituksena on auttaa varsinaisessa kehityksessä ja vahvistamaan käytettyjen teknologioiden ymmärrystä.
Tietoperustan jälkeen käsitellään varsinaista järjestelmän toteutusta. Suurin osa toteutuksesta on salassa pidettävää, mutta yksityiskohtia esitellään esimerkkien avulla. Järjestelmän toteutus voidaan jakaa karkeasti kahteen osaan: datan käsiteltävään muotoon muuttava osuus ja datan visualisoiva raportti. Toteutus oli onnistunut ja se on viety tuotantoon.
Raportin loppupuolella käsitellään projektin tuloksia lyhyen teknisen arvioinnin ja käyttäjätyytyväisyyskyselyn avulla. Käyttäjäkyselyn tulokset olivat positiivisia. Käyttäjätulosten perusteella projekti saavutti tavoitteensa, jotka olivat manuaalisen työn vähentäminen ja muiden vastaavien projektien innoittaminen. Raportin lopuksi käsitellään siitä opittuja asioita, joita oli runsaasti.
This report begins by demonstrating the research and benchmarking of relevant technologies and methods. The system’s key technologies are Python, Microsoft Power BI, Docker, PostgreSQL and MongoDB. Some of the technologies were used at the request of Nokia Networks. This phase helped to design the final system and to confirm the selected technologies.
After the research phase, details of the implementation are discussed. Most parts of the system are confidential to Nokia Networks, but technical aspects are presented using examples. The system is broadly formed of two separate parts: a data pipeline which migrates the data from original source to analyzable form and the report which visualizes the results. Implementation was successfully developed and deployed into production.
Finally, the results of the project are evaluated with a brief technical review and user satisfaction inquiry. The results from the inquiry were positive and verified the quality of the system. Projects goals of reducing the time of test analysis and inspiring other projects were reached. The report is concluded by discussing the key learnings from the project.