Apache Hadoop -alustaan perustuva laskutuksen seurantaympäristö

Abstract

Opinnäytetyön aiheena oli suunnitella ja toteuttaa Oulun kaupungin yhdyskunta- ja ympäristöpalveluiden joukko- ja henkilöliikenneyksikölle osittain automatisoitu, datan käsittelyn ja analysoinnin mahdollistava laskutuksen seurantaympäristö. Tavoitteena oli toteuttaa ympäristö, joka mahdollistaisi useiden tuhansien laskutusrivien tarkistamisen suhteellisen nopeasti. Käsiteltävä data pitää sisällään muun muassa Oulun kaupungin lakisääteisten henkilökuljetusten toteumia. Ympäristön tuli tuottaa myös helposti luettavat ja visuaalisesti selkeät raportit henkilöliikenne- ja palveluohjausyksikön käyttöön. Datan käsittelyyn, laskentaan ja raportointiin käytettiin Apache Hadoop -kehykseen pohjautuvaa Hortonworks Sandbox -datan käsittely- ja analysointiympäristöä. Tarkemman visuaalisen esittämisen mahdollistamiseksi raportoinnissa käytettiin lisäksi Microsoft Excel -ohjelmaa.

Toteutuksen tuloksena saavutettiin tilanne, jossa yksittäisiä rivejä koskevasta manuaalisesta tarkistuksesta voitiin luopua. Laskutuksen seurantaympäristö mahdollistaa henkilökuljetuksissa suoritettujen matkojen seurannan kuukausi- ja vuositasolla. Näin suurien kokonaisuuksien hallinta manuaalisesti on erittäin hankalaa ja osittain jopa mahdotonta.

Vastaavat datasisällöt tullaan tarkastelemaan myös muiden hallintokuntien laskutusaineistoista, jonka yhteydessä siirrytään Hortonworks- ja Microsoft Azure -tuotantoympäristön käyttöön. Tarpeen mukaan järjestelmä voidaan tällöin ottaa käyttöön myös muissa kaupungin yksiköissä.

The subject of this thesis was to design and implement a partly automated invoice monitoring environment that enables the data for processing and analysis to the community and environmental services of the City of Oulu. The goal was to implement an environment that would make it possible to check thousands of billing rows relatively quickly. The data included the statutory personal transport of the City of Oulu. The environment should also produce easily readable and visually clear reports for the use of public transportation and service guidance units. The data processing, and reporting was based on the Hortonworks Sandbox Apache Hadoop platform. Microsoft Excel was also used for a more accurate visual presentation.

As a result of the implementation, a situation was reached in which the manual revision of individual lines could be waived. The billing tracking environment allowed to track journeys on a monthly basis and at an annual level. Managing such large entities manually is very difficult and in part impossible.

Data content will also be reviewed for billing materials in other administrations. If necessary, the Hortonworks / Microsoft Azure production environment can then be deployed in units of the city.