Designing a data pipeline for game release trends

Abstract

Thousands of new games are released in the gaming industry every month, but public data is not easily available to support decision-making or research. An automated data pipeline offers one way to turn scattered web data into an analyzable format without manual work. A systematic process helps keep the data reliable. It also facilitates the comparison of results across different time periods. This thesis examined how an automated data pipeline can be used to collect and study game market data. The goal was to create a solution that gathered and organized information about game releases from a specific time period and allowed it to be viewed visually. The thesis explained how data collection, data structures, and analysis were designed, and why reproducibility was important in the data engineering process. This thesis project was completed independently, combining practical implementation and analytical thinking. As a result, a repeatable data pipeline was built to collect publicly available game release data and convert it into a form ready for analysis. The implementation provided a clear view of new game releases and content trends and created a base for future improvements and research. The thesis demonstrated that automated data collection can produce reliable and scalable background information for understanding the fast-changing digital market.

Pelialalla julkaistaan kuukausittain tuhansia uusia pelejä, mutta julkista dataa ei ole helposti saatavilla päätöksenteon tai tutkimuksen tueksi. Automaattinen dataputki tarjoaa keinon muuntaa hajanaista verkkodataa analysoitavaan muotoon ilman manuaalista työtä. Järjestelmällisesti suunniteltu prosessi varmistaa datan eheyden ja tulosten vertailtavuuden eri ajanjaksojen välillä. Tämä opinnäytetyö tarkastelee automatisoidun dataputken käyttömahdollisuuksia pelimarkkinadatan keräämisessä ja analysoinnissa. Työn tavoitteena oli kehittää ratkaisu, joka kokoaa ja jäsentää pelijulkaisutietoa ajallisesti rajatulta jaksolta sekä mahdollistaa sen visuaalisen tarkastelun. Opinnäytetyössä tutkittiin datankeruun, tietorakenteiden ja analyysin suunnittelua sekä toistettavuuden merkitystä data engineering -prosessissa. Työ toteutettiin itsenäisenä projektina, jossa yhdistyivät tekninen toteutus ja analyyttinen näkökulma. Opinnäytetyön tuloksena syntyi toistettava dataputki, joka kokoaa julkisesti saatavaa dataa pelijulkaisuista ja muuntaa sen analysoitavaan muotoon. Toteutuksen avulla saatiin kattava näkemys uusien pelien julkaisumääristä ja sisällöllisistä trendeistä sekä luotiin pohja tuleville laajennuksille ja jatkotutkimuksille. Työ osoitti, että automatisoitu datankeruu voi tuottaa luotettavaa ja laajennettavissa olevaa pohjatietoa nopeasti muuttuvan digitaalisen markkinan ymmärtämiseksi.