Verkkoharavaohjelman toteutus Pythonilla

Abstract

Insinöörityössä kehitettiin verkkoharavaohjelma käyttäen Python-ohjelmointikieltä. Ohjelmasta oli tarkoitus luoda mahdollisimman helppokäyttöinen ratkaisu automatisoidun tiedon keräykseen, ja se tulisi toimimaan useilla erilaisilla verkkosivuilla. Ohjelman tulevilla käyttäjillä ei olisi kattavaa ohjelmointiosaamista, joten verkkoharavoiden määrittely haluttiin toteuttaa ohjelmakoodista riippumattomasti.

Ohjelma toteutettiin komentoriville, josta sen käyttö onnistuu yksinkertaisten komentojen avulla. Yksittäisten haravoiden suorituksen lisäksi ohjelma tukee myös suurten haravamäärien ajastamista, mikä mahdollistaa automatisoidun, pitkäkestoisen ja säännöllisen datan keräyksen. Suoritettavat verkkoharavat konfiguroidaan erillisissä YAML-kielisissä konfiguraatiotiedostoissa, joista ohjelma lukee tarvittavat tiedot ajon aikana.

Konfiguraation tukemat asetukset mahdollistavat erilaisilla tavoilla toimivien sivujen haravoinnin. Konfiguroidut verkkoharavat kykenevät esimerkiksi vierittämään sivua alaspäin, siirtymään tuoteluettelosivujen välillä sekä lataamaan sivulle lisää sisältöä painikkeiden kautta. Näiden toiminnallisuuksien avulla tietoja saadaan kerättyä kattavasti erilaisilta sivuilta.

The objective of the study was to develop a web scraping program using the Python programming language. The program was intended to be a simple to use solution for automated data collection purposes, that would work on multiple different websites. The future users of the program would not have good programming knowledge, so the configuration of the scrapers needed to be implemented in a way not tied to the program code.

The program was implemented as a command line application that can be used with a few simple commands. Besides running individual scrapers, the program also supports scheduling of scraping tasks. This allows for regular, automated and long-lasting data collection. Individual scrapers are configured in separate configuration files written in the YAML language.

The parameters supported by the configuration allow scraping varying types of websites. The scrapers can scroll down pages, move between product catalogue pages and load more content by clicking buttons. With the help of these varying functionalities diverse kinds of websites can be scraped for desired information.