VERKKOSIVUN TIEDONHARAVOINNIN AUTOMATISOIMINEN : Case: EnergiaGuru

Abstract

Työssä tutkittiin datan hakemista verkkosivulta PHP-ohjelman avulla. Haetusta datasta etsittiin tarvittavat tiedot ja ne tallennettiin omaan tietokantaan. Työssä tutkittiin myös ohjelman ajastusta.

Teoriaosassa esiteltiin verkkosivun tietoharavointia, säännöllisiä lausekkeita, PHP-ohjelman muodostamisessa tarvittuja luokkakirjastoja sekä ajastusmahdollisuuksia. Lisäksi esiteltiin apuna käytettyä Wireshark-ohjelmaa sekä sen hyödyntämistä oikeanlaisen HTTP-pyynnön muodostamisessa ja ohjelman toiminnan tutkimisessa.

Käytännön osassa ohjelma toteutettiin PHP:llä. Aluksi HTTP-viestejä analysoitiin Wiresharkilla ja luotiin sen pohjalta HTTP-pyyntö PHP/CURL-kirjaston avulla. Palvelimelta vastaukseksi saatua tekstiä käsiteltiin sopivaan muotoon ja eroteltiin halutut arvot säännöllisten lausekkeiden avulla. Suodatettu data lähetettiin tietokantaan ja testattiin tehtävän ajastusta.

Lopuksi pohdittiin mahdollisia parannuskohtia sekä esitettiin parannus- ja jatkokehitysehdotuksia ohjelman käytettävyyden, luotettavuuden ja konfiguroinnin parantamiseksi.

Osa opinnäytetyön liitteistä on jätetty pois julkisesta versiosta.

The purpose of the thesis was to build a PHP script that could scrape data from a web page, extract the needed information from the data, insert the information into a database and automate the process to be executed once a day.

In the theoretical part web scraping, regular expressions, useful libraries and functions for constructing the PHP program and job scheduling options were studied. In addition, the packet analyzer program Wireshark, and how to use it for examining HTTP messages was introduced.

In the practical part a PHP script was written. At first, HTTP messages were analyzed with Wireshark and then an HTTP request was constructed with PHP/CURL library. The server’s response was processed and filtered with regular expressions. Filtered data was inserted into the database and job scheduling was tested.

Finally, some ideas to improve and further develop the usability, reliability and configuration of the PHP script were discussed.