Automating website crawling using web scraping techniques provided by PHP

Abstract

The purpose of this study was to build a module for a web development application called Pro5. The module was designed to go to a potential customer’s website and gather important information related to the page, such as page count and word count.

The project was realized in PHP using the Yii2 framework for any possible database connections. The use of web scraping techniques was also be required, and the built in DOM structure parsing tools were used to achieve this. The relational database management system that was used is MySQL. Due to the nature of this project, the style of the programming was very object oriented.

The results of the project were favorable as a module ready for integration into the Pro5 system was produced. The module also fairly accurately gathers data about the websites that it visits and scrapes.

Insinöörityön tarkoituksena oli rakentaa moduuli nettikehitysalustalle nimeltä Pro5. Moduulin toimintaan kuuluu mahdollisen asiakkaan nettisivulla käynti ja tärkeiden tietojen keruu verkkosivulta, kuten sivujen ja sanojen määrä.

Moduulia toteutetaan PHP:lla käyttäen PHP:n päälle rakennettua runkokirjastoa nimeltä Yii2, josta hyödynnetään tietokantaominaisuudet. Verkkokaavintaosuuden mahdollistaa PHP:n sisään rakennettu DOM-rakenteen jäsennin. Tietokantatekniikkana toimii MySQL. Projektin luonteen takia ohjelmointityyli oli hyvin oliomainen.

Insinöörityössä toteutettiin integraatiovalmis moduuli Pro5-kehihitysalsutaan. Toteutettu moduuli kaapii melko tarkasti nettisivuja, joilla se käy.