Logging Web Behaviour for Association Rule Mining

Abstract

The aim of this study was to suggest improvements to web server logs of existing web services. The ultimate goal was to study how logging process could be developed to enhance using log data with data mining tools to get better results. Better results could be, for example, understanding which actions during web browsing session indicate interest to buy certain products in an online store.

Data sets studied consist of web server data from Nasa web service, Sonera Joulukampanja webserver data and web server data from liandersson.fi web site. Liandersson.fi and Sonera Joulukampanja are based on Linux, Apache or Nginx, PHP and MySQL technologies.

For the study a data mining environment using association rule analysis to mine new information from web server log data was developed. The emphasis was on doing research on what kind of data mining results can be achieved with different kinds of log data and how developing the logging of web server data can affect the possibilities of data mining.

The two stated goals of the study were to generate a tool set that can automate the analysis of chosen log files and produce association rules of the log data and to analyse the capabilities of this data mining process, with the data available and to create a list of actions points that can be used to develop data logging.

Yet another objective was to develop the logging of web server data and thus improve analysing this data in the future. Alongside developing a data mining environment, the key outcome of the study is instructions of how to plan web server logging in a way that takes into account the requirements of data mining of the specific data in question in order to use the information created by data mining to improve existing web services.

Tämän työn tarkoitus on tutkia olemassa olevien WWW-sovellusten ja -palveluiden lokitietoja ja selvittää, miten niiden keräystä tulisi kehittää, jotta tiedonjalostamistekniikoilla saataisiin paras mahdollinen hyöty saatavilla olevasta datasta. Hyöty voi olla esimerkiksi tieto siitä, mitkä tapahtumat ennakoivat kiinnostusta ostaa tietyn ryhmän tuotteita verkkokaupasta.

Aineistot joita tutkitaan ovat Nasan verkkopalvelun palvelinlokidataa, Sonera Joulukampanja - palvelun palvelinlokidataa ja liandersson.fi-palvelun palvelinlokidataa. Palvelut liandersson.fi ja Sonera Joulukampanja on toteutettu Linux-, Apache- tai Nginx-, PHP- ja MySQL tekniikoilla.

Tässä työssä kehitetään tiedonjalostusympäristö, jolla assosiaatiosääntöanalyysiä käyttä-en pyritään jalostamaan tietoa WWW-palvelinten lokidatasta. Tässä tutkimuksessa selvitetään minkälaisia tuloksia erilaisella datalla saadaan ja miten hyödyllistä tietoa voitaisiin saada aikaan, mikäli lokien keräyksessä olisi paremmin otettu huomioon tiedon jalostamisen vaatimukset.

Tutkimuksen ensimmäisenä tavoitteena on luoda työkalut, joilla voi automatisoida valittujen lokitiedostojen analysoinnin ja luoda assosiaatiosääntöjä lokidatasta. Toisena tavoitteena on analysoida tämän tiedonlouhintaprosessin mahdollisuuksia tuotantopalvelimilta saamallamme datalla ja luoda lista ohjeita, joilla kehittää lokitietojen keräämistä.

Lisäksi tavoitteena on kehittää palvelinten lokien keräämistä ja siten mahdollistaa lokien sisältämän datan parempaa analysointia tulevaisuudessa. Tiedonjalostusympäristön kehityksen ohella työn keskeisiä tuloksia on ohjeistus, jonka avulla verkkopalvelun tuotantoon siirryttäessä voidaan ottaa paremmin analytiikan vaatimuksia huomioon.