Web crawler – Case: WorldSome Oy

Abstract

Tässä opinnäytetyössä tutkin web crawlereiden toimintaa ja toteutin WorldSome Oy:lle tarkoituksiinsa sopivan web crawler -palvelun käyttöliittymineen. Työssä oli oleellista selvittää voidaanko vaatimuksien mukainen sovellus toteuttaa käytännöllisellä tavalla, jolloin asiakkaat saisivat kuvaillun mukaisen palvelun, jota on helppo käyttää. Palvelua on tarkoitus soveltaa hakemalla asiakkaiden yrityksistä ja tuotteista tietoa erilaisilta sivustoilta internetistä.

Opinnäytetyössä käytiin läpi eri vaihtoehtoja työn toteuttamiseksi sekä lyhyesti web crawlereiden historiaa. Toteutuspohjaksi valikoidun OpenSearchServerin toimintaan perehdyttiin myös web crawler -lähtöisessä mielessä. Opinnäytetyön tuloksena on toimiva web crawler -palvelu ja käyttöliittymä, jota on mahdollista muokata moneen tarkoitukseen sopivaksi.

In this thesis I researched the operation of web crawlers and implemented a web crawler service with a user interface for WorldSome Oy’s needs. It was essential in this bachelor’s thesis to study whether it would be possible to implement the specified kind of service in a practical way, which at the same time would be user-friendly for the end users. The purpose of the service was to apply it for searching infor-mation about the customers’ companies and products on the Internet.

This thesis introduced different options for creating the service and a brief history of web crawlers. It included web crawler oriented familiarization of OpenSearchServer, the base of implementation for the service. This bachelor’s thesis resulted in a finished web crawler service with a user interface, which could be customized to meet many needs.