Hakukoneiden vertailu ja indeksointi www:ssä

Abstract

Opinnäytetyö käsittelee Internetin hakukoneita ja niiden indeksointimenetelmiä. Tavoitteena oli selvittää, tukevatko tutkimukseen valitut viisi hakukonetta Boolen hakuja ja millä hakukoneella saadaan parhaat hakutulokset. Työn teoriaosassa kerrotaan, mistä osista hakukone koostuu sekä miten hakua voidaan muotoilla ja rajata relevanttien hakutulosten saamiseksi. Yleinen tapa muotoilla hakulauseketta on käyttää Boolen operaattoreita AND, OR ja NOT, joiden avulla hakutulosta on mahdollista laajentaa tai supistaa. Teoriataustassa syvennytään myös hakukoneiden suorittamaan indeksointiin eli www-sivujen lisäämiseen hakukoneisiin. Indeksoinnissa hakukoneen hakurobotti hakee www-sivuja ja tallentaa niistä tiettyjä tietoja tietokantaan. Www-sivun sisällön kuvailemiseen ja muun sivuun liittyvän tiedon ilmoittamiseen voidaan käyttää metadataa, joka piilotetaan sivun HTML-koodiin. Yksi metadataformaateista on Dublin Core, joka kehitettiin alun perin erityisesti www-sivujen metadatan kuvailemiseen. Www-sivujen sijoittumiseen hakukoneiden hakutuloksissa voidaan pyrkiä vaikuttamaan sivujen rakenteella, sisällöllä ja linkityksillä. Tästä käytetään nimitystä hakukoneoptimointi. Työn testausosassa on kaksi eri osiota. Ensimmäisessä osiossa on selvitetty kahdeksan hyvän hakukoneen kriteeriä ja arvioitu hakukoneita niiden perusteella. Jälkimmäisessä osiossa hakukoneita on testattu viidellä hakulauseella, jotka on muotoiltu niin, että kaikki Boolen operaattorit on saatu mukaan. Jokaisen hakukoneen antamista tulossivuista on tarkastettu 10 ensimmäistä, ja ne on pisteytetty asteikolla 1-3 siten, että mitä relevantimpi sivu on ollut käytettyjen hakusanojen kannalta, sitä enemmän se on saanut pisteitä. Lopuksi kunkin hakukoneen saamat pisteet on laskettu yhteen. Tulosten perusteella tutkimuksessa mukana olleista hakukoneista paras oli markkinajohtaja Google, jonka etumatka muihin koneisiin oli selvä. Toiselle sijalle selvisi AltaVista ja kolmannelle Yahoo!. Microsoftin syksyllä 2006 julkaisema Live Search sijoittui neljänneksi ja juuri tutkimuksen teon aikoihin uusiutunut Www.fi viidenneksi.

This thesis deals with Internet search engines and the indexing methods of them. The aim was to find out if the five search engines chosen for the study support Boolean searches and which search engine gives the best results. The subtext reveals which parts a search engine consists of and how a search can be formulated and defined to get relevant search results. A common way to formulate a search phrase is to use Boolean operators AND, OR and NOT with which the search result can be expanded or limited. The subtext also goes deeply into the search engine indexing, i.e. including websites into search engines. In indexing, the search robot of the search engine retrieves websites and saves certain information about them into the database. To describe the content of a website and to present additional information related to it, one can use metadata which is hidden in the HTML tag of the website. One of the metadata formats is Dublin Core which was originally developed especially for describing the metadata of websites. Website ranking can be influenced by the structure, the content and the linking of the site. This activity is called search engine optimization. The empiric part consists of two sections. In the first one, there are eight criteria for a good search engine, and the search engines have been evaluated using them. In the latter one, the search engines have been tested using five test search phrases that include all Boolean operators. The first ten results returned by each search engine have been checked and they have been given points using scale 1-3. The more relevant the website is compared to the used search terms, the more it has been given points. Finally, the points of each search engine have been summed. The results show that the best one of the search engines in this study was the market leader Google, the lead of which over other engines was clear. AltaVista came second and Yahoo! came third. Live Search, released by Microsoft in fall 2006, was fourth. Www.fi, which was renovated just before the study was made, was fifth.