Verkkoharavoinnin teknologiset ratkaisut, käyttöalueet ja vastuulliset käytänteet

Abstract

Tässä insinöörityössä tutkitaan verkkoharavointia, siihen liittyviä teknologioita sekä sen eettisyyttä ja laillisuutta. Työssä vertaillaan erilaisia web-automaation työkaluja verkkoharavointiin soveltuvuuden perusteella. Teknologian kehittyessä myös verkkoharavointiin liittyvät menetelmät ja työkalut kehittyvät, minkä vuoksi työssä pohditaan, miten kehittyvät teknologiat, kuten tekoäly, voivat vaikuttaa verkkoharavointiin tulevaisuudessa.

Osana työtä toteutettiin ohjelmointiprojekti, jossa kehitettiin verkkoharavoinnin hyviin käytänteisiin pohjautuva verkkoharavointiohjelmisto. Projektin tavoitteena oli tutkia, miten eettistä verkkoharavointia voidaan toteuttaa käytännössä. Työn tuloksena havaittiin, että verkkoharavointiin erikoistuneet työkalut parantavat prosessin sujuvuutta ja tehokkuutta.

Verkkoharavoinnin keskeisiksi haasteiksi osoittautuivat IP-osoitteiden estot sekä verkkosivujen rakenteiden muutokset. Näihin haasteisiin ehdotetaan ratkaisuksi työkalun huolellista valintaa sekä teknologian kehittyessä esimerkiksi tekoälyn hyödyntämistä datan poiminnassa ja verkkosivujen rakenteiden automaattisessa tunnistamisessa. Eettisen ja laillisen verkkoharavoinnin keskeisiksi seikoiksi havaittiin tekijänoikeuksien noudattaminen, tietosuojan ja käyttöehtojen huomioiminen sekä haravoitavien verkkosivujen kunnioittaminen ja mahdollisten haittavaikutuksien välttäminen.