Datan haravointi verkkosivulta : case: Tavata Global Oy
Mynttinen, Kiamilla (2024)
2024
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-202405028756
https://urn.fi/URN:NBN:fi:amk-202405028756
Tiivistelmä
Tämän opinnäytetyön aiheena on data scraping eli tiedon haravointi verkosta. Työn tavoitteena on tutkia scrapingiä ja sen tekniikoita. Tämän lisäksi työn tavoitteena on data scraperin luonti toimeksiantajan tarpeisiin. Työn toimeksiantajana toimi lahtelainen yritys Tavata Global.
Työn teoriaosuudessa tarkastellaan tiedon haravointi tekniikoita ja teknologiaa, joita hyödynnetään tiedon haravoinnissa. Nämä sisältävät ohjelmointikieliä, ohjelmistoja sekä erilaisia datan haravointimalleja.
Työn toteutuksen tavoitteena on luoda ja implementoida kuvankaappaustyökalu, tai scraper, joka kerää halutusta verkkosivusta kuvadataa ja tallentaa sen haluttuun sijaintiin. Työn toteutuksessa hyödynnettiin ohjelmoinnissa JavaScriptiä, Node.js:ää, sekä sen NPM-kirjastoja. Haravoinnin ohjelmana toimi Puppeteer. Valmis scraper implementoitiin Google Cloud pilvipalveluihin.
Työn teoriaosuudessa tarkastellaan tiedon haravointi tekniikoita ja teknologiaa, joita hyödynnetään tiedon haravoinnissa. Nämä sisältävät ohjelmointikieliä, ohjelmistoja sekä erilaisia datan haravointimalleja.
Työn toteutuksen tavoitteena on luoda ja implementoida kuvankaappaustyökalu, tai scraper, joka kerää halutusta verkkosivusta kuvadataa ja tallentaa sen haluttuun sijaintiin. Työn toteutuksessa hyödynnettiin ohjelmoinnissa JavaScriptiä, Node.js:ää, sekä sen NPM-kirjastoja. Haravoinnin ohjelmana toimi Puppeteer. Valmis scraper implementoitiin Google Cloud pilvipalveluihin.