Dynaamisen verkkosivun verkkoharavointi : case: Instagram

Abstract

Opinnäytetyön tavoitteena oli selvittää, onko yksityishenkilön mahdollista hyödyntää sosiaalisen median dataa markkinatutkimuksessa dynaamisen verkkosivun verkkoharavoinnin keinoin. Tutkimuksen kohteeksi valikoitui Facebook, Inc. omistama Instagram, jonka vuoksi tutkimus perehtyy käytännön ratkaisun löytämisen ja toteuttamisen lisäksi verkkoharavointia koskevan lainsäädännön ja Facebookin välisen risteyksen tarkasteluun sekä siihen, miten tämän risteyksen liike vaikuttaa kolmansien osapuolten mahdollisuuksiin harjoittaa sosiaalisen median verkkoharavointia.

Instagramin käyttöliittymää ja sen rajoituksia testattiin tutkivan testauksen, HTTP metodien ja koneellisen testauskirjaston yhdistelmällä. Tiedonkeruuseen sovellettiin kahden eri lähestymistavan yhdistelmää: dokumenttioliomallin avulla ohjailu ja rajapintaan tehdyt pyynnöt. Toimintaa pyrittiin inhimillistämään, eli toimimaan eettisesti tavalla, joka ei kohteen näkökulmasta eroa kuormittavuudeltaan tavallisesta käyttäjästä.

Verkkoharavoinnin laillisuus on tapauskohtaista ja tulkinnanvaraista, sillä haravoitava tieto on palvelumuodon vuoksi usein sisäsyntyisesti saatavilla. Kysymykseksi jää, saako kone tarkastella samaa sisältöä, kuin ihminen. Instagramin tapauksessa sen määrittelee viime kädessä Yhdysvaltain korkeimman oikeuden lainsäädännön suhde Instagramin palveluehtoihin.

Tutkimuksessa toteutettiin ja testattiin kahta erilaista tapaa hakea haluttua dataa. Käyttäjän on mahdollista hakea ja tallentaa itselleen näkyvää tietoa koneellisesti, mutta toiminnan riskitekijät ja tiedon määrä suhteessa aikaan määrittelevät sen kannattavuuden. Tutkimuksen tulokset viittaavat tulevaisuuteen, jossa sosiaalisen median yhtiöillä on alustallaan kehittyvään ihmisen käyttäytymistä koskevaan dataan yksinoikeus, jota ei voida murtaa, vaikka sen yrittäminen pysyisi laillisena.

The purpose of this study was to investigate whether an independent third party could utilize data from social media for market research purposes by using web scraping methods. Facebook, Inc. owned social media Instagram was chose for evaluation. The thesis focuses on highlighting the contesting point between Instagram's terms of service and legislation under which web scraping currently operates.

To understand Instagram's user interface and its restrictions, a combination of exploratory testing, HTTP methods and test automation was used. Data extraction was done through a combination of DOM navigation and direct API calls.

Legality of web scraping is ambiguous and handled on case-by-case basis because the form of a web service often makes the data inherently available. The question remains whether a bot should be allowed to observe the same content that is readily available for a human agent.

The study implemented and tested two different ways to retrieve the desired data. The user can retrieve and store visible information mechanically, but the profitability of operations is affected by operational risk factors and their relation to the amount of information extracted over time. The results of the study point to a future in which social media companies have the exclusive right to human behavioral data generated on their platforms.