Luonnollista tekstiä käsittelevien apien vertailu sekä niiden hyödyntäminen ohjelmistorobotiikassa

Abstract

Opinnäytetyö sisältää vertailun kahden luonnollista tekstiä käsittelevän apin välillä sekä esimerkkisovellukset apien hyödyntämisestä ohjelmistorobotiikassa. Vertailussa olevat luonnollista tekstiä käsittelevät apit olivat helposti saatavilla ja niiden käyttö oli maksutonta koko opinnäytetyön ajan.

Apeja vertaillaan käytöstä aiheutuvien kustannusten ja niiden ominaisuuksien sekä niistä saatavan analyysin perusteella. Vertailu on suoritettu ohjelmistoroboteilla. Ohjelmistorobotit on tehty UiPath–sovelluksella, ja toteutuksessa on käytetty Microsoftin Cognitive Text Analytics -apia sekä IBM Watson Natural Language Understanding -apia.

Lyhyt kuvaus ohjelmistorobotista, joka on toteutettu Microsoftin apilla. Ohjelmistorobotille annetaan tiedosto, joka sisältää listan dokumentteja, joihin pitäisi lisätä metadataa. Ohjelmistorobotti käy dokumenttien sisällön läpi yksitellen ja lähettää kunkin dokumentin analysoitavaksi Microsoft Cognitive Text Analytics -apille. Microsoftilta saadaan vastaus, joka sisältää listan avainsanoja, joita tekstistä löytyy. Vastauksena saadut avainsanat lisätään dokumentin metatietoihin ja dokumentti tallennettaan. Dokumentteja analysoidaan niin kauan, kuin läpikäymättömiä dokumentteja on jäljellä.

Testauksen aikana ilmeni se, että IBM:n -api palauttaa huomattavasti laadukkaampaa ja täsmällisempää analyysia kuin Microsoftin -api. Molempien apien kustannukset ovat hyvin samankaltaiset ja molemmille löytyy erinomaisia käyttötarkoituksia. Kumpikaan testatuista apeista ei ollut täydellinen ja varsinkin suomen kielen tuen puuttuminen oli suuri pettymys, mutta tästäkin huolimatta molemmille apeille löytyy varmasti käyttöä.

This thesis includes comparison between two natural language API’s and two example projects that include examples of how you can make use of them in software robotics. Natural language API’s that are compared in this thesis were free and it was easy to gain access to them.

API’s were compared by their cost, features and by analyze they produced. Comparison was done with software robots. Software robots were made with UiPath. API’s that the software robots used were Microsoft Cognitive Text Analytics and IBM Watson Natural Language Understanding. The main point of comparison is to find out which API is the best at analyzing natural language.

Small brief of my example project that was made with Microsoft’s API. At the beginning, we give software robot a file that contains a list of documents that don’t have any metadata. Software robot starts with the first document and sends it contents to Mi-crosoft Cognitive Text Analytics API. After that the software robot gets a response from Microsoft with bunch of keywords from the text that it just sent. The software robot pro-ceeds to pick ten of those keywords and adds them to the documents tags and saves the document. Software robot continues this until all documents have been tagged.

During testing It was obvious, that IBM’s API did return a lot more better analyze and it was a lot more customizable than Microsoft’s API. Neither of the API’s is perfect and worst part for both, was lack of support for Finnish language. Cost of both API’s is simi-lar and they both are great API’s in general.