Tekoäly ja luonnollisen kielen käsittelyn mikropalvelut NLP Cloud API:a hyödyntäen
Hyytiäinen, Iina (2022)
2022
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-202205139187
https://urn.fi/URN:NBN:fi:amk-202205139187
Tiivistelmä
Opinnäytetyön tavoitteena oli tutkia ja testata luonnollisen kielen käsittelyä NLP Cloud API:a hyödyntäen, sekä aloittaa API:n kanssa kommunikoivan komponenttikirjaston luominen toimeksiantajalle luonnollisen kielen käsittelyyn liittyviin tehtäviin asiakasprojektiin valittujen mikropalveluiden pohjalta. Näiden tavoitteiden tarkoituksena oli, että toimeksiantaja voi tarjota opinnäytetyön aikana toteutettuja komponentteja mikropalveluina osana asiakkailleen rakentamiansa sovellusratkaisuja.
Opinnäytetyön teoriaosuudessa keskitytään luonnollisen kielen käsittelyyn tekoälyn osa-alueena, selittäen molempiin liittyviä käsitteitä ja perusteita. Teoriaosuudessa esitellään myös luonnollisen kielen käsittelyyn liittyviä tehtäviä ja käyttötapauksia, sekä erilaisia lähestymistapoja ja työkaluja siihen liittyen. Teoriaosuuden lopussa sukelletaan vielä hieman tarkemmin API-lähestymistapaan ja esitellään NLP Cloud API.
Käytännön osuudessa esitellään toimeksiantaja ja asiakasprojekti, sekä käydään läpi projektiin valitut ja toteutettavat mikropalvelut. Toteutusvaiheen aikana tehtiin sarja kokeiluja mikropalveluihin liittyen käyttämällä NLP Cloud API:n tarjoamia luonnollisen kielen käsittelyn malleja. Toteutettaviin mikropalveluihin kuului automaattisten yhteenvetojen luominen, kommenttien automaattinen tulkinta, sekä kysymyksiin vastaaminen. Opinnäytetyön aikana aloitettiin komponenttikirjaston luominen näiden mikropalvelujen pohjalta.
Työn tulokset ja johtopäätökset esitellään opinnäytetyön lopussa, ja niistä voidaan todeta, että vaikka osa API:n malleista vaikutti toimivan suhteellisen hyvin perustilanteisiin, niin niiden lisätestaaminen, hienosäätäminen ja jatkokehitys on suositeltavaa. The aim of the thesis was to study and test natural language processing using
the NLP Cloud API, and to start implementing the component library that would communicate with the API for tasks related to natural language processing, based on the selected microservices for the client project. The main purpose of these aims was that the thesis commissioner could offer the components implemented during the thesis as microservices as part of the application solutions they build for their customers.
The theoretical part of the thesis focused on natural language processing as a subfield of artificial intelligence, explaining the concepts and fundamentals related to both. The theoretical part also presented the tasks and use cases related to the natural language processing, as well as various approaches and tools related to it. The end of the theoretical part presented the API approach and NLP Cloud API a little more closely.
The commissioner and the client project were introduced in the beginning of the practical part, and after that the microservices selected and implemented for the project were reviewed. During the implementation phase, a series of experiments related to the microservices were performed using natural language processing models provided by the NLP Cloud API. The implemented microservices included the generation of automatic summaries, the automatic interpretation of comments, and the question answering. During the thesis, the implementation of the component library based on these microservices was
started.
The results and conclusions of the implementation were presented at the end of the thesis. They showed that although some of the API models seemed to work relatively well in basic situations, their further testing, fine-tuning, and further development must be recommended.
Opinnäytetyön teoriaosuudessa keskitytään luonnollisen kielen käsittelyyn tekoälyn osa-alueena, selittäen molempiin liittyviä käsitteitä ja perusteita. Teoriaosuudessa esitellään myös luonnollisen kielen käsittelyyn liittyviä tehtäviä ja käyttötapauksia, sekä erilaisia lähestymistapoja ja työkaluja siihen liittyen. Teoriaosuuden lopussa sukelletaan vielä hieman tarkemmin API-lähestymistapaan ja esitellään NLP Cloud API.
Käytännön osuudessa esitellään toimeksiantaja ja asiakasprojekti, sekä käydään läpi projektiin valitut ja toteutettavat mikropalvelut. Toteutusvaiheen aikana tehtiin sarja kokeiluja mikropalveluihin liittyen käyttämällä NLP Cloud API:n tarjoamia luonnollisen kielen käsittelyn malleja. Toteutettaviin mikropalveluihin kuului automaattisten yhteenvetojen luominen, kommenttien automaattinen tulkinta, sekä kysymyksiin vastaaminen. Opinnäytetyön aikana aloitettiin komponenttikirjaston luominen näiden mikropalvelujen pohjalta.
Työn tulokset ja johtopäätökset esitellään opinnäytetyön lopussa, ja niistä voidaan todeta, että vaikka osa API:n malleista vaikutti toimivan suhteellisen hyvin perustilanteisiin, niin niiden lisätestaaminen, hienosäätäminen ja jatkokehitys on suositeltavaa.
the NLP Cloud API, and to start implementing the component library that would communicate with the API for tasks related to natural language processing, based on the selected microservices for the client project. The main purpose of these aims was that the thesis commissioner could offer the components implemented during the thesis as microservices as part of the application solutions they build for their customers.
The theoretical part of the thesis focused on natural language processing as a subfield of artificial intelligence, explaining the concepts and fundamentals related to both. The theoretical part also presented the tasks and use cases related to the natural language processing, as well as various approaches and tools related to it. The end of the theoretical part presented the API approach and NLP Cloud API a little more closely.
The commissioner and the client project were introduced in the beginning of the practical part, and after that the microservices selected and implemented for the project were reviewed. During the implementation phase, a series of experiments related to the microservices were performed using natural language processing models provided by the NLP Cloud API. The implemented microservices included the generation of automatic summaries, the automatic interpretation of comments, and the question answering. During the thesis, the implementation of the component library based on these microservices was
started.
The results and conclusions of the implementation were presented at the end of the thesis. They showed that although some of the API models seemed to work relatively well in basic situations, their further testing, fine-tuning, and further development must be recommended.