Luonnollisen kielen tunnistus
Raappana, Sakari (2022)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2022111422607
https://urn.fi/URN:NBN:fi:amk-2022111422607
Tiivistelmä
Tässä insinöörityössä on tutkittu tiettyjä luonnollisen kielen (natural language processing, NLP) tunnistuksessa käytettäviä tekniikoita ja mahdollisuuksia suomen kielen näkökulmasta sekä näiden tekniikoiden pohjalta rakennettu tekninen toteutus monikäyttöiselle, luonnollisen kielen tunnistusta hyödyntävälle tekstiluokittelijalle.
Työssä on tutkittu, miten pysäytyssanojen ja synonyymien käyttäminen toimii käytännössä suomen kielellä. Työssä käydään läpi, kuinka käyttäjän tekstimuotoinen syöte voidaan muuttaa numeeriseen muotoon ja kuinka voidaan hyödyntää valmiita vektoriavaruuskarttoja yritettäessä algoritmillisesti ymmärtää käyttäjän kirjoittaman syötteen merkitystä.
Ennen matemaattisten neuroverkkojen esittelyä käsitellään ihmisaivoja. Miten ihmisaivot toimivat biologisen laskennan näkökulmasta ja mikä yhteys tällä on moderneihin neuroverkoiksi kutsuttuihin matemaattisiin malleihin? Työssä käsitellään moderneja takaisinkytkeytyviä neuroverkkoja sekä niiden toteutusta Python-ohjelmointikielellä.
Tekstinluokittelualgoritmin rakenteen ja sen käyttämien tekniikoiden esittelyn jälkeen käsitellään lyhyesti, miten työn chatbot-sovellus on rakennettu algoritmina. Sovelluksen luomisen yhteydessä käydään läpi AWS-pilvipalvelun tarjoamia palveluita niiltä osin kuin niitä päädyttiin käyttämään työssä.
Projekti oli onnistunut ja kaikkiin teknisiin haasteisiin löytyi ratkaisu. Työn lopussa arvioidaan tarkemmin tavoitteissa onnistumista ja sitä miten lopullinen sovellus suoriutui tuotantoympäristössä.
Työssä on tutkittu, miten pysäytyssanojen ja synonyymien käyttäminen toimii käytännössä suomen kielellä. Työssä käydään läpi, kuinka käyttäjän tekstimuotoinen syöte voidaan muuttaa numeeriseen muotoon ja kuinka voidaan hyödyntää valmiita vektoriavaruuskarttoja yritettäessä algoritmillisesti ymmärtää käyttäjän kirjoittaman syötteen merkitystä.
Ennen matemaattisten neuroverkkojen esittelyä käsitellään ihmisaivoja. Miten ihmisaivot toimivat biologisen laskennan näkökulmasta ja mikä yhteys tällä on moderneihin neuroverkoiksi kutsuttuihin matemaattisiin malleihin? Työssä käsitellään moderneja takaisinkytkeytyviä neuroverkkoja sekä niiden toteutusta Python-ohjelmointikielellä.
Tekstinluokittelualgoritmin rakenteen ja sen käyttämien tekniikoiden esittelyn jälkeen käsitellään lyhyesti, miten työn chatbot-sovellus on rakennettu algoritmina. Sovelluksen luomisen yhteydessä käydään läpi AWS-pilvipalvelun tarjoamia palveluita niiltä osin kuin niitä päädyttiin käyttämään työssä.
Projekti oli onnistunut ja kaikkiin teknisiin haasteisiin löytyi ratkaisu. Työn lopussa arvioidaan tarkemmin tavoitteissa onnistumista ja sitä miten lopullinen sovellus suoriutui tuotantoympäristössä.