Lokaalin kielimallin sekä Retrieval-Augmented Generation -menetelmän hyödyntäminen chattibotissa
Martin, Joel (2025)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-202504096009
https://urn.fi/URN:NBN:fi:amk-202504096009
Tiivistelmä
Insinöörityön tavoitteena oli tutkia lokaalien kielimallien hyödyntämistä yrityksen tarpeisiin tehdyssä sovelluksessa. Tilaajaksi määriteltiin hypoteettinen yritys, jonka motiivina käyttää lokaaleja kielimalleja oli yrityksen sensitiivisen sisäisen datan pitäminen yksityisenä. Yritys halusi tietää, voidaanko lokaaleilla kielimalleilla tehdä hyödyllinen sovellus, jota voitaisiin ajaa yrityksen käyttämillä työkannettavilla. Insinöörityötä varten tutkittiin yleisesti kielimallien hyötyjä ja rajoitteita sekä lokaalien kielimallien ja pilvimallien eroja.
Insinöörityössä luotiin yksinkertainen sovellus, joka täyttää projektille asetetut vaatimukset. Kielimallin lokaaliin ajamiseen valittiin Ollama-ohjelma. Sovellukseen rakennettiin Retrieval-Augmented Generation -logiikka hyödyntämällä LangChain-kirjastoa. Lisäksi luotiin käyttöliittymä, joka lähettää generointipyyntöjä ja palvelin välittämään dataa. Sovelluksen toteutukseen valitut teknologiat osoittautuivat sopiviksi ja helppokäyttöisiksi kehityksen aikana.
Sovellus täytti asetetut vaatimukset hyvin, mutta ongelmaksi muodostui suoritusnopeus heikommalla laitteistolla. Yrityksen työkannettavien suorituskyky arvioitiin jonnekin koeajoissa käytettyjen laitteiden suorituskykyjen välille. Ratkaisuksi esitettiin uudemman laitteiston ostaminen sekä generoinnin siirtäminen erilliselle palvelinlaitteelle. Yrityksen arvioitavaksi jäi, oliko suoritusnopeus riittävä vai tarvitaanko investointeja uuteen laitteistoon. Sovelluksen koeajojen tulokset osoittivat, että lokaaleja kielimalleja voidaan jo käyttää yritykselle hyödyllisessä sovelluksessa. Sovellus tarjoaa pohjan, jota on helppo laajentaa vaihtoehtona pilvipohjaisille ratkaisuille.
Insinöörityöraporttia kirjoittaessa käytettiin OpenAI:n ChatGPT:tä, jonka pohjana oleva kielimalli oli GPT-4-turbo (April 2024). Tekoälyä käytettiin harvoissa tapauksissa apuna vakiintumattoman sanaston kääntämisessä, löytämään uusia näkökulmia aiheisiin ja uusien lähteiden etsinnässä internetistä.
Insinöörityössä luotiin yksinkertainen sovellus, joka täyttää projektille asetetut vaatimukset. Kielimallin lokaaliin ajamiseen valittiin Ollama-ohjelma. Sovellukseen rakennettiin Retrieval-Augmented Generation -logiikka hyödyntämällä LangChain-kirjastoa. Lisäksi luotiin käyttöliittymä, joka lähettää generointipyyntöjä ja palvelin välittämään dataa. Sovelluksen toteutukseen valitut teknologiat osoittautuivat sopiviksi ja helppokäyttöisiksi kehityksen aikana.
Sovellus täytti asetetut vaatimukset hyvin, mutta ongelmaksi muodostui suoritusnopeus heikommalla laitteistolla. Yrityksen työkannettavien suorituskyky arvioitiin jonnekin koeajoissa käytettyjen laitteiden suorituskykyjen välille. Ratkaisuksi esitettiin uudemman laitteiston ostaminen sekä generoinnin siirtäminen erilliselle palvelinlaitteelle. Yrityksen arvioitavaksi jäi, oliko suoritusnopeus riittävä vai tarvitaanko investointeja uuteen laitteistoon. Sovelluksen koeajojen tulokset osoittivat, että lokaaleja kielimalleja voidaan jo käyttää yritykselle hyödyllisessä sovelluksessa. Sovellus tarjoaa pohjan, jota on helppo laajentaa vaihtoehtona pilvipohjaisille ratkaisuille.
Insinöörityöraporttia kirjoittaessa käytettiin OpenAI:n ChatGPT:tä, jonka pohjana oleva kielimalli oli GPT-4-turbo (April 2024). Tekoälyä käytettiin harvoissa tapauksissa apuna vakiintumattoman sanaston kääntämisessä, löytämään uusia näkökulmia aiheisiin ja uusien lähteiden etsinnässä internetistä.