Paikallisesti ajetun laajan kielimallin (LLM) integrointi asiakaspalvelusovellukseen

Abstract

Opinnäytetyössä tutkitaan paikallisesti ajettavan laajan kielimallin (Large Language Model, LLM) integrointia puheohjattuun asiakaspalvelusovellukseen. Tavoitteena on selvittää, miten LLM voidaan toteuttaa ilman pilvipalveluja ja millaisia hyötyjä tai haasteita tällainen lähestymistapa tuo verrattuna perinteisiin pilvipohjaisiin ratkaisuihin. Työssä tarkastellaan teoreettisesti LLM-mallien toimintaa sekä vertaillaan paikallisen ja pilvipohjaisen käytön ominaisuuksia muun muassa kustannusten, tietoturvan ja skaalautuvuuden näkökulmista. Kehittämisosuudessa rakennetaan toimiva prototyyppi, jossa asiakaspalveluprosessi toteutetaan lähes täysin paikallisesti ajettavilla komponenteilla. Sovelluksen rakenne perustuu Python-ohjelmointikieleen ja FastAPI-kehykseen, ja siinä hyödynnetään muun muassa Whisper-mallia puheentunnistukseen, Ollamaa kielimallin suorittamiseen sekä LangChainia älykkään toiminnallisuuden laajentamiseen. Puhelinrajapinta toteutetaan Twilion avulla, ja vastaukset palautetaan käyttäjälle puhesynteesinä. Työn tuloksena kehitettiin kokonaisuus, jossa asiakas voi soittaa puhelun, esittää kysymyksen ja saada vastauksen täysin paikallisesti tuotettuna – ilman verkkoyhteyttä tai ulkopuolista datankäsittelyä. Paikallisesti ajettava ratkaisu osoittautui teknisesti mahdolliseksi, ja se tarjoaa merkittäviä etuja erityisesti tietoturvan ja kustannusten hallinnan näkökulmasta. Haasteita liittyi erityisesti suorituskykyyn ja komponenttien yhteensovittamiseen, mutta ne ratkaistiin kehitystyön aikana onnistuneesti.