Generative AI as a Tool in Business Intelligence Reporting and Analytics

Abstract

Opinnäytetyön tavoitteena oli tarkastella, voisiko laaja kielimalli, jolla on taustatietona tietokantaa kuvaava semanttinen kerros, tukea analyyttistä työtä business intelligence - ympäristössä ja edistää työn tuottavuutta. Opinnäytetyön tilaaja oli Oriola, joka on lääkelogistiikkayritys. Oriolan nykyinen BI-työnkulku tukeutuu pitkälti staattisiin raportteihin ja näkymiin, manuaalisiin SQL-kyselyihin ja analyytikkojen tietotaitoon. Laajan kielimallin integroiminen työnkulkuun voisi vähentää riippuvuutta analyytikoista ja lisätä mahdollisuuksia tutkivalle analyysille ja oivalluksille. Haasteena on kuitenkin, että laajat kielimallit eivät perinteisesti sovellu hyvin tehtäviin, joissa vaaditaan hyvin perusteltuja ja oikeita tuloksia.

Opinnäytetyössä kehitettiin prototyyppi, jotta voitiin tutkia edellämainittuja haasteita. Prototyypissä laaja kielimalli tulkitsee käyttäjän kysymyksen, hakee tarvittavat tiedot semanttisesta kerroksesta, ja tuottaa SQL-kyselyitä hakemaansa tietoon perustuen. Opinnäytetyö käytti yrityksen oikeaa dataa, manuaalisesti luotua semanttista kerrosta ja oikeita analyyttisia tehtäviä. Prototyypin kykyä tuottaa luotettavia tuloksia arvioitiin SQL-kyselyiden rakenteellisen ja semanttisen oikeuden perusteella sekä kyselyn tuottaman tuloksen oikeellisuuden perusteella. Tuottavuuden kehitystä mitattiin aikana vastauksen saamiseen käytetyn ajan sekä laajan kielimallin kanssa käytyjen kanssakäymisten määrän avulla.

Tulokset näyttävät, että semanttinen kerros auttoi laajaa kielimallia tuottamaan rakenteeltaan toimivia SQL-kyselyitä ja oikeita tuloksia puolissa kysytyistä kysymyksistä. Epäonnistumiset johtuivat pääasiassa hallusinaatiosta tai kielimallin yrityksistä ottaa huomioon ylimääräisiä tekijöitä. Tällaiset epäonnistumiset korostavat tarvetta ihmisen tarkastukselle erityisesti työssä, jossa vaaditaan oikeita ja selitettäviä tuloksia. Tuottavuuden tulokset osoittavat, että kokeneet analyytikot suorittivat tehtävät nopeammin kuin prototyyppi, mutta prototyypillä voi silti olla arvoa esimerkiksi tutkivassa analyysissä, toistuvissa tehtävissä tai uusien työntekijöiden perehdyttämisessä BI-ympäristöön.

Opinnäytetyön perusteella voidaan sanoa, että laajojen kielimallien tukema analytiikka on mahdollista, kun siihen yhdistetään semanttinen kerros, mutta toistaiseksi tarvitaan myös ihmistä tarkastamaan tulokset. Kun Oriola päivittää järjestelmänsä pilvipohjaisiksi, prototyypin jatkokehitysmahdollisuudet kasvavat merkittävästi. Tämä opinnäytetyö antaa käytännönläheisen kuvan tekoälyavusteisen BI- järjestelmän suunnittelulle ja esittelee tekijöitä, jotka vaikuttavat luotettavien tulosten tuottamiseen.