Kontekstihaulla rikastettuun päättelyyn (RAG) ja vektoritietokantaan perustuva paikallinen tekoälymuistiinpanosovellus

Abstract

Toiminnallisessa opinnäytetyössä kehitettiin kontekstihaulla rikastettuun päättelyyn perustuva tekoälymuistiinpanosovellus, joka toimii käyttäjän laitteella ilman verkkoyhteyttä. Työllä ei ollut toimeksiantajaa, ja sovellus kehitettiin henkilökohtaisesta kiinnostuneisuudesta LLM- ja NLP-teknologiaan, tietosuojaan sekä ohjelmistokehitykseen. Tekoäly on ollut varsin ajankohtainen aihe tietojenkäsittelyn alalla vuoden 2022 marraskuusta lähtien, jolloin OpenAI:n julkaisema ChatGPT laukaisi globaalin tekoälykilpailun. Merkittävin osuus inferenssistä suurten kielimallien kanssa toteutuu suurten teknologiakorporaatioiden tarjoamissa pilvipalveluissa. Tähän liittyy tietosuojaongelmia, joita on käsitelty tietoperustan lopussa.

Raportin alkuosiossa on käyty syventävällä otteella läpi koneoppimisen, syväoppimisen ja luonnollisen kielen käsittelyn historiaa. Tekoälyn osa-alueita luonnollisen kielen käsittelyn ulkopuolella ei kuitenkaan juuri käsitellä. Seuraavassa osiossa on syvennytty neuronien ja neuroverkkojen rakenteen sekä kouluttamisen matemaattiseen toimintalogiikkaan, minkä jälkeen modernien suurten kielimallien pohjalla vaikuttava transformer-arkkitehtuuri on selitetty olennaisimmilta osiltaan kattavasti läpi. Tietoperustan lopussa on käsitelty luonnollisen kielen käsittelyä vektoritietokantojen ja RAG-tekniikan kontekstissa, sekä erilaisia tietosuojaongelmia.

Opinnäytetyön lopputuloksena syntyi ”MemoFort AI” muistiinpanosovelluksen MVP-versio. Tämä prototyyppi toteuttaa suunnitellun toimintalogiikan sovellukselle. Sovellus rakentuu kahdesta resursseja jakavasta prosessista ”NoteApp” & ”ChatApp”, jotka toimivat käytännössä omina sovelluksinaan. NoteAppin avulla käyttäjä voi tallentaa muistiinpanojaan erilaisiin itse luomiinsa kategorioihin. ChatApp puolestaan mahdollistaa inferenssin paikallisten kielimallien kanssa graafisen käyttöliittymän kautta. Paikallinen kielimalli pääsee käsiksi NoteAppilla luotuihin muistiinpanoihin, ja voi käyttää niitä kontekstina vastauksissaan.

MemoFortia ei ole saatettu julkisuuteen, mutta sen toteutusta on dokumentoitu tässä raportissa laajasti ja yksityiskohtaisesti. Raportti sisältää runsaasti koodinäytteitä ja sovelluksen toimintalogiikkaa selittäviä kaavioita, millä on pyritty avoimen kehityskulttuurin tukemiseen. Opinnäytetyön lopussa on mainittu myös jatkokehitysideoita ja erilaisia ohjelmistokehitysprosessin aikana kohdattuja ongelmia, jotta työ hyödyttäisi vastaavan sovelluksen kehittämisestä kiinnostuneita lukijoita.

Sovelluksen suorituskykyä testattiin suuntaa-antavasti mittaamalla paikallisesti asennettujen kielimallien nopeutta, ja niiden vastausten laatua. Suuntaa-antavien testien metodiikkaa ja suoritusympäristöä on kuvattu raportissa pyrkien hyviin tieteellisiin käytäntöihin. Tuloksia on havainnollistettu taulukoissa, ja niitä pohdittiin opinnäytetyön viimeisessä luvussa. Sovellus todettiin hyödylliseksi, mutta tämä edellyttää tehtävään sopivan kielimallin valitsemista.