GPT-mallien vertailu ja hienosäätö työohjeiden tueksi

Abstract

Opinnäytetyössä tutkitaan kuinka tekoälyä voisi hyödyntää BRP Finland Oy:n toiminnassa työohjeiden tukena. Työ keskittyy vertailemaan GPT-malleja ja paneutuu GPT-mallin hienosäätöön. Työssä opetettiin esikoulutetulle kielimallille BRP:n suomenkielisiä työohjeita, jotka muunnettiin XLSX-tiedostosta kysymys-vastauspareiksi.

Opinnäytetyössä tutustutaan kielimalleihin, niiden koulutukseen ja hienosäätöön. Vertailussa perehdytään tarkemmin GPT-2-, GPT-3.5 Turbo-, LLaMA 3.2 3B- sekä Finnish GPT-3 Large -malleihin, ja näitä hienosäädetään omalla testiaineistolla. Näistä käyttöön valittiin Finnish GPT-3 Large -malli, joka hienosäädettiin toimeksiantajalta saadulla työohjeita sisältävällä testiaineistolla. Finnish GPT-3 -mallit mahdollistivat suljetun mallin luomisen, mikä oli tietoturvanäkökulmasta katsottuna keskeinen edellytys mallin valinnassa.

Työssä käytettiin koulun palvelinta, jossa oli kaksi NVIDIA Tesla A100 -grafiikkaprosessoria. Kehitysympäristönä toimi Jupyter Notebookia ja ohjelmointikielenä käytettiin Pythonia.

Tässä työssä saadut tulokset osoittavat, että GPT-mallia on mahdollista hyödyntää työohjeiden tukena hienosäätämällä sitä omalla aineistolla. Tuloksista havaittiin, että pelkkä pieni training loss -arvo ei takaa oikeiden vastausten saamista. Mallin suorituskykyyn vaikuttavat myös aineiston oikea muoto sekä se, että mallin ja aineiston koko ovat tasapainossa keskenään. Lisäksi tärkeää on huolellinen hienosäätö. Haasteita työssä aiheuttivat kielimallien suuresta koosta johtuvat resurssivaatimukset.