Suurten kielimallien hyödyntäminen metsätiedon haussa

Abstract

Suurten kielimallien yleistyessä on noussut kysymyksiä tekoälyn luoman tekstin tiedon todenperäisyydestä. Tutkielmassa keskitytään tarkastelemaan miten luotettavaa suurten kielimallien tuottama metsätieto on. Vastauksien paikkansapitävyyttä arvioidaan vertaamalla vastauksien väitteitä metsätieteen tutkimusaineistoon, luotettaviin lähteisiin ja metsäneuvojien vastauksiin.

Toisena näkökulmana tutkimuksessa tarkastellaan, mitä eettisiä ongelmia syntyy, kun suuria kielimalleja hyödynnetään tiedonhakuun. Tutkimuksessa käsitellään, myös miten suurten kielimallit toimivat ja miten ne muodostavat vastauksensa, mikä auttaa tekemään johtopäätöksiä suurten kielimallien tuottamien vastauksien hyödyllisyydestä.

Tutkimuksen tarkoituksena on tarjota holistisen käsityksen suurten kielimallien käyttämisestä metsätiedon hakuun. Sekä auttaa punnitsemaan niiden negatiivisia puolia suhteessa muihin tiedonhakuvaihtoehtoihin ja auttaa arviomaan, ovatko suuret kielimallit riittävän hyviä metsätiedonhakuun.

Tutkimuksen tuloksena havaittiin suurten kielimallien antavan huomattavasti enemmän väärää tietoa kuin kontrolliryhmänä toimivat metsäneuvojat. Kielimallit sortuivat vastauksissa useisiin hallusinaatioihin, mikä tarkoittaa, että ne luovat järjetöntä mutta oikealta kuulostavaa tietoa. Myös metsäneuvojien ja kielimallien ryhmien sisällä oli paljon laatueroja. Tämä johti tilanteeseen, jossa parhaimmat kielimallien vastaukset olivat laadukkaampia kuin heikommat metsäneuvojan vastaukset, mutta parhaimmat metsäneuvojan vastaukset olivat laadukkaampia kuin mitkään kielimallien vastaukset.

Johtopäätöksinä todettiin kielimallien olevan viime kädessä vain työkalu, joka vaatii käyttäjältä perehtymistä niiden toimintaperiaatteeseen ja puutteisiin, jotta voidaan saavuttaa kielimallien tehokas hyödyntäminen. Suurten kielimallien keskeisten eettisten ongelmien ratkaisemisessa, kuten ympäristö- ja väärän tiedon vaikutukset, vinoumien ja läpinäkyvyyden puute, ei valitettavasti ole loppukäyttäjällä paljon vaikutusvaltaa. Ongelmien ratkaisemiseksi vaaditaan suurten kielimallien kehittäjien, julkisen sektorin sekä muiden ulkoisten vaikuttajien yhteistyötä

As large language models (LLMs) become more popular, questions have arisen regarding the truthfulness of text generated by AI. The study focused on how accurate responses of LLMs are when used to search forestry information. The truthfulness of the responses was assessed by cross-referencing answers with the responses of forestry professionals and fact checking both with current forestry research and trusted sources. The second perspective explored was the ethical implications of using AI for forestry information retrieval. Further, the study explored how LLM works, how their answers are generated and how that affects the truthfulness of the answers.

The study found that LLMs gave large amounts of incorrect information, when compared to the answers of forestry advisors. LLMs were also found to exhibit behavior where they hallucinated incorrect answers to multiple questions. When examining answers from both LLMs and forestry advisors, it was found that the quality of their answers varied significantly within the different groups.

In conclusion it was found that LLMs are just tools which require users to be familiar with their functions and their inherent shortcomings. Solving the key ethical issues of LLMs such as environmental impact, the effects of incorrectly generated information, bias and lack of transparency, was found largely to be out of the hands of the end user. Addressing the shortcomings of LLMs requires the collaboration of the developers of the language models and public sector. Future research could be done by repeating testing methods to different large language models.