Whisper-mallin optimointi erikoistermien tunnistukseen

Abstract

Tämän opinnäytetyön tavoitteena oli parantaa esikoulutetun Whisper-puheentunnistusmallin suomenkielisen metsäalaan liittyvän erikoissanaston tunnistustarkkuutta. Työn tarkoituksena oli kehittää ja arvioida kohdennettu hienosäätöprosessi, jonka avulla yleiskielisellä aineistolla koulutettu automaattinen puheentunnistusmalli voidaan mukauttaa toimialakohtaiseen käyttöön. Opinnäytetyö toteutettiin kehittämistutkimuksellisella otteella yhteistyössä työn toimeksiantajan kanssa.

Tutkimuksessa tarkasteltiin kolmea tutkimuskysymystä: millä kehittämistoimenpiteillä Whisper-mallin erikoistermien tunnistusta voidaan parantaa, miten hienosäätö vaikuttaa mallin suorituskykyyn verrattuna esikoulutettuun malliin sekä voidaanko suppeasta erikoissanastosta muodostaa hienosäätöön soveltuva koulutusaineisto. Tulosten perusteella Whisper-mallin hienosäätö kohdennetulla aineistolla paransi mallin kykyä tunnistaa erikoissanastoa ja osoitti, että rajallisestakin lähtöaineistosta voidaan muodostaa tarkoituksenmukainen koulutusaineisto.

Opinnäytetyön tuotoksena syntyi automatisoitu ja toistettava koulutusputki, joka kattaa koulutusaineiston muodostamisen, augmentoinnin, annotoinnin, aineistonjaon, hyperparametrien optimoinnin sekä mallin hienosäädön ja arvioinnin. Tuotos vastaa toimeksiantajan tarpeeseen mahdollistamalla erikoissanaston tunnistuksen parantamisen kohdennetulla kehittämisratkaisulla.

Jatkokehityksenä suositellaan luonnollisen puheaineiston osuuden kasvattamista, laadullisen virheanalyysin syventämistä sekä ratkaisun testaamista muilla toimialakohtaisilla sanastoilla. Lisäksi käyttäjätestauksen hyödyntäminen voisi tukea ratkaisun käytännön toimivuuden arviointia.

The objective of this thesis was to improve the recognition accuracy of Finnish forestry-related domain-specific terminology using a pre-trained Whisper automatic speech recognition (ASR) model. The aim was to develop and evaluate a targeted fine-tuning process that adapts an ASR model trained on general-language data for domain-specific use. The thesis was conducted using a development-oriented research approach in collaboration with the commissioning organization.

The study addressed three research questions: how the recognition of domain-specific terms in the Whisper model can be improved, how fine-tuning affects performance compared to the pre-trained baseline, and whether a limited domain-specific vocabulary can be transformed into suitable fine-tuning training data. The results show that fine-tuning with targeted data significantly improved recognition accuracy and demonstrated that a functional training dataset can be constructed from a relatively small initial vocabulary.

As an outcome, an automated and reproducible training pipeline was developed, covering dataset creation, augmentation, annotation, data splitting, hyperparameter optimization, model fine-tuning, and evaluation. The solution enables domain-specific vocabulary adaptation and provides a foundation for further development.