From Multimodal Data to an AI Tool : Developing a Language Model Based on Company Documents

Abstract

Tässä opinnäytetyössä tutkittiin offline-tilassa olevan toimivan tekoälytyökalun kehittämistä, joka kykenee käsittelemään multimodaalista teknistä dokumentaatiota. Tätä varten hienosäädettiin suurta kielimallia käyttämällä tekstistä, taulukoista ja kuvista koostuvaa dataa.

Opinnäytetyö alkoi katsauksella multimodaalisen datan käsittelytekniikoihin ja suurten kielimallien kehitykseen. Tässä katsauksessa korostettiin sekä niiden kasvavia mahdollisuuksia, että nykyisiä rajoituksia. Nykytilan analyysi arvioi kohdeyrityksessä käytettyjä nykyisiä työkaluja, ja arvioitiin niiden nykyisiä haasteita. Näihin haasteisiin kuuluivat heikko skaalautuvuus, vaikeudet käsitellä strukturoituja rakenteita ja visuaalisia elementtejä sekä tietoturvarajoitukset, jotka estävät pilvipohjaisten ratkaisujen käytön.

Näiden haasteiden ratkaisemiseksi teknisen dokumentaation sisältö esikäsiteltiin räätälöidyn prosessin avulla. LLaVA-malli valittiin sen multimodaalisen arkkitehtuurin vuoksi, joka yhdistää visuaaliset ja tekstisisällöt. Malli toimii täysin offline tilassa ja tukee tehokasta parametrien hienosäätöä. Koulutusaineisto rakennettiin JSON-tietuista, jotka säilyttivät dokumenttien kontekstin ja multimodaalisen sisällön yhteyden. Mallin hienosäätö toteutettiin resurssirajoitteisessa offline-ympäristössä. Prosessi osoitti teknisen toteutettavuutensa, vaikka koulutuskertoja oli vähän ja eräkoko oli pieni. Alustavat tulokset osoittivat vähänevää häviötä ja vakaata konvergenssia.

Opinnäytetyö osoitti, että multimodaalinen tekoäly voi merkittävästi parantaa tiedonsaantia, kun se perustuu huolelliseen datan esikäsittelyyn ja oikean mallin valintaan. Tulevaisuuden kehityskohteiksi tunnistettiin dokumenttien muotoilun epäjohdonmukaisuudet, resurssien rajallisuus ja sisällön poimintaan liittyvät haasteet. Kehitetty lähestymistapa loi kuitenkin vahvan perustan tekoälyavusteisen dokumentinkäsittelyn jatkokehitykselle.

The development of a secure, offline AI tool capable of processing multimodal technical documentation was investigated in this study. The objective was to enhance information retrieval and engineering workflows. To achieve this, a large language model (LLM) was fine-tuned using domain-specific multimodal data.

The study began with a review of multimodal data processing techniques and the evolution of LLMs. This review highlighted both their growing capabilities and their current limitations. A current state analysis within the case company identified challenges such as poor scalability, difficulty handling structured and visual content, and security constraints preventing the use of cloud-based solutions.

To overcome these challenges technical documentation was pre-processed using a tailored pipeline. The multimodal LLaVA model was chosen due to its offline capability and fine-tuning flexibility. Data was structured as a set of JSON entries that preserved context and multimodal alignment. Results indicated decreasing loss and stable convergence, confirming technical feasibility.

The study shows that multimodal AI can significantly enhance information access when supported by rigorous data pre-processing and suitable model selections. Challenges with formatting inconsistencies, limited computational resources, and extraction quality were identified as areas for future improvement. The developed method establishes a solid foundation for future AI-assisted document processing tools in industrial context.