Natural Language Interface for Operational Forestry Data with Snowflake Cortex Analyst

Abstract

This thesis investigates the development and evaluation of a natural language interface for Ponsse's customers' forestry operational data using Snowflake's Cortex Analyst. The work focuses on enabling non-technical users to query structured data through natural language while maintaining calculation reliability for operational decisions. The implementation utilizes Ponsse's Snowflake data platform and a semantic model that defines domain-specific terminology, business rules, and calculation patterns.

The work involved transforming a complex star schema of over a hundred views into a denormalized table, developing an incrementally refined semantic model, and creating a comprehensive testing framework. The system was evaluated using 71 domain-specific questions, categorized into three complexity levels, through a custom-built benchmarking system that enabled systematic validation of query accuracy and performance. Four configurations were tested, comparing Cortex Analyst’s default open-source models against configurations with OpenAI’s GPT-4o enabled, both with and without verified SQL examples.

The configuration with GPT-4o achieved 88.17% accuracy with an average response time of 5.6 seconds, while the default configuration reached 69.01% accuracy with an average response time of 14.1 seconds. As query complexity and semantic model size increased, GPT-4o configurations showed stability in both accuracy and response times, whereas the default open-source configurations showed significant degradation in both. Particular challenges were observed in average calculations for all configurations.

Through a parallel implementation of Vanna.AI, the work provides insights into multi-agent versus single-pass architectural approaches for natural language interfaces. The findings show that while these interfaces can improve data access, building them requires careful attention to semantic modeling, testing methods, and system design. The developed testing framework provides a foundation for future semantic model development and is adaptable to other systems using language models.

Tässä opinnäytetyössä kehitettiin ja arvioitiin luonnollisen kielen rajapinta Ponssen asiakkaiden metsäkonedatan käsittelyyn hyödyntäen Snowflake Cortex Analystia. Työn tavoitteena oli mahdollistaa tietokannan kysely luonnollisella kielellä ilman teknistä osaamista siten, että vastaukset ovat oikein vähintään 80 prosenttia ajasta.

Työn teknisessä toteutuksessa muunnettiin tähtimallissa oleva data yhdeksi leveäksi tauluksi ja luotiin kattava testausympäristö Streamlit-sovelluksena. Järjestelmän ydin on kehitetty semanttinen malli, joka määrittelee toimialakohtaisen termistön, laskentakaavat ja liiketoimintasäännöt. Toteutus hyödyntää Ponssen Snowflake-tietokantaa.

Järjestelmän toimivuutta arvioitiin 71 alakohtaisella testikysymyksellä, jotka jaettiin kolmeen vaativuusluokkaan. Testauksessa verrattiin Cortex Analystin vakioasetusta, joka hyödyntää kahta avoimen lähdekoodin mallia, sekä samaa toteutusta laajennettuna OpenAI:n GPT-4o:lla. Molempia versioita testattiin sekä varmennettujen SQL-esimerkkien kanssa että ilman niitä. GPT-4o:n kanssa järjestelmä saavutti 88,17 prosentin tarkkuuden keskimäärin 5,6 sekunnin vasteajalla, kun taas vakioasetuksen tarkkuus jäi 69,01 prosenttiin 14,1 sekunnin keskimääräisellä vasteajalla.

Testaus osoitti, että monimutkaisten kysymysten ja semanttisen mallin koon kasvaessa kokoonpanojen suorituskyky muuttui eri tavoin. GPT-4o:lla järjestelmä säilytti vakaan suorituskyvyn myös monimutkaisissa kyselyissä, kun taas avoimen lähdekoodin ratkaisujen tarkkuus heikkeni merkittävästi kyselyn monimutkaistessa. Erityisiä haasteita havaittiin keskiarvojen laskennassa. Semanttisen mallin koon kasvaessa GPT-4o:n suorituskyky pysyi ennallaan, mutta vakioasetuksella vasteajat kaksinkertaistuivat ja tarkkuus laski merkittävästi.

Vertailun vuoksi toteutettiin rinnakkainen Vanna.AI-pohjainen järjestelmä, mikä mahdollisti erilaisten arkkitehtuuriratkaisujen vertailun luonnollisen kielen rajapintojen toteutuksessa. Tulokset osoittavat, että vaikka tällaiset rajapinnat voivat merkittävästi helpottaa tiedon saatavuutta, niiden toteuttaminen edellyttää erityistä huolellisuutta semanttisessa mallinnuksessa, testausmenetelmissä ja järjestelmäsuunnittelussa. Kehitetty testausympäristö tarjoaa pohjan semanttisen mallin jatkokehitykselle ja on sovellettavissa myös muihin kielimalleihin perustuviin järjestelmiin.