Ohjelmistotestaus ja tekoälyjärjestelmien testauksen erityispiirteet

Abstract

Tässä insinöörityössä tarkasteltiin ohjelmistotestauksen perusperiaatteita ja haasteita erityisesti tekoälyjärjestelmien näkökulmasta. Keskeisiksi haasteiksi ja perinteisten- sekä tekoälyjärjestelmien testauksen eroavaisuuksiksi havaittiin mallien epädeterministinen käyttäytyminen, datan laatuun ja edustavuuteen liittyvät ongelmat sekä päätöksenteossa esiintyvät vinoumat, jotka vaikuttavat myös järjestelmän eettisyyteen ja turvallisuuteen.

Ratkaisuina näihin ongelmiin esiteltiin datakeskeinen testaus, toleranssipohjaiset arviointikriteerit, metamorfinen testaus sekä mallin yleistettävyyttä arvioiva ristiinvalidointi. Lisäksi vinoumien tunnistamiseksi ja eettisyyden arvioimiseksi esiteltiin tilastollisia analyysejä sekä selittäviä algoritmeja. Työssä korostettiin, että tekoälyjärjestelmien testaus ei pääty järjestelmän käyttöönottoon, vaan se vaatii jatkuvaa ylläpitoa ja seurantaa esimerkiksi mallin ajautumisen vuoksi.

Alalta puuttuu vielä yhtenäinen testausmenetelmien standardointi, mikä vaikeuttaa laadun vertailua ja arviointia. EU:n tekoälyasetus (AI Act) luo sääntelykehikon tekoälyn käytölle erityisesti korkean riskin sovelluksissa ja vahvistaa tarvetta osoittaa tekoälyjärjestelmien turvallisuus, läpinäkyvyys ja oikeudenmukaisuus myös testauksen avulla. Tulevaisuudessa tekoälyn testauskäytäntöjen yhtenäistämiseen tarvitaan lisää tutkimusta sekä alan yhteistyötä.

This thesis examines the fundamental principles of software testing spesically from the perspective of artificial intelligence (AI) systems. The key challenges identified include managing the non-deterministic nature of AI models, ensuring the quality and representativeness of test data, and addressing biases in decision-making, which also impact the ethical and safety aspects of AI systems.

Proposed solutions include data-centric testing, tolerance-based acceptance criteria, metamorphic testing, and cross-validation to evaluate model generalization. Statistical analysis and explainability techniques are presented to identify biases and assess ethical considerations. Additionally, it was emphasized that AI system testing does not conclude upon deployment but requires ongoing monitoring and maintenance due to phenomena such as concept drift.

However, a significant issue within the field remains the lack of standardized testing methodologies, complicating consistent quality assessment across systems. The EU's AI Act provides a regulatory framework, especially for high-risk AI applications, reinforcing the need for transparency, safety, and fairness, aspects that must be verifiably demonstrated as well through testing. Future research and collaborative industry efforts are necessary to develop standardized and effective testing practices for AI systems.