Testiautomaatiotyökalun käytettävyyden arviointi
Helkamäki, Mirka; Ikola, Tiina (2011)
Helkamäki, Mirka
Ikola, Tiina
Laurea-ammattikorkeakoulu
2011
All rights reserved
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2011090612890
https://urn.fi/URN:NBN:fi:amk-2011090612890
Tiivistelmä
Tämän opinnäytetyön tavoitteena oli tutkia testiautomaatiotyökalua nimeltä Robot Framework ja löytää siitä mahdollisia käytettävyysongelmia. Tavoitteena oli lisäksi tutustua testiautomaatioon osana ohjelmistotestausta sekä löytää sen hyödyt ja haittapuolet ohjelmistotestauksessa. Käytettävyysongelmien etsimiseen käytettiin apuna heuristista arviointia. Työ jakautuu teoriaosuuteen ja käytännön osuuteen.
Työn teoriaosuudessa käsitellään ensin yleisesti käytettävyyttä, heuristista arviointia ja käytettävyystestejä. Teoriaosuuden toisessa osassa keskitytään ohjelmistotestaukseen sekä testiautomaatioon. Tässä käsitellään myös eroavaisuudet automaatiotestauksen ja manuaalitestauksen välillä. Eri testiautomaatiotyökalut ja kuinka valita juuri sopiva omaan tarkoitukseen on käsitelty tässä osuudessa.
Opinnäytetyön käytännön osuudessa keskityttiin tuomaan esille mahdolliset käytettävyysongelmat Robot Framework –automaatiotestaustyökalusta. Tässä osuudessa on tarkasteltu Nielsenin heuristista listaa apuna käyttäen Robot Frameworkin ja sen käyttöliittymän (RIDE) toiminnallisuuksia. RIDE:n toiminnallisuuksia on havainnollistettu kuvin, joista näkyvät perusominaisuudet.
Tutkimuksen edetessä huomattiin, että Robot Framework on suhteellisen käyttäjäystävällinen eikä käytettävyysongelmia löytynyt kuin muutama. Ensimmäinen ongelma oli muuttujien värit itse testitapauksissa. Muuttujien värinä oli vihreä, vaikka testitapaus ei välttämättä vielä edes tunnistanut kyseistä muuttujaa. Tämä saattaa aiheuttaa ongelmatilanteita käytettävyydessä: vihreä yleensä tarkoittaa oikeanlaista toimintaa.
Toinen ongelma keskittyi RIDE-ohjelman omaan testitapausten ajoon. Jos testitapausajon lopettaa kesken, avaa ohjelma kuitenkin määrittelemättömän määrän uusia selainikkunoita. Tämä koettiin erittäin harmittavaksi ongelmaksi ja sen huomattiin haittaavan käytettävyyttä.
Näiden ongelmien lisäksi ohjelmasta ei löytynyt heuristisen arvioinnin mukaan muita ongelmia, ja ohjelma todettiin käytettävyydeltään hyväksi. Näin ollen todettiin, että Robot Framework toimii hyvin selaintestauksen apuvälineenä ja on varteenotettava työkalu, kun halutaan laadultaan ja käytettävyydeltään hyvää apuvälinettä automaatiotestaukseen.
Työn teoriaosuudessa käsitellään ensin yleisesti käytettävyyttä, heuristista arviointia ja käytettävyystestejä. Teoriaosuuden toisessa osassa keskitytään ohjelmistotestaukseen sekä testiautomaatioon. Tässä käsitellään myös eroavaisuudet automaatiotestauksen ja manuaalitestauksen välillä. Eri testiautomaatiotyökalut ja kuinka valita juuri sopiva omaan tarkoitukseen on käsitelty tässä osuudessa.
Opinnäytetyön käytännön osuudessa keskityttiin tuomaan esille mahdolliset käytettävyysongelmat Robot Framework –automaatiotestaustyökalusta. Tässä osuudessa on tarkasteltu Nielsenin heuristista listaa apuna käyttäen Robot Frameworkin ja sen käyttöliittymän (RIDE) toiminnallisuuksia. RIDE:n toiminnallisuuksia on havainnollistettu kuvin, joista näkyvät perusominaisuudet.
Tutkimuksen edetessä huomattiin, että Robot Framework on suhteellisen käyttäjäystävällinen eikä käytettävyysongelmia löytynyt kuin muutama. Ensimmäinen ongelma oli muuttujien värit itse testitapauksissa. Muuttujien värinä oli vihreä, vaikka testitapaus ei välttämättä vielä edes tunnistanut kyseistä muuttujaa. Tämä saattaa aiheuttaa ongelmatilanteita käytettävyydessä: vihreä yleensä tarkoittaa oikeanlaista toimintaa.
Toinen ongelma keskittyi RIDE-ohjelman omaan testitapausten ajoon. Jos testitapausajon lopettaa kesken, avaa ohjelma kuitenkin määrittelemättömän määrän uusia selainikkunoita. Tämä koettiin erittäin harmittavaksi ongelmaksi ja sen huomattiin haittaavan käytettävyyttä.
Näiden ongelmien lisäksi ohjelmasta ei löytynyt heuristisen arvioinnin mukaan muita ongelmia, ja ohjelma todettiin käytettävyydeltään hyväksi. Näin ollen todettiin, että Robot Framework toimii hyvin selaintestauksen apuvälineenä ja on varteenotettava työkalu, kun halutaan laadultaan ja käytettävyydeltään hyvää apuvälinettä automaatiotestaukseen.