Yhtäaikaisen käyttäjämäärän kipupisteen selvittäminen ohjelmallisesti

Abstract

Opinnäytetyössä tutkitaan QAutomate Oy:n kehittämän QAutoCloud-tuotteen yhtäaikaisen käyttäjämäärän kipupiste QAutoRun-suorituskykytestaustyökalulla. Käyttämällä suorituskykytestaustyökalua halutaan löytää käyttäjämäärälle kipupiste, jonka jälkeen palvelu hidastuu merkittävästi.

Opinnäytetyössä käsitellään yleisellä tasolla mitä on ohjelmistotestaus ja miten sitä tehdään. Lisäksi opinnäytetyössä käsitellään tutkimuksen kannalta tärkeitä ohjelmistotestaustekniikoita, joita ovat testiautomaatio, suorituskyky-, kuormitusja yksikkötestaus. Käyttöliittymätestit toteutettiin Robot Framework Browser-kirjaston avulla. Ensimmäinen testi on sisään- ja uloskirjautuminen ja toinen rajapinnasta dataa hakeva testi. Sisään- ja uloskirjautumisella pyritään havainnoimaan, kuinka kauan sivustolle kirjautuminen kestää ja rajapintahaulla rajapinnan nopeutta käyttäjämäärän noustessa. Kuluvaa aikaa mitattiin eri mittauspisteiden avulla. Tavoitteena on, että toteutettuja käyttöliittymätestejä voidaan suoraan hyödyntää QAutoRun-ohjelmistolla.

Tutkimuksen lopputuloksena oli, että molempien testien kipupisteet ylitettiin, kun käyttäjämäärä nousi yli 20 käyttäjään. Tällöin testejä alkoi epäonnistumaan, mikä tarkoittaa sitä, että palvelun käytettävyys alkoi kärsimään. Käyttäjämäärän kasvaessa yli 30 saman aikaiseen käyttäjään sisäänkirjautumiseen kuluva aika alkaa kasvamaan huomattavasti.

Tulosten perusteella saatiin selville, että mikäli uusi QAutoCloud-Webpalvelu pystytettäisiin ja yhtäaikainen käyttäjämäärä ylittäisi 20 käyttäjää, tarvitsisi palvelu joko AWS:n eli Amazon Web Services tarjoaman kuormituksen tasapainottamistoiminnallisuuden tai tehokkaamman AWS-virtuaalitietokoneen.

This thesis research the pain point of simultaneous user count for QAutoCloud product using performance testing tool QAutoRun which are both developed by QAutomate Ltd. Pain point refers to a simultaneous user count where the products usability starts to get worse from the load caused by the performance testing tool.

Thesis handles what software testing generally is and how it’s done. It also handles testing techniques which are relevant to this research. The techniques are test automation, performance, load, and unit testing.

User interface tests were implemented using Robot Framework Browser-library. The first test is login and logout and the second one fetches data from the application programming interface also known as API. Login and logout aim to demonstrate how long it takes to login to the application and the API test how it starts to behave when the user count is starting to increase. Time in these tests were measured by different measuring points. The objective is to utilize these Robot Framework tests directly with QAutoRun.

The result of this research was that the paint point of both tests was exceeded when the user count rose above 20 simultaneous users. When this user count was exceeded, some of the tests started to fail which means that the usability of the product started to get worse. When the user count exceeded 30 simultaneous users, the time to login started to raise notably.

According to the results it was found out that if a new QAutoCloud Webservice is set-upped and the simultaneous user count would exceed over 20 users, the service would either need a load balancing provided by Amazon Web Services or a more powerful AWS virtual machine.