Suorituskykytestauspalvelun kehittäminen

Abstract

Tietojärjestelmät palvelevat käyttäjiä esimerkiksi mahdollistamalla matkalipun oston. Suurten käyttäjämäärien kuormitus voi aiheuttaa järjestelmän suorituskyvyn heikkenemistä. Suorituskykyongelmat aiheuttavat suuria kustannuksia. Usein ongelmien taustalla on suunnittelu- ja rakennusvaiheessa tapahtunut järjestelmän suorituskykytarpeen aliarviointi tai suorituskykyyn liittyvien tietojen keräämisen ja hyödyntämisen puutteet. Suorituskyky on sitä että järjestelmä suoriutuu sille tarkoitetuista tehtävistä riittävän hyvin suhteessa sille asetettuihin suorituskykyvaatimuksiin. Suorituskykyyn vaikuttaa järjestelmän kokoonpano, järjestelmän käyttäjämäärät ja käyttötavat. Suorituskyky voidaan määrittää suorituskykymittareita, kuten välityskykyä, vastausaikaa ja resurssien käyttöastetta tarkkailemalla. Suorituskykytestauksen tärkeimpänä tavoitteena on varmistaa järjestelmän riittävän suorituskykyinen ja suunnitellun mukainen toiminta tuotantoympäristössä käytettävissä olevilla resursseilla. Suorituskykytestauksessa järjestelmään ajetaan suuri tuotantokäyttöä simuloiva käyttäjäkuorma ja tutkitaan miten järjestelmä käyttäytyy ja millainen järjestelmän suorituskyky on. Tietotekniikassa palvelulla voidaan tarkoittaa joko tietokoneiden välisiä palveluita, tai ihmisten toisilleen tuottamia asiantuntijapalveluita. Asiantuntijapalvelu eroaa tietyiltä osin siitä mitä perinteisesti mielletään palveluksi, esimerkiksi kahvilassa käynnistä tai siivouksesta. Palvelun tarkastelu perinteisestä näkökulmasta toi uusia parannusideoita suorituskykytestauspalvelun kehittämiseen. Tässä suunnittelutieteellisen tutkimuksen menetelmin tehdyssä opinnäytetyössä parannettiin Sysart Oy:n suorituskykytestauspalvelua palvelun kehittämisen menetelmin. Palvelua parannettiin rakentamalla palvelukonsepti, määrittämällä soveltuvimmat järjestelmän suorituskyvyn mittarit suorituskykytestauksen näkökulmasta, luomalla malli suorituskykyvaatimusten rakentamiseen, sekä kehittämällä menetelmä suorituskykytestauksessa tarvittavien tietojen keräämiseen ja analysointiin. Opinnäytetyössä tarkasteltiin suorituskykytestausprosessia tiedon hyödyntämisen näkökulmasta, koska ihmisten tuottama tieto testauksen kohdejärjestelmästä ja sen käyttämisestä on kriittistä suorituskykytestauksen onnistumiselle. Tutkimusta arvioitiin suhteessa tieteellisyyden ja suunnittelutieteellisen tutkimuksen kriteereihin ja kehittämisen tulosta suhteessa palvelun lähtötilaan ja suorituskykytestauksen parhaisiin menetelmiin. Opinnäytetyössä ilmeni että suorituskykytestauspalvelua voidaan parantaa palvelun kehittämisen menetelmin muun muassa kuvaamalla palveluprosessi tiedon käsittelyn näkökulmasta ja rakentamalla suorituskykytestauksen palvelukonsepti. Opinnäytetyössä ilmeni myös että suorituskykytestauksessa tarvittavien tietojen keräämistä ja analysointia voidaan auttaa rakentamalla menetelmä järjestelmäkomponenttien ja järjestelmän käyttötietojen keräämiseen ja analysointiin. Opinnäytetyön tulosten perusteella näyttää siltä että suorituskykytestauksen kannalta toimivimmat järjestelmän suorituskyvyn mittarit ovat vastausaika, resurssien käyttöaste sekä välityskyky. Tulosten perusteella näyttää myös siltä että suorituskykytestauksen näkökulmasta järjestelmän suorituskyvyn todentamista voidaan auttaa määrittämällä malli suorituskykytestausvaatimusten rakentamiseen.

Performance testing service development

Information systems serve users for example by selling flight tickets. When number of users rise, system performance might decrease. System performance issues result major costs to the system owners. Often the performance problems are consequences of missing performance estimates or insufficient methods for performance data collection and exploitation. The information system performance is its ability to successfully carry out the task it is intended to perform, compared to the performance requirements set to the systems performance. The system performance is affected by its components, users and the ways to use the system. In the performance testing point of view, the most useful performance metrics are throughput, response time and resource usage. The information system performance testing objective is to verify that the system, including all its components and processes, perform and behave under the usage load as expected. The target system is performance tested by running hundreds of virtual users simulating the system usage load. By analyzing the test results, the system performance can be verified. Services in information systems range from invisible computerized services to highly customized services produced in co-operation with the customer. Information system services differ from traditional human-to-human services, thus they do have similar properties. This study examines how the traditional service perspective fits into customized information system service viewpoint. This work studies the performance testing from the information exploitation viewpoint, because information provided by customer is crucial to the success of the performance testing. The information collection and analysis faces many challenges, for example the lack of adequate method to collect the information. In this design science research the performance testing service was improved by using the service development methods. Improvements made were by creating new a service concept and by building a method to collect and analyze the information required in the performance testing. The results of the research were evaluated by comparing the results to performance testing best practices and to service development starting point. The research process was evaluated by verifying that it followed the design research guidelines. The conclusions of this study are that the performance testing service can be improved by using the service development methods. This study also shows that the collection and analysis of information needed in performance testing can be eased by creating a method to collect and analyze information system environment and usage information. It seems that in performance testing point of view, the most useful performance metrics are response time, throughput and resource utilization. It also seems that the system performance verification in performance testing viewpoint can be supported by creating a model to built performance requirements.