Improvement of Embedded System Automated System Testing

Abstract

Patient monitors are complex embedded systems. They integrate analog and digital electronics and several microcontrollers and processors as one system, which is controlled by embedded software and operating system drivers. Clinical application software running on top of the system gathers all measured physiological data, generates waveforms and visualizes everything to the user on the monitor screen.

Medical device development is highly regulated. The responsible organization must demonstrate that the medical device is safe and effective. Company shall have a quality system in place to demonstrate that the development and maintenance process meets the regulatory requirements. Also, verification and validation results are required to show compliance with relevant laws and standards. As part of the product verification, automated system testing can be used to speed up the development process and to improve testing coverage.

System testing is performed for the whole patient monitoring system. Test cases are run several times during product development for various product iterations. In a sophisticated modular system like a patient monitoring system, testing the functionality of each interface and feature makes the testing system also complicated. Ideally, the system test automation should have the capability to make all the same tasks as the end user. These tasks include powering on, shutting down or adding and removing system peripherals. Also, the test automation system should gather as much as possible data about the system software and hardware to find the correlation between system behavior and found defects. All avail-able data helps to find the defect root cause, make corrections and re-test as fast as possible.

This study concentrated on embedded system hardware testing, types of defects observed and their root causes. Purpose of this study was to gather data and search for information to create a list of improvements to consider when adding new functionalities to the auto-mated testing system. New functionalities should be such, that they enhance the test system capabilities to emulate real user interaction and scenarios, and they should help to reveal underlying hardware related defects.

Potilasvalvontamonitorit ovat monimutkaisia sulautettuja järjestelmiä. Järjestelmään kuuluu analogista ja digitaalista elektroniikkaa, sekä useita mikrokontrollereita ja prosessoreja, jotka ohjaavat järjestelmän toimintaa sulautetun ohjelmiston ja käyttöjärjestelmän laiteohjainten avulla. Järjestelmän kliininen ohjelmisto kerää mittausdatan potilaan elintoiminnoista, luo siitä käyrät ja näyttää kaiken monitorin näytöllä käyttäjälle.

Lääkintälaitteiden kehitys on vahvasti säänneltyä. Tuotteesta vastuussa olevan valmistajan täytyy kyetä osoittamaan, että laite on turvallinen ja sopiva käyttötarkoitukseensa. Valmistajalla tulee olla käytössä laatujärjestelmä, joka osoittaa että tuotekehitys- ja ylläpitomenetelmät täyttävät viranomaisvaatimukset. Lisäksi lakien ja säännösten vaatimustenmukaisuuden osoittamiseksi tarvitaan todistusaineisto tuotteen testauksesta ja todennuksesta. Tuotteen testauksen osana voidaan käyttää automaattista järjestelmätestausta. Automaattinen testaus nopeuttaa tuotteen kehitystä ja parantaa testauksen kattavuutta.

Järjestelmätestaus suoritetaan koko potilasvalvontamonitorijärjestelmälle. Testitapaukset suoritetaan useaan kertaan tuotekehityksen aikana tuotteen eri kehitysversioille. Koska potilasvalvontajärjestelmä on modulaarinen ja monimutkainen, järjestelmän jokaisen rajapinnan testaaminen johtaa myöskin monimutkaiseen testausjärjestelmään. Ihannetapauksessa testausjärjestelmän pitäisi kyetä käyttämään järjestelmää kuten oikea loppukäyttäjä. Loppukäyttäjä voi esimerkiksi käynnistää ja sammuttaa järjestelmän sekä poistaa tai liittää sen lisälaitteita. Oikeiden käyttötapausten jäljittelyn lisäksi testausjärjestelmän pitäisi kyetä keräämään mahdollisimman paljon tietoa järjestelmän laitteiston ja ohjelmiston toiminnasta. Kerätyn tiedon avulla voidaan selvittää mistä löydetyt järjestelmävirheet johtuivat, korjata viat, sekä päästä testaamaan korjaukset uudestaan mahdollisimman nopeasti.

Tässä työssä keskityttiin sulautettujen järjestelmien laitteiston testaukseen, millaisia virheitä siinä voi esiintyä sekä mistä ne johtuvat. Työn tarkoituksena oli kerätä tietoa automaattisen järjestelmätestauksen laajennusten ja parannusten suunniteluun. Laajennukset ja parannukset tulisi olla sellaisia, että ne mahdollistavat oikeiden käyttötapausten paremman jäljittelyn, sekä parantavat mahdollisuuksia löytää virheitä testattavan järjestelmän laitteistosta.