AutoCAD-liitännäissovelluksen automaatiotestaus

Abstract

Inmics Software Engineering Oy tarvitsi automatisoidun testausjärjestelmän AutoCAD- liitännäissovelluksensa kehitystyön parantamiseksi. Tätä varten tuli tehdä tutkimus AutoCAD-liitännäissovelluksen automaatiotestaamisesta, jonka tuloksiin perustuen tuli rakentaa prototyyppi kokoonpanosta. Kokoonpanon oli kyettävä kokoamaan, yksikkötestaamaan ja integraatiotestaamaan liitännäissovellus. Lisäksi sen piti toimia omalla testipalvelimellaan ja kyetä skaalautumaan tarpeen mukaan. Yksikkötestien ajamisen mahdollisuus tuli todentaa, ja testien lisäämiselle tuli rakentaa valmis pohja. Integraatiotestien testauskohteiksi määriteltiin liitännäissovelluksen tuottama graafinen esitys sekä XML-tuloste. Ennen prototyypin rakentamista tuli myös selvittää, mikä CI/CD-työkalu olisi tehtävään sopivin. Lisätoiveena oli, että automaatio kykenisi jatkuvaan julkaisuun.

Tuloksien mukaan AutoCAD-liitännäissovelluksen testaus voitiin toteuttaa yksikkötestaustasolla poikkeamatta yleisestä testauskäytännöstä, mutta integraatiotestien toteuttamiseen tarvittiin rakenne, jolla testit voitiin ladata AutoCADin säikeeseen. Gallio tarjosi, suurelta osin, toiminnallisuuden testien lataamiseen AutoCADin säikeeseen, jonka perusteella voitiin toteuttaa prototyyppi. AutoCADin piirustusten kääntelyä varten oli kuitenkin tehtävä muutoksia Gallion lähdekoodiin. CI/CD-työkaluja vertailtiin, ja tuotettiin kriteerien mukainen prototyyppi, joka kykeni vaadittuun toiminnallisuuteen. Tulos oli modulaarinen ja helppo laajentaa. Prototyyppikokoonpanon visuaalisten testien tuloksissa ilmeni satunnaista epäkonsistenttisuutta, jonka syytä ei saatu varmuudella yksilöityä, mutta syyksi epäiltiin palvelimen muistiresurssien puutetta. Muuten järjestelmä toimi virheettömästi, ja kokoonpano kykeni pienellä integraatiotyöllä myös jatkuvaan julkaisuun.

Inmics Software Engineering Inc. needed an automated testing system, to improve their AutoCAD-plugin’s development process. To satisfy the need, a research of AutoCAD-plugin automation testing was to be made, and a prototype was to be built based on the results. The prototype was to be able to build, unit test and integration test the plugin. Additionally, it had to function on its own host, and be able to scale according to need. The possibility of running unit tests was to be verified, and a base for inserting tests was to be built. The defined targets for integration tests were the generated graphical product, and the printed XML files of the plugin. CI/CD-tools were also to be compared, to find the most adequate one for the job, before building the prototype. An additional request was that the automation could manage continuous delivery.

According to the results, the automated testing of an AutoCAD-plugin could be done, at unit testing level, without deviation from the usual testing methodology, but the integration testing required functionality, that could load the tests into AutoCAD’s thread. Gallio offered, for the most part, functionalities to load the tests into AutoCAD’s thread, to which a prototype could be based on, but to turn AutoCAD drawing’s view, some changes to Gallio’s code had to be made. CI/CD tools were compared, and a prototype was built, with respect and according to the given criteria. The result was modular, and easy to expand. Some inconsistencies were encountered while running visual tests, and the cause could not be identified with certainty, but a lack of server memory resources was suspected. Otherwise the system worked flawlessly, and the setup could also manage continuous delivery with minor integration work.