Evaluating and measuring the adequacy of a programming job applicant : Using code tests as a method of evaluation

Abstract

Code tests are a widely used method in the Information Technology recruitment process, as they ease the technical assessment of candidates. The goal of this thesis is to identify how their questions should be structured. The functionality of code tests is also examined both in individual job openings and as a part of the preliminary applicant grading of Coding Factory 2017 recruitment event. These information are valuable as the client company could use them in further development of code tests for similar events. Achieving a comprehensive view on code tests shows their possible potential and when best to utilise them.

The thesis was conducted in the office of the client company and the main software used were Microsoft Word and Excel applications. These were used to segment the questions into certain categories and reveal the usability of code tests as a prequalification method on the event applicants.

The existing code test questions found from platforms were compared to one another using a standard testing method (CRESST). From these results the correct structure of questions was mapped out. Other material utilised were the aforesaid event and its predecessor’s documentation and the results of an event participant interview. These were used in an analysis to weight the pros and cons of code tests.

The end product of this research is this study. It guides the test developers to build more functional code test questions. This research also advises when to use code tests as a part of the recruitment process. Based on this thesis, there are a lot to uncover in code tests still, especially from the view of the applicants.

Ohjelmointitestejä hyödynnetään nykyään laajalti osana rekrytointiprosessia, koska niiden avulla pystytään arvioimaan hakijan konkreettista ohjelmointitaitoa tarkemmin kuin millään muulla menetelmällä. Insinöörityön tarkoitus oli selvittää, kuinka ohjelmointitestien kysymykset tulisi rakentaa. Lisäksi työssä tutkittiin ohjelmointitestien toimivuutta arviointimenetelmänä, niin yksittäisissä hauissa kuin osana Coding Factory 2017 -rekrytointitapahtumaan hakeneiden arviointiprosessia. Työssä pyrittiin selkeyttämään kysymysten oikeanlainen rakenne, jotta saatua tietoa voitaisiin hyödyntää sekä asiakasyrityksen tulevaisuuden tapahtumissa että rekrytoijien apuvälineenä teknisten haastattelujen kehittämisessä. Ohjelmointitestien yleinen arviointi havainnollistaa niiden mahdollisen potentiaalin ja oikean käyttöyhteyden.

Insinöörityö toteutettiin asiakasyrityksen tiloissa, ja pääasialliset työkalut olivat Microsoftin Word- ja Excel-sovellukset. Näillä sovelluksilla jaoteltiin kysymykset kategorioihinsa ja arvioitiin ohjelmointitestien hyöty hakijoiden karsintamenetelmänä tapahtumissa.

Työssä vertailtiin olemassa olevien alustojen tarjoamien ohjelmointitestien kysymyksiä toisiinsa hyödyntäen opettajien käyttämää CRESST-menetelmää. Sen tulosten pohjalta kartoitettiin, kuinka toimivat kysymykset tulisi rakentaa ja mitä asioita on huomioitava. Muita hyödynnettyjä materiaaleja olivat edellä mainitun tapahtuman ja sen edeltäjän dokumentaatiot sekä tapahtumaan osallistuneen hakijan haastattelu, joista laadittiin SWOT-analyysi yleisten hyötyjen arvioimiseen. Tämän menetelmän tulosten perusteella voidaan todeta, että ohjelmointitestit ovat muun muassa arvokas lisätyökalu rekrytoijille, mutta työläitä niiden suunnittelijoille ja kehittäjille.

Tutkimuksen lopputuote on tämä opinnäytetyö. Sen avulla ohjelmointitesteistä pystytään luomaan laadukkaampia. Tutkimus myös ohjeistaa rekrytoivia yrityksiä siitä, milloin ohjelmointitestejä tulisi käyttää osana rekrytointiprosessia. Ohjelmointitestien hyöty kasvaa suhteessa hakijoiden määrään: isojen henkilömäärien arviointi ilman automatisoituja menetelmiä on työlästä, ja tähän ongelmaan ohjelmointitestit tarjoavat ratkaisun.