Correspondence analysis as a service

Abstract

Correspondence analysis is examined and demonstrated in this thesis from the viewpoint of service development. Traditionally correspondence analysis has been manual, the procedure varying due to source data formats varying. However, automating the process from recognising suitable data to making insights from it, is possible and applicable to a variety of fields. This motivates exploring its service viability.

The use of correspondence analysis is to discover and visualize corresponding categorical variables. A prototype for analysing a case example dataset was built. Also the statistical quality of the data was evaluated. The example data are the results to a survey conducted by The Finnish Innovation Fund Sitra. The pairs of survey questions were visualised.

High statistical significance and independent association in a notable share of the survey data was found. Through general scrutiny of correspondence analysis and the data provider’s feedback about the example implementation, it was found that correspondence analysis visualisations can be interpreted moderately easily.

Implementing data analysis techniques as service components is challenging but viable. Extending the analysis technique beyond the classical definition is important to the viability of correspondence analysis. To improve interpretability, complementary information should be produced through Principal Component Analysis, cluster analysis and classification algorithms.

Insinöörityössä tutkittiin korrespondenssianalyysin soveltuvuutta palveluksi analysoimalla kyselydataa. Korrespondenssianalyysi on data-analyysitekniikka, jolla voidaan löytää ja visualisoida toisiaan vastaavia kategorisia muuttujia. Korrespondenssianalyysiprosessin automatisointi datansyöttövaiheesta tulkintavaiheeseen on mahdollista, ja muun muassa markkinointiautomaatio- ja tutkimussovellukset tuottavat kategorista dataa.

Ohjelmistopalvelukokonaisuuden osaksi soveltuva korrespondenssianalyysin toteutus rakennettiin JavaScript-moduuleista. Esimerkkidatana toimi Suomen itsenäisyyden juhlarahasto Sitran tuottaman kyselyn vastausdata. Esimerkkidatan konversioita ja tilastollista varmentamista varten ohjelmoitiin uudet moduulit. Kaikkien monivalintakysymysparien välinen korrespondenssi visualisoitiin.

Selvisi, että 5000 vastaajan tuottama esimerkkidata on hyvälaatuista. 82 kysymyksestä muodostetuista pareista useimmat ovat tilastollisesti merkittäviä ja niiden korrespondenssi on riippumatonta. Korrespondenssianalyysin ominaisuuksien tutkimisesta ja esimerkkitoteutuksen testaustuloksista käy ilmi, että korrespondenssianalyysin tuloksia voi tulkita ilman laajaa data-analyysin erikoisosaamista.

Data-analyysitekniikoiden hyödyntäminen palvelukokonaisuuksina on haastavaa. Korrespondenssianalyysin tapauksessa analyysitekniikan laajentaminen on palvelun toimivuuden kannalta tärkeää. Tulkittavuuden parantamiseksi käyttäjälle tulee antaa sanallista ja kuvallista lisätietoa. Lisätietoa voidaan tuottaa esimerkiksi pääkomponenttianalyysilla, klusterianalyysilla ja luokittelualgoritmeilla.