Machine learning ja data science -ratkaisut OpenShiftissä

Abstract

Opinnäytetyössä selvitettiin, kuinka saada data science ja machine learning toteutuksia ajettua OpenShiftin päällä mahdollisimman helposti. OpenShiftiä oli alunperin tarkoitus käyttää toimeksiantajan ympäristössä, mutta opinnäytetyön aikana ympäristöksi vaihdettiin lokaalisti asennettava OpenShift. Ympäristönvaihdos suoritettiin useiden eri machine learning ja data science -ratkaisuiden asennusten epäonnistuttua OpenShiftin käyttöoikeuksien vuoksi. Opinnäytetyön toimeksiantaja on Ambientia Oy, joka toimii ohjelmistoalalla räätälöityjen ohjelmistotopalveluiden toteuttajana, sekä konsultointipalveluiden ja Atlassian-lisenssien ja -palveluiden toimittajana.

Opinnäytetyössä selvitettiin, kuinka TensorFlowin ja Apache Sparkin asentaminen ja käyttöönotto tapahtuu OpenShiftissä. TensorFlow ja Apache Spark ovat avoimen lähdekoodin koneoppimis- ja datatiedesovelluksia. Opinnäytetyössä tutkittiin, kuinka kyseiset ratkaisut toimivat OpenShiftissä ja pohdittiin sekä vertailtiin näiden ratkaisuiden ominaisuuksia ja toiminnallisuuksia. Opinnäytetyössä pohdittiin myös infrastruktuurin perustamisen vaivaa ja yksityisen pilven skaalautuvuutta verrattuna julkisen pilven rajattomaan skaalautuvuuteen.

Koneoppiminen ja datatiede kasvavat tällä hetkellä nopeasti ja valtaavat lisää markkinaosuutta. Opinnäytetyössä perehdyttiin tarkemmin siihen, mitä koneoppiminen ja datatiede ovat ja mitä kaikkea niillä voidaan tehdä ja saada aikaan.

The objective of the thesis was to find out how to get machine learning and data science implementations on OpenShift with a relative ease. The client’s OpenShift was intended to be used as the environment but during the thesis the environment was changed to a local OpenShift installation. The environment change was carried out due to the failure to install several machine learning and data science solutions because of OpenShift´s limited permissions. The thesis was commissioned by Ambientia Oy, a company that is providing tailored software services and is a supplier of consultancy services and Atlassian licenses and services.

Research was done on how to set up and deploy TensorFlow and Apache Spark on OpenShift. Research was also done on how these implementations work in OpenShift and how the features and functionalities of the implementations compare to each other. The thesis also focused on the difficulty of creating an infrastructure and the scalability of a private cloud compared to the unlimited scalability of the public cloud.

Machine learning and data science are both rapidly growing and their market share is accelerating. The thesis focused on what machine learning and data science are and what can be done and achieved by using them properly.