Evaluation of Implementation of a New Service Offering to Customer Organisation - Case: Työtä Meille Nyt ja Heti! second phase

Abstract

This thesis conducted an evaluation of Työtä Meille Nyt ja Heti! – Project’s second phase. The project was ESF (European Social Fund) funded project.

Työtä Meille Nyt ja Heti! –project started already 2010, but the second phase, the focus on the thesis, was carried out during the 2013. The second phase of the project had a goal of developing and implementing a new Social Media service offering to Satakunta TE Services to create an environment to support the long term goal of reducing the unemployment among youth in Satakunta. In addition to customer organisation the other stakeholders in the project were Satakunta ELY Centre and Satakunta University of Applied Sciences – client organisation ordering the evaluation.

The study has utilised evaluation research theories and methods in general and project evaluation more specifically to carry out an independent, systematic and analytical assessment of the background, objectives, activities, means deployed in the project as well as results and impacts with focus on reliability and usefulness of findings. The research has been built based on the needs of the client organisation – the organisation ordering the evaluation, and was conducted as a summative evaluation – focusing on evaluating the effectiveness. The research has been carried out as a qualitative research and utilised interviews as well as document review to gather the evaluation data. The results in addition to evaluation itself, can used for organisational learning and as best practices for any future ESF projects.

The evaluation concluded that the project has mostly succeeded – it has developed Social Media solution to the TE Services and has implemented it internally, but not yet externally. Although the implementation was not completed, already now the project’s outputs have improved the digital service offering of the TE Services. However, the service still does not reach the youth as it was planned to. Further, as it takes time to see the long term effects, the evaluation of effectiveness of the project can neither be completely carried through. Results of whether or not this effort and investment has reached the ultimate goal of creating an environment to support the employment of youth and to fill the open vacancies faster to reduce the unemployment among youth in Satakunta area, will most likely take couple of years to emerge. Therefore the effectiveness can be really evaluated not earlier than after 2 to 3 years.

Tämä on Työtä Meille Nyt ja Heti! -jatkohankeen hankearviointi.

Työtä Meille Nyt ja Heti! -hanke käynnistyi 2010. Tämän opinnäytetyön tutkimuskohde – jatkohanke alkoi tammikuussa 2013 ja kesti vuoden loppuun. Hanke on ollut Euroopan sosiaalirahaston (ESR) rahoittama hanke. Jatkohankkeen tavoitteena oli kehittää ja jalkauttaa uusi Sosiaalisen Median palvelu Satakunnan TE-Palveluille, luoden toimintaympäristön, joka tukee hankkeen pitkän aikajänteen tavoitetta - nuorten työllisyyden vähentämistä Satakunnan alueella. TE-Palveluiden lisäksi hankkeen muut sidosryhmät olivat Satakunnan ELY keskus sekä Satakunnan Ammattikorkeakoulu, joka tilasi hankearvioinnin.

Tutkimus hyödynsi arviointitutkimuksen teorioita ja menetelmiä yleisellä tasolla sekä hankkearviointiteoriaa ja -menetelmiä yksityiskohtaisemmin suorittaakseen riippumattoman, järjestelmällisen ja analyyttisen arvioinnin hankkeen taustoista, tavoitteitteista, toiminnasta, keinoista sekä tuloksista ja vaikutuksista keskittyen hyvien arviointikäytänteiden mukaisesti arvioinnin luotettavuuteen ja arviointitulosten hyödyllisyyteen. Arviointitutkimus on suunniteltu ja toteutettu asiakasorganisaation - organisaation, joka tilasi arvioinnin, tarpeiden mukaisesti summatiivisena arviointina keskittyen vaikuttavuuden arviointiin.

Tutkimus toteutettiin kvalitatiivisilla tutkimusmetodeilla. Tutkimusaineisto kerättiin haastateluilla sekä hankeasiakirjojen läpikäynnillä. Tutkimuksen tuloksia voidaan hyödyntää hankearvioinnin lisäksi, organisaation oppimiseen sekä parhaiden käytäntöjen siirtämiseen tuleviin ESR-hankkeisiin.

Hankearvioinnin tulokset osoittavat että hanke on pääosin onnistunut - se on kehittänyt Sosiaalisen Median palvelun TE-Palveluille ja jalkautanut palvelun sisäisesti, joskaan ei vielä ulkoisesti. Vaikka jalkauttaminen on kesken, jo nyt hankkeen tuotokset ovat parantaneet TE-Palvelujen digitaalisia palveluja. Palvelu ei kuitenkaan vielä tavoita nuoria. Huomioitavaa on myös että, koska vie aikaa nähdä pitkän aikavälin vaikutukset, hankeen vaikuttavuuden arviointia ei voida myöskään täysin viedä läpi tässä vaiheessa. Tulokset siitä onko hanke saavuttanut perimmäisen tavoitteensa: luoda palveluympäristö, joka tukee nuorten työllistymistä ja täyttää avoimet työpaikat nopeammin, vähentäen sitä kautta nuorten työttömyyttä Satakunnassa alueella, on nähtävissä todennäköisesti vasta parin vuoden sisällä. Näinollen hankkeen vaikuttavuutta voidaan todella arvioida aikaisintaan 2-3 vuoden kuluttua.