Datainsinöörinä kehittyminen
Karhunen, Kirsi (2025)
2025
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2025120231690
https://urn.fi/URN:NBN:fi:amk-2025120231690
Tiivistelmä
Päiväkirjamuotoisessa opinnäytetyössä tutkittiin tietoon ja tiedon käsittelyyn liittyviä keskeisiä käsitteitä ja prosesseja. Työn tavoitteena oli selvittää yleisimpiä datainsinöörien prosessissa käyttämiä tekniikoita ja työkaluja sekä aloittelevan datainsinöörin tyypillisiä työtehtäviä. Lisäksi tutkittiin kirjoittajan tapaa oppia ja kehitystä datainsinöörinä.
ETL-työkaluista ja tekniikoista esiin nousi dataputkien muokkaaminen ja rakentaminen koodilla, avoimen lähdekoodin ohjelmisto KNIME, dbt, Microsoftin SSIS, SAS Data Integration Studio sekä pilvipalveluista Azuren Data Factory, Microsoft Fabric, AWS Glue, Snowflake ja Databricks. Muita datainsinöörien paljon käyttämiä työkaluja ovat erilaiset version- ja projektinhallintaan sekä dokumentointiin käytettävät ohjelmistot.
Aloittelevan datainsinöörin työtehtäviä esiteltiin erilaisten esimerkkitapausten muodossa. Tehtävätyyppeinä olivat dataan ja dataputkiin liittyvät selvitystehtävät, dataputkien muokkaamiset ja uusien dataputkien rakentamiset. Tehtävien kautta reflektoitiin kirjoittajan työ- ja oppimistapoja.
Projekti kehitti kirjoittajan ammatillista osaamista syventämällä tietämystä datan käsittelyyn liittyvistä käsitteistä, prosessiin liittyvistä osa-alueista ja datan käsittelyn tulevaisuudesta. Oman oppimisen ja oppimistapojen reflektointi auttoi omien vahvuuksien ja heikkouksien tunnistamisessa ja vahvisti siten ammattitaidon kehittymistä.
ETL-työkaluista ja tekniikoista esiin nousi dataputkien muokkaaminen ja rakentaminen koodilla, avoimen lähdekoodin ohjelmisto KNIME, dbt, Microsoftin SSIS, SAS Data Integration Studio sekä pilvipalveluista Azuren Data Factory, Microsoft Fabric, AWS Glue, Snowflake ja Databricks. Muita datainsinöörien paljon käyttämiä työkaluja ovat erilaiset version- ja projektinhallintaan sekä dokumentointiin käytettävät ohjelmistot.
Aloittelevan datainsinöörin työtehtäviä esiteltiin erilaisten esimerkkitapausten muodossa. Tehtävätyyppeinä olivat dataan ja dataputkiin liittyvät selvitystehtävät, dataputkien muokkaamiset ja uusien dataputkien rakentamiset. Tehtävien kautta reflektoitiin kirjoittajan työ- ja oppimistapoja.
Projekti kehitti kirjoittajan ammatillista osaamista syventämällä tietämystä datan käsittelyyn liittyvistä käsitteistä, prosessiin liittyvistä osa-alueista ja datan käsittelyn tulevaisuudesta. Oman oppimisen ja oppimistapojen reflektointi auttoi omien vahvuuksien ja heikkouksien tunnistamisessa ja vahvisti siten ammattitaidon kehittymistä.