AWS Athena -KPI-hallintapaneeli
Moni, Shajeda Akter (2023)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2023060822896
https://urn.fi/URN:NBN:fi:amk-2023060822896
Tiivistelmä
Tämän opinnäytetyön tarkoituksena on luoda vuorovaikutteinen AWS Athena -KPI-hallintapaneeli. Hallintapaneeli auttaa yrityksiä analysoimaan dataa ja tekemään tarvitta-via analyysejä Athenan kyselyjen avulla. Kaikkien näiden KPI:en visualisoimiseksi on tär-keä ymmärtää, mitkä palvelut ovat tarpeen tavoitteen saavuttamiseksi ja miten niitä voi-daan visualisoida tehokkaasti.
Teoreettisessa osassa käsitellään AWS:ää ja sen eri palveluita. Lisäksi käydään läpi AWS:n historia sekä nykytilanne. Asiakkaan vaatimukset on käsitelty yksityiskohtaisesti. KPI-hallinta paneelin toteuttamisessa käytetyt palvelut - CloudWatch, Athena, Glue, S3 ja EC2 - käydään läpi yksityiskohtaisesti.
Toteutus-osiossa käydään läpi hallintapaneelin toteuttaminen. Toteutus alkoi EC2-esiintymien käynnistämisestä. Tämän jälkeen S3-pilvitietovarannosta saatu data mu-okattiin AWS Glueta käyttäen siten, että Athenan kyselyt olivat mahdollisia.
Opinnäytetyön tavoite on saavutettu onnistuneesti hyödyntämällä tarvittavia AWS-palveluita. KPI:t on visualisoitu PowerBI:ssa käyttäen Athenan ODBC-ajuria. Hallintapan-eliin voidaan tulevaisuudessa lisätä mittareita samalla menetelmällä, jotta saadaan katta-va kuva tiimin tarjoamista palveluista AWS:ssa. The purpose of this thesis is to make an interactive AWS Athena KPI dashboard that would help businesses to analyze the data and do necessary analysis using Athena Queries. To visualize all these KPIs, it is essential to understand what types of services are required to achieve this goal and how effectively they can be visualized.
The theoretical part of the thesis discusses AWS and its different services. Also, AWS’s history and current situation have been explained in the theoretical part. On top of that, the requirements of the customer have been discussed in detail. The services which have been used to achieve the KPI dashboard – CloudWatch, Athena, Glue, S3, Ec2 and Athena have been discussed in detail.
In the implementation part of the thesis, the process of creating a dashboard has been discussed in detail. The implementation started with launching EC2 instances. In the implementation, S3 was used as the data storage while AWS Glue was used to modify the data in a way so that queries by Athena would be possible.
The goal of the thesis has been accomplished successfully by utilizing the necessary AWS services. KPIs are visualised in powerBI using Athena odbc dirver. Based on the findings of this thesis, additional Key Performance Indicators (KPIs) will be incorporated into the dashboard to obtain a comprehensive overview of the services provided by the team in AWS.
Teoreettisessa osassa käsitellään AWS:ää ja sen eri palveluita. Lisäksi käydään läpi AWS:n historia sekä nykytilanne. Asiakkaan vaatimukset on käsitelty yksityiskohtaisesti. KPI-hallinta paneelin toteuttamisessa käytetyt palvelut - CloudWatch, Athena, Glue, S3 ja EC2 - käydään läpi yksityiskohtaisesti.
Toteutus-osiossa käydään läpi hallintapaneelin toteuttaminen. Toteutus alkoi EC2-esiintymien käynnistämisestä. Tämän jälkeen S3-pilvitietovarannosta saatu data mu-okattiin AWS Glueta käyttäen siten, että Athenan kyselyt olivat mahdollisia.
Opinnäytetyön tavoite on saavutettu onnistuneesti hyödyntämällä tarvittavia AWS-palveluita. KPI:t on visualisoitu PowerBI:ssa käyttäen Athenan ODBC-ajuria. Hallintapan-eliin voidaan tulevaisuudessa lisätä mittareita samalla menetelmällä, jotta saadaan katta-va kuva tiimin tarjoamista palveluista AWS:ssa.
The theoretical part of the thesis discusses AWS and its different services. Also, AWS’s history and current situation have been explained in the theoretical part. On top of that, the requirements of the customer have been discussed in detail. The services which have been used to achieve the KPI dashboard – CloudWatch, Athena, Glue, S3, Ec2 and Athena have been discussed in detail.
In the implementation part of the thesis, the process of creating a dashboard has been discussed in detail. The implementation started with launching EC2 instances. In the implementation, S3 was used as the data storage while AWS Glue was used to modify the data in a way so that queries by Athena would be possible.
The goal of the thesis has been accomplished successfully by utilizing the necessary AWS services. KPIs are visualised in powerBI using Athena odbc dirver. Based on the findings of this thesis, additional Key Performance Indicators (KPIs) will be incorporated into the dashboard to obtain a comprehensive overview of the services provided by the team in AWS.