Optimizing cloud storage and cost strategies for IoT sensor data using Amazon Web Services
Kuoppala, Henri (2024)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2024082624371
https://urn.fi/URN:NBN:fi:amk-2024082624371
Tiivistelmä
IoT-laitteiden ja pilven välisen kommunikoinnin eri ratkaisujen tulee ottaa huomioon useita tärkeitä tekijöitä, kuten datan tallennusviive, pilvikustannukset ja pilvi-infrastruktuurin skaalautuvuus. Valittujen viestintäpalveluiden ja menetelmien tulisi olla linjassa lopputuotteen prioriteettien kanssa.
Tämän opinnäytetyön tavoitteena oli parantaa IoT-anturidatan tallennus- ja kustannustehokkuutta asiakkaan järjestelmässä, SADE Booster IoT Assetissa, hyödyntäen Amazon Web Services -palveluja. Tehtävinä olivat 1. ehdottaa ratkaisua, 2. verrata kustannuksia sekä 3. toteuttaa ja testata ratkaisu.
Uudessa ratkaisussa luotiin uusi dataputki IoT laitteen anturidatan vastaanottamiseen ja tallentamiseen pilveen jo olemassa olevan dataputken rinnalle. Työssä käytettiin Amazon Data Firehosea saapuvan anturidatan puskurointiin. Anturidatan puskurointi mahdollisti datan käsittelemisen erissä käyttäen eräkirjoitusoperaatioita, mikä johti alhaisempiin pilvikustannuksiin.
Teoreettiset laskelmat ja testitulokset osoittivat huomattavia kustannussäästöjä uudella ratkaisulla. Amazon Data Firehose alensi pilvikustannuksia, sillä sen laskutus ei perustu viestien määrään, vaan käsitellyn datan kokoon. Anturidatan tallentaminen erissä alensi tietokantaoperaatioiden kustannuksia merkittävästi. When connecting IoT devices to the cloud, it is important to consider factors such as data storage latency, cloud costs, and cloud infrastructure scalability. The chosen communication services and methods should align with the priorities of the final product.
This thesis aimed to improve the storage and cost efficiency of IoT sensor data in the client’s system, SADE Booster IoT Asset, using Amazon Web Services. The specific objectives were 1. to propose a solution, 2. to compare costs, and 3. to implement and test the solution.
The new solution involved creating a separate data pipeline to receive and store IoT device sensor data in the cloud, in addition to the existing data pipeline. Amazon Data Firehose was used to buffer incoming sensor data, allowing for batch processing through batch write operations, which ultimately reduced cloud costs.
Theoretical calculations and test results demonstrated significant cost savings with the new solution. Utilizing Amazon Data Firehose decreased cloud costs, as its billing is based on the amount of data processed rather than the number of messages received. Furthermore, batching writes for storing sensor data in the database substantially reduced database operations costs.
Tämän opinnäytetyön tavoitteena oli parantaa IoT-anturidatan tallennus- ja kustannustehokkuutta asiakkaan järjestelmässä, SADE Booster IoT Assetissa, hyödyntäen Amazon Web Services -palveluja. Tehtävinä olivat 1. ehdottaa ratkaisua, 2. verrata kustannuksia sekä 3. toteuttaa ja testata ratkaisu.
Uudessa ratkaisussa luotiin uusi dataputki IoT laitteen anturidatan vastaanottamiseen ja tallentamiseen pilveen jo olemassa olevan dataputken rinnalle. Työssä käytettiin Amazon Data Firehosea saapuvan anturidatan puskurointiin. Anturidatan puskurointi mahdollisti datan käsittelemisen erissä käyttäen eräkirjoitusoperaatioita, mikä johti alhaisempiin pilvikustannuksiin.
Teoreettiset laskelmat ja testitulokset osoittivat huomattavia kustannussäästöjä uudella ratkaisulla. Amazon Data Firehose alensi pilvikustannuksia, sillä sen laskutus ei perustu viestien määrään, vaan käsitellyn datan kokoon. Anturidatan tallentaminen erissä alensi tietokantaoperaatioiden kustannuksia merkittävästi.
This thesis aimed to improve the storage and cost efficiency of IoT sensor data in the client’s system, SADE Booster IoT Asset, using Amazon Web Services. The specific objectives were 1. to propose a solution, 2. to compare costs, and 3. to implement and test the solution.
The new solution involved creating a separate data pipeline to receive and store IoT device sensor data in the cloud, in addition to the existing data pipeline. Amazon Data Firehose was used to buffer incoming sensor data, allowing for batch processing through batch write operations, which ultimately reduced cloud costs.
Theoretical calculations and test results demonstrated significant cost savings with the new solution. Utilizing Amazon Data Firehose decreased cloud costs, as its billing is based on the amount of data processed rather than the number of messages received. Furthermore, batching writes for storing sensor data in the database substantially reduced database operations costs.