Automaattinen datan keräys ja raportointi

Abstract

Opinnäytetyön tavoitteena oli kehittää automatisoitu prosessi VMware-virtuaaliympäristön datan keräämiseksi, käsittelemiseksi ja tallentamiseksi Google Driveen. Ratkaisu toteutettiin Python-ohjelmointikieltä hyödyntäen ja ajettiin Linux-palvelimella, jossa ajoituksista huolehti crontab. Ratkaisu heijastaa alan viimeaikaisia kehitystrendejä, joissa automaatio, avoimen lähdekoodin työkalut sekä pilvipalvelujen hyödyntäminen ovat keskeisessä asemassa nykyaikaisessa IT-hallinnassa.

Projektin aikana painottuivat tietoturva, ylläpito ja järjestelmän skaalautuvuus. Skripti kehitettiin siten, että se reagoi sekä järjestelmä- että API-päivityksiin, ja kaikki tuntemattomat virhe- ja poikkeustilanteet käsitellään robustisti informatiivisilla virheilmoituksilla. Ylläpitoa helpottivat selkeä dokumentaatio ja sisäiset ohjeet, jotka mahdollistavat kokonaisuuden hallinnan ja vastuun siirron tulevaisuudessa. Tulosten perusteella järjestelmä helpotti ylläpidon päivittäistä työtä erityisesti vikatilanteiden selvityksessä, resurssisuunnittelussa ja kapasiteetin hallinnassa. Automaattisesti päivittyvä Google Sheets-taulukko antoi ylläpidolle mahdollisuuden tarkastella ja etsiä virtuaalikoneiden avaintietoja, kuten host-palvelimia, resursseja ja tallennuskapasiteettia, nopeasti eri käyttötilanteissa. Järjestelmän tehokkuus, virheensietokyky ja matalat laitteistovaatimukset osoittivat, että ratkaisu on helposti monistettavissa ja hyödynnettävissä erilaisissa organisaatioissa.

Opinnäytetyön myötä syvenivät tekijän tekniset taidot, projektinhallintakokemus ja ymmärrys IT-infrastruktuurien automatisoinnin merkityksestä. Työn keskeinen innovaatio on automaattinen Python-skripti, joka kerää tietoja vSphere API:n kautta, käsittelee datan taulukkomuotoon ja siirtää sen Google Driveen Google API-kirjastojen avulla. Ratkaisu mahdollistaa ajantasaisen ja keskitetysti saavutettavan tiedon hyödyntämisen ilman manuaalisia työvaiheita. Lopputulos osoitti, että hyvin suunniteltu automaatio tuottaa merkittävää lisäarvoa niin käytännön ylläpidolle kuin koko organisaation toimintavarmuudelle ja resurssien käytölle.

The objective of this thesis was to develop an automated process for collecting, processing, and storing VMware virtual environment data in Google Drive. The solution was implemented using Python programming language and executed on a Linux server, with scheduling handled by crontab. The core innovation of the work is an automated Python script, which collects data through the vSphere API, processes it into tabular form, and transfers it to Google Drive via Google API libraries. This solution enables the use of up-to-date, centrally accessible information without the need for manual intervention.

The project emphasized information security, maintainability, and system scalability. The script was developed to adapt to both system and API updates, and all unexpected error and exception scenarios are robustly handled with informative error messages. Maintenance is supported by clear documentation and internal guidelines, which enable comprehensive management and efficient transfer of responsibilities in the future. According to the results, the system significantly facilitated daily operational work, especially in troubleshooting, resource management, and capacity planning. The automatically updated Google Sheets table allowed administrators to quickly review and search for key virtual machine information such as host servers, resources, and storage capacity in various operational scenarios. The efficiency, fault tolerance, and low hardware requirements of the system demonstrated that the solution can be easily replicated and utilised in different organizations.

Throughout the project, the author’s technical skills, project management experience, and understanding of the importance of IT infrastructure automation were deepened. The solution reflects recent industry trends where automation, open-source tools, and the utilisation of cloud services play a central role in modern IT management. The outcome demonstrated that well-planned automation provides significant added value not only for daily maintenance but also for the overall operational reliability and resource utilization of the organisation.