Ohjelmistokomponenttien suorituskyvyn ennustaminen ja optimointi Kubernetes-ympäristössä

Abstract

Tässä opinnäytetyössä keskityttiin ohjelmistokomponenttien kapasiteetinhallintaan ja suorituskyvyn mallintamiseen Kubernetes-ympäristössä. Työn tavoitteena oli kehittää koneoppimismalli, joka kykenee analysoimaan ja ennustamaan ohjelmistokomponenttien suorituskykyä riippumatta niiden toiminnallisesta tarkoituksesta. Tämä mahdollistaa resurssien optimaalisen käytön ja auttaa tunnistamaan pullonkaulat ajoissa.

Tutkimus toteutettiin rakentamalla Docker-compose pohjainen testiympäristö, jossa hyödynnettiin avoimen lähdekoodin palveluja (Fluent-Bit, Flog, Grafana, Loki, cAdvisor, Prometheus, Grafana) loki- ja suorituskykymittareiden keräämiseen. Kuormitusskenaariot suunniteltiin vaihtelemalla lokirivien määrää 20 000–50 000 ja testaamalla järjestelmää minimi-, vakio- ja stressikuormitustasoilla, jotta komponenttien todellinen suorituskyky ja mahdolliset pullonkaulat tulivat esiin.

Kerätyn mittausdatan pohjalta koulutettiin ja arvioitiin kaksi regressiomallia (RandomForestRegressor ja MLPRegressor). Mallien avulla tutkittiin suorituskykymittareiden välisiä riippuvuuksia ja muodostettiin ennustemalli resurssien käytöstä. Mallien suorituskyvynarviointi osoitti niiden kykenevän ennustamaan useita järjestelmän suorituskykymittareita kohtuullisella tarkkuudella. Erityisen onnistuneita tuloksia saavutettiin Loki-komponentin muistinkäytön ennustamisessa (R² > 0,95) kaikissa kuormitustilanteissa. Latenssien osalta p50- ja p95-arvojen ennusteet vastasivat hyvin mitattuja arvoja. Haasteita ilmeni p99-latenssien ja tiettyjen CPU-käyttöön liittyvien muuttujien mallintamisessa.

Kehitetty malli tarjoaa käytännöllisen työkalun ohjelmistokehittäjille ja järjestelmäarkkitehdeille resurssien optimointiin ja kustannustehokkaan skaalautuvuuden tukemiseen Kubernetes-ympäristössä. Se mahdollistaa vaikuttamisen kapasiteetinsuunnittelun, pullonkaulojen ennakoivan tunnistamisen ja järjestelmän vakaamman toiminnan, mikä parantaa käyttäjäkokemusta ja vähentää operatiivisia kustannuksia. Työ tarjoaa pohjan jatkokehitykselle, kuten ennustetarkkuuden parantamiselle haastavissa mittareissa, mallien yleistettävyyden arvioinnille laajemmissa ympäristöissä ja reaaliaikaisen käytön kehittämiselle.

This thesis focused on the capacity management and performance modelling of software components in a Kubernetes environment. The objective was to develop a machine learning model capable of analysing and predicting the performance of software components, regardless of their functional purpose. This enables optimal resource utilization and helps identify bottlenecks in a timely manner.

The research was conducted by building a Docker-compose-based test environment, utilizing open-source services (Fluent-Bit, Flog, Grafana Loki, cAdvisor, Prometheus, Grafana) for collecting log and performance metrics. Load scenarios were designed by varying the number of log lines from 20,000 to 50,000 and testing the system at minimum, constant, and stress load levels to reveal the true performance of components and potential bottlenecks.

Based on the collected measurement data, two regression models (Random-ForestRegressor and MLPRegressor) were trained and evaluated. These models were used to investigate dependencies between performance metrics and to create a predictive model for resource usage. The performance evaluation of the models showed their ability to predict several system performance metrics with reasonable accuracy. Particularly successful results were achieved in predicting the memory usage of the Loki component (R² > 0.95) in all load situations. For latencies, the predictions for p50 and p95 values closely matched the measured values. Challenges arose in modelling p99 latencies and certain CPU-related variables.

The developed model provides a practical tool for software developers and system architects for resource optimization and supporting cost-effective scalability in a Kubernetes environment. It enables proactive capacity planning, predictive bottleneck identification, and more stable system operation, which improves user experience and reduces operational costs. This work provides a foundation for further development, such as improving prediction accuracy for challenging metrics, evaluating the generalizability of models in broader environments, and developing real time usage.