Palvelinkeskusvalvomon toiminnan kehittäminen keskitetyssä valvontaympäristössä

Abstract

Tutkimuksen kohteena olevan yrityksen palvelinkeskuksen valvomo valvoo yrityksen asiakkaiden palvelimia sopimuksen mukaan 24 tuntia vuorokaudessa seitsemänä päivänä viikossa. Keskitetyssä valvonnassa on noin 8500 palvelinta. Hälytykset tulevat keskitetysti valvontaoperaattorin valvontamonitorille. Hälytyksen tullessa valvontaan valvontaoperaattori ryhtyy sovittujen ohjeiden mukaisiin toimenpiteisiin ja tarvittaessa reitittää ongelman selvityksen palvelinkeskuksen valvomossa toimivalle ongelmanratkaisuryhmälle. Keskitetty valvontajärjestelmä on toteutettu kaupallisella BMC PATROL –ohjelmistolla.

Tutkimuskohteena olivat valvontaan tulevat lukuisat aiheettomat hälytykset, jotka eivät vaadi käytännössä mitään toimenpiteitä valvontaoperaattorilta tai ongelmanratkaisuryhmän järjestelmäasiantuntijoilta. Keskitettyyn valvontajärjestelmään liittyvistä ongelmista vastaa normaalisti yrityksessä oma asiantuntijaryhmä. Valvontaongelmien selvittäminen voi kestää kauan, koska selvitystä siirretään usein asiantuntijaryhmältä toiselle. Opinnäytetyön tavoitteena oli selvittää, millaisia ovat yleisimmät aiheettomat hälytykset, ja tuottaa palvelinkeskuksen valvomon ongelmanselvitysryhmälle työohjeistus, jonka avulla ongelmanratkaisuryhmä voi poistaa aiheettomasti hälyttäviä parametreja valvonnasta.

Opinnäytetyössä on käytetty konstruktiivista otetta. Työ on luonteeltaan toimintatutkimus. Tutkimuksessa kuvattiin palvelinkeskuksen valvomon näkökulmasta keskitetyn valvontajärjestelmän toimintaa ja sitä, kuinka ongelmanselvitysprosessi toimii valvontahälytyksissä. Työssä käytiin läpi kahdenlaisia aiheettomia hälytyksiä ja selvitettiin, mistä kyseiset aiheettomat hälytykset johtuivat sekä vastattiin siihen, kuinka ne saadaan korjattua. Lopputuloksena tehtiin toimiva ohjeistus, jolla voidaan poistaa tietynlaisia aiheettomia hälytyksiä sekä poistaa mikä tahansa parametri valvonnasta yksittäiseltä valvonta-agentilta.

Työn lopputulokset ottavat kuitenkin kantaa vain yhden valvonta-agentin toimintaan. Palvelimia, joilta aiheettomia hälytyksiä tulee, on tuhansia, ja yksi palvelin saattaa aiheuttaa monta erilaista aiheetonta hälytystä. Näin ollen tämä työ ei tuonut ratkaisua varsinaiseen valvontaongelmaan, mutta toi lisää keinoja palvelinkeskuksen ongelmanratkaisuryhmälle valvonnan parantamiseksi.

Developing operations of a data centre in a centralized monitoring environment

The monitoring room of Company X’s data centre monitors its customers’ servers 24 hours a day on every day of the year. There are over 8500 servers in centralized monitoring. All alarms are managed in the monitoring operator’s centralized alarm-monitor. When a server is alarming, the monitoring operator reacts to the alarm as agreed with the customer and escalates the problem to the problem solving team of the data centre if necessary. The centralized monitoring system has been implemented with BMC PATROL.

The research problem of this thesis is the fact that there are false alarms coming to the centralized monitoring which require no actions from the monitoring operators or the system specialists of the problem solving team. The centralized monitoring system is administrated by its own team of specialists in the company. Solving monitoring problems can take a long time because problem solving is usually transferred several times between different specialist teams. The main purpose of this research was to produce a work instruction to the problem solving team of the data centre that would offer the methods to independently remove the most common false alarms from the centralized monitoring.

A constructive method of research is used in this thesis. The research is characterized as action research. This thesis introduced the centralized monitoring system from the monitoring room's point of view and described how the problem solving process is executed when an alarm is triggered to the alarm monitor. Two types of the most common false alarms are introduced: how to remove them from monitoring and what causes the false alarms. As a result of the research, a work instruction was produced which gives the methods to remove certain types of false alarms from the monitoring including a universal method to remove any parameter from the centralized monitoring.

The produced work instruction applies only to a single monitoring agent. There are thousands of servers that produce false alarms and there can be several different parameters in one server that are producing them. Consequently, this thesis does not remove the essential monitoring problem but offers new methods to the problem solving team to improve the centralized monitoring.