Effektiv logghantering och monitorering av IT-infrastruktur med Elastic stack
Salonen, Martin (2018)
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2018060412508
https://urn.fi/URN:NBN:fi:amk-2018060412508
Tiivistelmä
Effektiv hantering, monitorering och felsökning är utmaningar i den moderna IT-miljön. Proaktivt arbete är att föredra istället för reaktivt. Detta hjälper även till med att bättre förstå kugghjulen i infrastrukturen och därmed minimera oförväntade problem och avbrott i systemen. Under uppdrag av arbetsgivaren Svenska litteratursällskapet i Finland r.f. (SLS) är målet med detta arbete att implementera ett centraliserat system för logghantering och monitorering av IT-infrastrukturen. Målet med detta system är att hjälpa IT-teamet få en bättre överblick över infrastrukturen och effektivera upptäckande av problem och snabba upp problemlösningsprocessen. Systemet som skall implementeras består av programserien Elastic stack. Denna serie består främst av tre delar: Elasticsearch för indexering av data, Logstash/Beats för inmatning och behandling av data och Kibana för grafiskt användargränssnitt och visualisering av data. Utöver detta skall också expansionspaketet X-Pack implementeras, vilket av Alerting-modulen kommer att användas för alarmering under definierade omständigheter. Arbetet är uppdelat i fyra delar. I den första delen beskrivs infrastrukturen hos uppdragsgivaren och utmaningar i modern systemadministration definieras. Proaktivt och reaktivt arbete inom systemadministration behandlas också. I den andra delen presenteras Elastic stack och dess komponenter, vad de är och vad deras roll är i systemet. I den tredje delen planeras och implementeras systemet. Ett kluster för systemet planeras och val av specifikationer och komponenter görs med motiveringar. Sedan implementeras systemet. Elasticsearch installeras och konfigureras på tre olika servrar. Inmatning och behandling av data från diverse källor sätts upp med hjälp av Logstash och Beats. Kibana installeras med konfiguration och användbara visualiseringar som del av skräddarsydda instrumentbräden sätts upp. Alarmering implementeras också med Alerting modulen från X-Pack. Till implementering av systemet hör också underhåll av Elasticsearch med hjälp av programvaran Curator. I den sista delen av arbetet utvärderas det uppsatta systemet och en sammanfattning görs. Feedback tas in av IT-teamet, där systemets användbarhet utvärderas med tanke på användarvänlighet och nytta i systemadministration. Till sist tas en syn på framtida utvidgad användning av systemet. Efficient administration, monitoring and troubleshooting is a challenge in the modern IT setting. Proactive action is preferable to reactive, while aiming for a better understanding of the underlying components in the IT infrastructure, thereby minimizing downtime in services. The purpose of this thesis is to set up a centralized log management and monitoring system for the IT infrastructure of the client, Swedish society of literature in Finland. This system will be built on the Elastic stack, an open source software suite. The suite consists mainly of three parts; Elasticsearch that indexes data, Logstash/Beats for inges-tion of data and Kibana for graphic interface and visualization. This system’s purpose is to help the IT staff in making it faster and easier to identify and troubleshoot problems. An alerting function will also be implemented, where the system will alert the IT staff by email under specified circumstances. The thesis consists of four parts. First, the IT infrastructure is described and what challenges there are in modern system administration. In the second part, Elastic stack and its components are examined. The third part consists of the actual implementation of Elastic stack, data is ingested into Elasticsearch and visualizations created in Kibana, as well as alerting. The last part of the thesis consists of evaluation of the new system, including userfriendliness and actual usefulness in system administration. This is done via receiving feedback from the IT team. Lastly, a look into the future where further implementation of the system is evaluated.