Incidens-, probléma-, változáskezelés

1. Intelligens rendszerfelügyelet Incidens-, probléma-, változáskezelés Szombath István szombath@mit.bme.hu

2. Tartalomjegyzék • Probléma / motiváció • Eseménykezelés (ism.) • Incidenskezelés • Problémakezelés • Konfigurációmenedzsment (ism) • Hatásanalízis / diagnosztika • Változáskezelés • Demo

3. Bevezető Ma már az n. ügyfél fordul hozzám fura panaszokkal. Továbbítom a problémát a nagykutyáknak. • Hiba esetén értesítendő  • Józsi a rendszergazda • IT support • HelpDesk • Telefonon • E-mailben • Keretrendszer segítségével Kapcsolja ki a gépet, majd be. Oh, újra működik, csodás! Nem megy a vindóz, nem tudok dolgozni! Most mondtam, nem megy! Értem uram, mik a tünetek? ?!#@? A múlt heti frissítésben valószínű maradt egy bug. Ezt azonnal orvosolni kell!

5. Gartner felmérés • Milyen szintű integráció van az eseménykezelés (mgmt) és a Service Desk között? • 10% semmilyen • 46% „analóg” manuális (telefon, …) • 20% félig automatizált („digitális manuális”) • 24% teljesen automatizált • Ki felelős a kritikus problémákért? • … • 17% nem formalizált

6. ITIL • IT menedzsmentfolyamatokhoz • keretrendszer • technikák • eszközök • „bestpractices” • Jobbat • Olcsóbban

7. Terminológia • Monitorozás != eseménykezelés • Miért is? • Ticket • TroubleTicket, RFC Ticket, … • Azonosító • Visszahívási cím (CallbackNumber) • Jól strukturált információ • RFC • RequestforChange • Ticket ha változtatni szeretnénk valamin

8. Terminológia • Baseline – alapbeállítás • KnownError (Ticket) • Ismert hiba (GyIK, FAQ, RTFM, …) • Miért is lesz ez hasznos? • Reaktivitás, proaktivitás • Példa az eseményekre: • Új bejegyzés egy naplófájlban • Script üzenetet küld (e-mail, …) • Ágens jelentést küld • …

9. Menedzsment folyamatok

10. Eseménykezelés (ism) • ITIL: Event Management • „Event Management is the process of raising significant infrastructure events and responding to those events.” • Fogalmak: • Szűrés (filtering) • Továbbítás (forwarding) • „Lassítás” (throttling) • Duplikátumok detektálása (duplicatedetection) • Korreláció • Elévültetés • Metrikák (példa?)

11. Eseménykezelés ism. • Generálás • Detektálás • Szűrés • Akció • Automatikus / humán • Loggolás • Eszkalálás • Incidenskezelés • Problémakezelés • Változáskezelés • Felülvizsgálás • Lezárás

12. Menedzsment folyamatok

13. Service Desk • Felület a felhasználók felé • Ide fordulnak zavar esetén • Ticket nyitása, kitöltése, lezárása • Kísérlet a probléma megoldására • Eszkalálás • Aliasok(?) • Call Center, HelpDesk, …

14. Menedzsment folyamatok

15. ITIL – Incidenskezelés • Incidens: • Nem tervezett leállás, hiba vagy anomália egy szolgáltatásban (vagy komponensben) • Formalizált incidenskezelés előnye: • Kevesebb leállás • Priorizálás, jobb erőforrás kihasználás • Szolgáltatási szint javítása • Folyamatok, szerepkörök, felelősségek definiálása

16. Táblánál: Incidenskezelés házilag

17. Incidenskezelés – Alfolyamatok • Azonosítás • Milyen forrásokból jöhet? • EventMgmt • Web Service Interface • Telefonhívás kívülről • Belülről • Naplózás (mit is?) • ID, Időbélyeg • Probléma leírás • Érintettek száma, súlyosság, prioritás • Kontakt (visszahívási szám) • Vonatkozó CI adatok (!) • Status (?) Incidentidentification Logging

18. Incidenskezelés – Alfolyamatok (2) • Kategorizálás • HW / SW … • Granularitás változó • Priorizálás • Impacton Business • Hány ember érintett? • Anyagi, személyi, erkölcsi (?) kár • (Initial) Diagnózis • Kísérlet a hibaok feltárására Categorization Prioritization InitialDiagnosis

19. Incidenskezelés – Alfolyamatok (3) • Eszkalálás • Updateljük a ticketet • Továbbítjuk felsőbb szintekre • 2-level, 3-level • Diagnózis felállítása • Mi romlott el? • Mi vezetett ide? • Okok, eseménysorok megértése • KnownErrorTicket(ek) frissítése Escalation? Diagnosis

20. Incidenskezelés – Alfolyamatok (4) • Helyreállítás • Tesztelés • Végrehajtás (hol?) • Incidens lezárása • Ticket útjának ellenőrzése • Visszajelzés • Dokumentálni • Újra előfordulhat Resolution &Recovery IncidentClosure

21. Incideskezelés – Ticket állapotai • Opened • Assigned • Resolved • Closed Opened Assigned Resolved Closed

22. Prioritás • Prioritás = sürgősség x hatás • Ökölszabály: Impact = érintettek száma (?) • Példák: • Backup elromlott (nem sürgős, nagy „impact”) • Logo nem szép (sürgős, közvetlen hatás nincs)

23. Gondolkodtatók • Milyen metrikákat mérhetünk? • Ticket/óra, Ticket hossz, … • Milyen más folyamatokkal van együttműködés? • Esemény, probléma, változáskezelés • Konfigurációkezelés • … • Kritikus pontok • KnownErrorTicketek kezelése • Incidensek észlelése • Képzett csapat  • Elkötelezettség a felhasználók részéről (!)

24. Menedzsment folyamatok

25. ITIL – Problémakezelés • Probléma: • Incidens(ek) oka • Problémák életciklusát kezeli • Szisztematikusan • Incidensek számát / hatását minimalizálja • Hibaok feltárása • Megoldás keresése, tesztelése, implementálása • Szoros integráció az incidenskezeléssel és a változáskezeléssel

26. Problémakezelés • Folyamat incidenskezeléshez hasonló: • Detektálás • Hogyan (itt kezd érdekes lenni)? • Loggolás • Kategorizálás • Priorizálás • Diagnózis • Workaroundok, megoldás tesztelése, implementálása • KnownErrorTicket létrehozása, dokumentálás • Lezárás

27. Demo Trac, Munin • Ticketek • Mit tartalmaz? • Terminológia • Ticket állapotváltás • Jelzés (e-mail) • Munin • Ticketek számának változása • Open / Closed / All

28. Tartalomjegyzék – kis kitérő • Probléma / motiváció • Eseménykezelés (ism.) • Incidenskezelés • Problémakezelés • Konfigurációmenedzsment (ism) • Hatásanalízis / diagnosztika • Változáskezelés • Demo

29. CMDB architektúra séma (ism) • Klasszikusconsumer – provider • CMDB központi adatház • Szabványos Interfészek • Konf. mgmt. körülöleli • Cserélhető eszközök Data Consumer Data Consumer Interface CMDB Interface Data Provider Data Provider

30. CMDB architektúra (ism) * Menedzsment Egyéb eszközök Vizuali-záció Konfigurációkezelés CMDB Monitorozás Queryinterface Beépített szenzorok IT infra-struktúra Másik DB Külső szenzorok

31. Modell (példány) sicily 10.10.10.1 DHCP, AD Server chicago 10.10.10.2 Belső web don DHCP 10.10.10.10 255.255.255.0 rome 152.66.252.250 10.10.10.254 florence DHCP vegas 10.10.10.3 Külső web naples DHCP

32. (Logikai) Infrastruktúra Modell

33. Modell vezérelt analízis és visszacsatolás (ism) Mérnöki Modell Matematikai analízis Automatizáltmodell generálás CMDB MatematikaiModell Middle- ware Modell Analízis

34. Hatásanalízis (ImpactAnalysis) • Inf. térkép a CMDB-ből: • Elemek és kapcsolataik • Pl. A függ B től • Komponens hiba kihat-e aszolgáltatásra? • Hány embert érint? • Szolgáltatás leállását melykomponens hibák okozhatják? • Tfh. ismert egyes komponensek állapota

35. Menedzsment folyamatok

36. Változás • Nem megtervezett változás következményei: • Szinkron megszűnik a valóság és a CMDB között • Nem tervezett leállások • Bevezetés nem sikeres • Késések • HotFixek

37. Változáskezelés • Változások életciklusát kezeli (meglepő) • Változások káros hatásainak kiküszöbölése • Folytonos(abb) üzletmenet biztosítása • Erőforrások hatékony kihasználása • Szisztematikus, folyamatvezérelt • CMDB szinkronban tartása • Business impact meghatározása • Scope behatárolása (érintettek értesítése, bevonása) • Incidensek elkerülése (változás miatti ~)

38. Változáskezelés – kulcsfaktorok (minden ITIL folyamatra igaz, különösen a erre) • Vállalati kultúra • Prioritások figyelembevétele • Jogosultságok, felelősségek tisztázása • Kockázatok kézben tartása

39. Változáskezelés RequestForChange Go / Nogo Implementálás koordinálása Értékelés (nem)változtatás hatása, rizikó, ütemezés Változáskezelés Lezárás Sanyi dolgozik Konfiguráció Menedzsment

40. Változáskezelés – összefoglalás • Világosan látni kell: • Ki kezdeményezte a változást? • Miért? • Mi a profit? • Rizikó? • Erőforrásigénye? • Felelősök (teszt, implementálás)? • Van kapcsolat más „objektumokkal”(?)?

41. Összefoglalás • Esemény-, incidens-, probléma-, változáskezelés • Szisztematikus folyamat • Jórészt automatizált • Service Desk által támogatott • Szakértői csapat bevonásával • CMDB-t igénybe vevő • Hatásanalízis • Diagnosztika • … • Reaktív / Proaktív