機房監(jiān)控系統(tǒng)是企業(yè)機房內(nèi)不可或缺的重要輔助工具，是機房內(nèi)各設(shè)備的守護使者。對于企業(yè)來說，了解機房監(jiān)控就是對自身機房增加一層安全保障，要想機房問題少，機房監(jiān)控少不了。

監(jiān)控目標(biāo)

我們先來了解什么是監(jiān)控，監(jiān)控的重要性以及監(jiān)控的目標(biāo)，當(dāng)然每個人所在的行業(yè)不同、公司不同、業(yè)務(wù)不同、崗位不同、對監(jiān)控的理解也不同，但是我們需要注意，監(jiān)控是需要站在公司的業(yè)務(wù)角度去考慮，而不是針對某個監(jiān)控技術(shù)的使用。

1、 對系統(tǒng)不間斷實時監(jiān)控：實際上是對系統(tǒng)不間斷的實時監(jiān)控(這就是監(jiān)控) 。

2、 實時反饋系統(tǒng)當(dāng)前狀態(tài)：我們監(jiān)控某個硬件、或者某個系統(tǒng)，都是需要能實時看到當(dāng)前系統(tǒng)的狀態(tài)，是正常、異常、或者故障。

3、 保證服務(wù)可靠性安全性：我們監(jiān)控的目的就是要保證系統(tǒng)、服務(wù)、業(yè)務(wù)正常運行。

4、 保證業(yè)務(wù)持續(xù)穩(wěn)定運行:如果我們的監(jiān)控做得很完善，即使出現(xiàn)故障，能第一時間接收到故障報警，在第一時間處理解決，從而保證業(yè)務(wù)持續(xù)性的穩(wěn)定運行。

監(jiān)控方法

既然我們了解到了監(jiān)控的重要性、以及監(jiān)控的目的，那么下面我們需要了解下監(jiān)控有哪些方法。

1、 了解監(jiān)控對象：我們要監(jiān)控的對象你是否了解呢？比如 CPU 到底是如何工作的？

2、 性能基準(zhǔn)指標(biāo)：我們要監(jiān)控這個東西的什么屬性？比如 CPU 的使用率、負載、用戶態(tài)、內(nèi)核態(tài)、上下文切換。

3、 報警閾值定義：怎么樣才算是故障，要報警呢？比如 CPU 的負載到底多少算高，用戶態(tài)、內(nèi)核態(tài)分別跑多少算高？

4、 故障處理流程：收到了故障報警，那么我們怎么處理呢？有什么更高效的處理流程嗎？

監(jiān)控核心

我們了解了監(jiān)控的方法、監(jiān)控對象、性能指標(biāo)、報警閾值定義、以及故障處理流程幾步驟，當(dāng)然我們更需要知道監(jiān)控的核心是什么？

1、 發(fā)現(xiàn)問題：當(dāng)系統(tǒng)發(fā)生故障報警，我們會收到故障報警的信息。

2、 定位問題：故障郵件一般都會寫某某主機故障、具體故障的內(nèi)容，我們需要對報警內(nèi)容進行分析，比如一臺服務(wù)器連不上:我們就需要考慮是網(wǎng)絡(luò)問題、還是負載太高導(dǎo)致長時間無法連接，又或者某開發(fā)觸發(fā)了防火墻禁止的相關(guān)策略等等，我們就需要去分析故障具體原因。

3、 解決問題：當(dāng)然我們了解到故障的原因后，就需要通過故障解決的優(yōu)先級去解決該故障。

4、 總結(jié)問題：當(dāng)我們解決完重大故障后，需要對故障原因以及防范進行總結(jié)歸納，避免以后重復(fù)出現(xiàn)。

監(jiān)控工具

一款好的監(jiān)控系統(tǒng)一定是最切合用戶使用習(xí)慣的，在眾多企業(yè)級機房監(jiān)控中選出最完美的監(jiān)控系統(tǒng)幾乎不現(xiàn)實，由于每款機房監(jiān)控系統(tǒng)都各有各的優(yōu)點，導(dǎo)致用戶在選擇上時常面臨新的挑戰(zhàn)（尤其是選擇恐懼癥患者）。

北京金恒智能CREATE機房環(huán)境及能效管理系統(tǒng)綜合應(yīng)用計算機網(wǎng)絡(luò)技術(shù)、移動通信技術(shù)、自動控制技術(shù)、新型傳感技術(shù)、數(shù)據(jù)庫技術(shù)等，面向機房動力能效、機房場地環(huán)境和機房安全保障，通過信息實時采集、數(shù)據(jù)智能分析、預(yù)警、場景化數(shù)據(jù)展現(xiàn)、移動查詢、遠程操控等手段，實現(xiàn)對機房環(huán)境的便捷、高效管理。

大家在選擇合適的機房監(jiān)控時要著重對比價格、產(chǎn)品功能以及用戶體驗等信息，尤其是用戶體驗方面。在后期的監(jiān)控運維管理工作中，監(jiān)控系統(tǒng)要做到能簡潔呈現(xiàn)絕不拖泥帶水，需要著重介紹不可一筆帶過。優(yōu)化系統(tǒng)功能，為用戶提供更優(yōu)質(zhì)的服務(wù)。

提供多種智能基線報警策略，基于趨勢提前預(yù)警，有效規(guī)避機房事故發(fā)生。

CREATE科技機房監(jiān)控系統(tǒng)支持多種數(shù)據(jù)采集方式，支持混合組網(wǎng)結(jié)構(gòu)，可以逐級靈活組網(wǎng)。系統(tǒng)容量大，可平滑擴容，數(shù)據(jù)處理能力強。

CREATE機房監(jiān)控系統(tǒng)面向業(yè)務(wù)和管理提供豐富的數(shù)據(jù)模塊和自定義功能，用戶可將不同數(shù)據(jù)模塊進行組合，建立適合本崗位的私有桌面；同時提供重點設(shè)備關(guān)注功能，使不同人員可以有針對性的對指定設(shè)備進行實時關(guān)注、跟蹤。

提供獨有的能效分析機制以及能效拓撲、電力拓撲等展現(xiàn)方式，為用戶提供PUE值和能效狀況專業(yè)視圖，實現(xiàn)實時展示與管理。

面向科技部門常規(guī)崗位和運維職能，系統(tǒng)提供針對性的工作場景（運維場景、報警場景、巡檢場景等）和數(shù)據(jù)支持，滿足客戶分類需求。

監(jiān)控流程

CREATE機房監(jiān)控系統(tǒng)為客戶提供了完整的監(jiān)控流程，確保機房內(nèi)各設(shè)備穩(wěn)定運行。

1、 數(shù)據(jù)采集： 支持SNMP、WMI、SYSLOG、AGENT、JDBC、ODBC、TELNET、SSH、PING、DNS、IPMI等各種監(jiān)控方式 。

2、 數(shù)據(jù)存儲：   CREATE機房監(jiān)控所獲得的數(shù)據(jù) 存儲在MySQL上，也可以存儲在其他數(shù)據(jù)庫服務(wù)。

3、 數(shù)據(jù)分析：系統(tǒng)提供所有監(jiān)控對象的監(jiān)控指標(biāo)、缺省閥值、報警策略等，支持系統(tǒng)快速實施和監(jiān)控調(diào)整 。

4、 數(shù)據(jù)展示：web界面 以及 移動APP 展示，提供整體 IT環(huán)境總覽，多個不同告警、監(jiān)測、配置、統(tǒng)計等功能提供多種不同視圖展示。

5、 監(jiān)控報警：可選聲、光、現(xiàn)場語音、短信、Email、電話轉(zhuǎn)移、視頻聯(lián)動、控制聯(lián)動、投大屏幕等告警，也可實現(xiàn)分類、分時段告警抑制 。

6、 報警處理： 當(dāng)接收到報警，我們需要根據(jù)故障的級別進行處理，比如 ： 重要緊急、重要不緊急等。 同時 屏蔽掉無用從屬報警，實現(xiàn)故障精準(zhǔn)定位，解決告警風(fēng)暴對運維人員的困擾。

此外CREATE機房監(jiān)控系統(tǒng)還支持shell腳本和SQL語句自定義擴展，方便用戶隨時增加監(jiān)控項。

監(jiān)控指標(biāo)

我們上面了解了監(jiān)控方法、目標(biāo)、流程、也了解了監(jiān)控工具，可能有人會疑惑，我們具體要監(jiān)控寫什么東西，那么我在這里進行了分類整理。

主要監(jiān)控內(nèi)容列舉:「 硬件監(jiān)控 」 - 「 系統(tǒng)監(jiān)控 」 - 「 應(yīng)用監(jiān)控 」 - 「 網(wǎng)絡(luò)監(jiān)控 」 - 「 流量分析 」 - 「 日志監(jiān)控 」 - 「 安全監(jiān)控」 - 「 API監(jiān)控 」 - 「 性能監(jiān)控 」 - 「 業(yè)務(wù)監(jiān)控 」。

1、 硬件監(jiān)控

早期我們通過機房巡檢的方式，查看硬件設(shè)備燈光閃爍情況判斷是否故障，這樣非常浪費人力，并且是重復(fù)性無技術(shù)含量的工作，大家懂得。

當(dāng)然我們現(xiàn)在可以通過  IPMI 對硬件詳細情況進行監(jiān)控，并對 CPU、內(nèi)存、磁盤、溫度、風(fēng)扇、電壓等設(shè)置報警設(shè)置報警閾值(自行對監(jiān)控報警內(nèi)容編寫合理的報警范圍)。

2、 系統(tǒng)監(jiān)控

中小型企業(yè)基本全是 Linux 服務(wù)器，那么我們肯定是要監(jiān)控起系統(tǒng)資源的使用情況，系統(tǒng)監(jiān)控是監(jiān)控體系的基礎(chǔ)。

— CPU

CPU 有幾個重要的概念：上下文切換、運行隊列和使用率。這也是我們CPU監(jiān)控的幾個重點指標(biāo)。通常情況，每個處理器的運行隊列不要高于 3，CPU 利用率中 “用戶態(tài)/內(nèi)核態(tài)” 比例維持在 70/30，空閑狀態(tài)維持在 50%，上下文切換要根據(jù)系統(tǒng)繁忙程度來綜合考量。針對 CPU 常用的工具有：htop、top、vmstat、mpstat、dstat、glances 等。

— 內(nèi)存

通常我們需要監(jiān)控內(nèi)存的使用率、SWAP 使用率、同時可以通過 Zabbix 描繪內(nèi)存使用率的曲線圖形發(fā)現(xiàn)某服務(wù)內(nèi)存溢出等。針對內(nèi)存常用的工具有: free、top、vmstat、glances 等。

— IO

IO 分為磁盤 IO 和網(wǎng)絡(luò) IO 。除了在做性能調(diào)優(yōu)我們要監(jiān)控更詳細的數(shù)據(jù)外，那么日常監(jiān)控，只關(guān)注磁盤使用率、磁盤吞吐量、磁盤寫入繁忙程度，網(wǎng)絡(luò)也是監(jiān)控網(wǎng)卡流量即可。常用工具有 ： iostat、iotop、df、iftop、sar、glances 等。

3、 應(yīng)用監(jiān)控

把硬件監(jiān)控和系統(tǒng)監(jiān)控研究明白后，我們進一步操作是需要登陸到服務(wù)器上查看服務(wù)器運行了哪些服務(wù)，都需要監(jiān)控起來。

應(yīng)用服務(wù)監(jiān)控也是監(jiān)控體系中比較重要的內(nèi)容，例如：LVS、Haproxy、Docker、Nginx、PHP、Memcached、Redis、MySQL、Rabbitmq等等，相關(guān)的服務(wù)都需要監(jiān)控起來。

4、 網(wǎng)絡(luò)監(jiān)控

網(wǎng)絡(luò)監(jiān)控是我們構(gòu)建監(jiān)控平臺是必須要考慮的，尤其是針對有多個機房的場景，各個機房之間的網(wǎng)絡(luò)狀態(tài)，機房和全國各地的網(wǎng)絡(luò)狀態(tài)都是我們需要重點關(guān)注的對象，那么如何掌握這些狀態(tài)信息呢？我們需要借助于網(wǎng)絡(luò)監(jiān)控工具 Smokeping。

Smokeping 是 RRDTool 的作者 Tobi Oetiker 的作品，是用 Perl 寫的，主要是監(jiān)視網(wǎng)絡(luò)性能，WWW 服務(wù)器性能，DNS 查詢性能等，使用 RRDTool 繪圖，而且支持分布式，直接從多個 Agent 進行數(shù)據(jù)的匯總。

5、 流量分析

網(wǎng)站流量分析對于運維人員來說，更是一門必須掌握的知識了。比如對于一家電商公司來說：通過對訂單來源的統(tǒng)計和分析，可以了解我們在某個網(wǎng)站上的廣告投入有沒有收到預(yù)期的效果?？梢詤^(qū)分不同地區(qū)的訪問人數(shù)、甚至商品交易額等。百度統(tǒng)計、Google分析、站長工具等等，只需要在頁面嵌入一個js即可。但是，數(shù)據(jù)始終是在對方手中，個性化定制不方便，于是 Google 出一個叫 PiWik 的開源分析工具。

6、 日志監(jiān)控

通常情況下，隨著系統(tǒng)的運行，操作系統(tǒng)會產(chǎn)生系統(tǒng)日志。應(yīng)用程序會產(chǎn)生應(yīng)用程序的訪問日志、錯誤日志、運行日志、網(wǎng)絡(luò)日志，我們可以使用 ELK 來進行日志監(jiān)控。

對于日志監(jiān)控來說，最見的需求就是收集、存儲、查詢、展示，開源社區(qū)正好有相對應(yīng)的開源項目：logstash（收集）+ elasticsearch（存儲+搜索）+ kibana（展示）。

我們將這三個組合起來的技術(shù)稱之為 ELK Stack，所以說 ELK Stack指的是Elasticsearch、Logstash、Kibana 技術(shù)棧的結(jié)合。

如果收集了日志信息，那么如果部署更新有異常出現(xiàn)，可以立即在 Kibana上看到。

7、 安全監(jiān)控

雖然 Linux 開源的安全產(chǎn)品不少，比如：四層 Iptables，七層 WEB 防護Nginx+Lua實現(xiàn)的 WAF，最后將相關(guān)的日志都收至 ELK Stack，通過圖形化進行不同的攻擊類型展示。但是始終是一件比較耗費時間，并且個人效果并不是很好。這個時候我們可以選擇接入第三方服務(wù)廠商。

三方廠商提供全面的漏洞庫，涵蓋服務(wù)、后門、數(shù)據(jù)庫、配置檢測、CGI、SMTP 等多種類型全面檢測主機、Web 應(yīng)用漏洞自主挖掘和行業(yè)共享相結(jié)合第一時間更新 0day 漏洞，杜絕最新安全隱患。

8、 API 監(jiān)控

由于 API 變得越來越重要，很顯然我們也需要這樣的數(shù)據(jù)來分辨我們提供的 API 是否能夠正常運作。監(jiān)控API接口 GET、POST、PUT、DELETE、HEAD、OPTIONS 的請求可用性、正確性、響應(yīng)時間為三大重性能指標(biāo)。

9、 性能監(jiān)控

全面監(jiān)控網(wǎng)頁性能，DNS 響應(yīng)時間、HTTP 建立連接時間、頁面性能指數(shù)、響應(yīng)時間、可用率、元素大小等。

10、 業(yè)務(wù)監(jiān)控

沒有業(yè)務(wù)指標(biāo)監(jiān)控的監(jiān)控平臺，不是一個完善的監(jiān)控平臺，通常在我們的監(jiān)控系統(tǒng)中，必須將我們重要的業(yè)務(wù)指標(biāo)進行監(jiān)控，并設(shè)置閾值進行告警通知。

監(jiān)控報警

故障報警通知的方式有很多種，當(dāng)然我們最常用的還是短信，郵件。

報警處理

一般報警后我們故障如何處理呢？首先，我們可以通過告警升級機制先自動處理，比如Nginx服務(wù)Down了，可以設(shè)置告警升級自動啟動Nginx。

但是如果一般業(yè)務(wù)出現(xiàn)了嚴(yán)重故障，我們通常根據(jù)故障的級別，故障的業(yè)務(wù)，來指派不同的運維人員進行處理。

當(dāng)然不同業(yè)務(wù)形態(tài)、不同架構(gòu)、不同服務(wù)可能采用的方式都不同，這個沒有一個固定的模式套用。

來源：機房動力環(huán)境監(jiān)控系統(tǒng) http://m.dvdvideogroup.com   本文采集于網(wǎng)絡(luò)，如有問題有聯(lián)系刪除