億級數(shù)據(jù)、千條告警秒級處理！浪潮信息InManage智能管理10萬+IT設(shè)備

北京2024年10月21日 /美通社/ -- 隨著數(shù)字化和智慧化的加速落地，數(shù)據(jù)中心的設(shè)備規(guī)模快速攀升。數(shù)據(jù)中心的Scale out給基礎(chǔ)設(shè)施運(yùn)維管理帶來全新挑戰(zhàn)。以擁有10萬+設(shè)備的大規(guī)模數(shù)據(jù)中心為例，面對每日產(chǎn)生高達(dá)近30TB的設(shè)備運(yùn)行狀態(tài)、億級監(jiān)控指標(biāo)、數(shù)千條告警推送等，如何秒級反饋海量并發(fā)需求，保證管理平臺穩(wěn)定運(yùn)行？如何避免將每秒近千條的大規(guī)模設(shè)備告警風(fēng)暴強(qiáng)塞給客戶，進(jìn)行根因定位并避免誤報、漏報？這些挑戰(zhàn)正伴隨服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備規(guī)模的持續(xù)增長，成為超大規(guī)模數(shù)據(jù)中心管理亟待解決的難題。

浪潮信息InManage是一款面向數(shù)據(jù)中心基礎(chǔ)設(shè)施的智能管理平臺，通過統(tǒng)一接口、協(xié)議，能夠納管多達(dá)400種不同廠商、不同型號的服務(wù)器、存儲、網(wǎng)絡(luò)等機(jī)型，設(shè)備規(guī)模最多可達(dá)10萬臺，為超大規(guī)模數(shù)據(jù)中心運(yùn)維提供智能均衡調(diào)度、實(shí)時精準(zhǔn)告警等管理功能。浪潮信息InManage通過智能均衡作業(yè)調(diào)度平臺，能夠在秒級內(nèi)處理超大規(guī)模數(shù)據(jù)中心億級實(shí)時并發(fā)運(yùn)維管理數(shù)據(jù)，并基于自研的告警管理框架，實(shí)現(xiàn)5秒內(nèi)響應(yīng)上千條告警風(fēng)暴，顯著降低告警誤報與漏報的風(fēng)險。InManage不僅創(chuàng)造了金融行業(yè)單一數(shù)據(jù)中心帶外管理的最大紀(jì)錄，還實(shí)現(xiàn)了數(shù)據(jù)中心基礎(chǔ)設(shè)施全生命周期管理，整體運(yùn)維效率提升兩倍，為超大規(guī)模數(shù)據(jù)中心的穩(wěn)定、高效運(yùn)行奠定了重要基礎(chǔ)。

10萬+超大規(guī)模設(shè)備集群管理，面臨穩(wěn)定性與實(shí)時性多重挑戰(zhàn)

隨著數(shù)據(jù)中心的規(guī)?；l(fā)展，服務(wù)器數(shù)量爆發(fā)式增長，數(shù)據(jù)中心設(shè)備規(guī)模從最初的1000臺增加到10萬臺，規(guī)模擴(kuò)大了100倍，涵蓋了不同年代和廠商的服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備等，設(shè)備種類多，內(nèi)存、電源、硬盤、風(fēng)扇等各類故障發(fā)生的不確定性大。對于不同設(shè)備的統(tǒng)一管理，一般運(yùn)維管理平臺會在底層屏蔽設(shè)備差異，基于基線策略來實(shí)現(xiàn)納管。但隨著數(shù)據(jù)中心規(guī)模的驟增，數(shù)據(jù)中心運(yùn)維管理的穩(wěn)定性和故障的實(shí)時精準(zhǔn)告警等挑戰(zhàn)變得日益嚴(yán)苛。

首要面對的挑戰(zhàn)是大規(guī)模數(shù)據(jù)中心基礎(chǔ)設(shè)施管理平臺的失穩(wěn)問題。大規(guī)?；A(chǔ)設(shè)施管理要對不同基礎(chǔ)設(shè)施運(yùn)行狀態(tài)進(jìn)行實(shí)時分析，每天數(shù)據(jù)量達(dá)到TB級，而且海量并發(fā)需求要在秒級反饋，極易出現(xiàn)故障上報不及時、頁面卡頓，甚至管理平臺宕機(jī)。比如以往某客戶數(shù)據(jù)中心管理平臺進(jìn)行運(yùn)維測試時，基礎(chǔ)設(shè)施規(guī)模從1000臺增長到5000臺，規(guī)模提升到原來的5倍，會出現(xiàn)管理頁面卡頓，后臺日志顯示大量采集任務(wù)超時的問題。即使后續(xù)對管理平臺進(jìn)行分布式部署，系統(tǒng)負(fù)載依然出現(xiàn)較明顯的峰值抖動現(xiàn)象，導(dǎo)致頁面周期性卡頓。其原因主要是作業(yè)被調(diào)度后，缺乏有效的離散管理，高峰與低谷負(fù)載不均，對系統(tǒng)穩(wěn)定性帶來極大的挑戰(zhàn)。此外，對于海量資源的數(shù)據(jù)采集任務(wù)，會受線程數(shù)、采集周期和耗時等因素影響，容易造成任務(wù)積壓，對管理平臺異常情況下的任務(wù)隔離與自動降頻能力提出更高要求。

此外，設(shè)備大規(guī)模告警的延遲、誤報和漏報是另一大挑戰(zhàn)。在10萬+大規(guī)模設(shè)備運(yùn)維場景中，一般金融等行業(yè)的客戶數(shù)據(jù)中心管理平臺通常以平鋪直敘方式呈現(xiàn)設(shè)備告警，缺乏更深層的故障根因判斷、全周期管理等能力。在此場景下，一旦服務(wù)器BMC在批量刷新固件時出現(xiàn)故障，可能會在短時間內(nèi)產(chǎn)生大量的Trap推送，同時還夾雜著設(shè)備離線等一系列異常告警。數(shù)千條告警的推送，易造成通信堵塞，從而出現(xiàn)告警延遲、告警丟失等。當(dāng)客戶看到堆積數(shù)千條告警郵件通知時，極易導(dǎo)致客戶誤認(rèn)為系統(tǒng)正面臨重大故障風(fēng)險。而且由于沒有全周期管理機(jī)制，即便設(shè)備故障修復(fù)，告警信息仍會持續(xù)存在，這也大大增加了運(yùn)維管理的復(fù)雜性。

智能均衡作業(yè)調(diào)度，10萬+超大規(guī)模設(shè)備億級指標(biāo)穩(wěn)定采集

在超大規(guī)模監(jiān)控場景下，作業(yè)調(diào)度不暢極易造成作業(yè)堆積、負(fù)載波峰波谷抖動，嚴(yán)重影響系統(tǒng)穩(wěn)定性，進(jìn)而影響采集進(jìn)度。為此，浪潮信息InManage自研了ChaosJob作業(yè)調(diào)度中間件，突破了作業(yè)智能均衡調(diào)度技術(shù)，實(shí)現(xiàn)了采集作業(yè)的高效調(diào)度和穩(wěn)定執(zhí)行。

•  在作業(yè)調(diào)度層面，InManage自研的任務(wù)調(diào)度中間件采用了靈活的作業(yè)分片與調(diào)度策略，能夠基于客戶的業(yè)務(wù)場景，對不同類型設(shè)備、不同協(xié)議類型的采集任務(wù)進(jìn)行可高度自定義的細(xì)粒度分片。通過基于延遲隊列+漏桶算法的"Job Capping"技術(shù)，實(shí)現(xiàn)任務(wù)分片的均衡下發(fā)，有效平抑系統(tǒng)負(fù)載波動，達(dá)到削峰填谷的目標(biāo)。
•  在任務(wù)執(zhí)行層面，針對超大規(guī)模數(shù)據(jù)采集這種IO密集型的任務(wù)，InManage突破線程優(yōu)先線程池技術(shù)，運(yùn)用"作業(yè)智能聚合"機(jī)制，將計算密集型任務(wù)與IO密集型任務(wù)進(jìn)行智能調(diào)度與聚合，從而加速任務(wù)執(zhí)行，提升系統(tǒng)整體吞吐量，實(shí)現(xiàn)任務(wù)處理的更高效與平穩(wěn)性。
•  任務(wù)堆積防控層面，InManage的任務(wù)調(diào)度中間件具有異常任務(wù)自動識別與隔離功能，通過靈活的限流與隔離技術(shù)，確保任務(wù)"零堆積"，同時保持系統(tǒng)整體吞吐量不受影響。例如，大規(guī)模數(shù)據(jù)中心可能存在多廠商、多型號的異構(gòu)設(shè)備，有些老舊設(shè)備接口響應(yīng)緩慢，采集耗時長，而這些設(shè)備往往不運(yùn)行核心業(yè)務(wù)，雖然不受重視，又不能遺棄。在此場景下，InManage能夠智能識別這些設(shè)備的異常表現(xiàn)，主動將相關(guān)采集任務(wù)進(jìn)行隔離與降頻處理，優(yōu)先保障其他關(guān)鍵任務(wù)的正常執(zhí)行。這一過程完全自動化，無需客戶干預(yù)，成功應(yīng)對了10萬規(guī)模管理場景下新舊設(shè)備混雜帶來的管理挑戰(zhàn)。

告警管道動態(tài)分析，1000+告警動秒級實(shí)時精準(zhǔn)響應(yīng)

在面對10萬+超大規(guī)模設(shè)備管理時，如何避免將系統(tǒng)產(chǎn)生的告警風(fēng)暴強(qiáng)塞給客戶，如何進(jìn)行根因定位并避免誤報、漏報，是數(shù)據(jù)中心統(tǒng)一管理的另一挑戰(zhàn)。為此，InManage提出了CDCAlarm告警管理框架，突破了告警集成管理技術(shù)，實(shí)現(xiàn)了告警的及時性、準(zhǔn)確性和全面性，同時支持告警分析、聚合及根因分析等功能。該框架能夠為客戶呈現(xiàn)按優(yōu)先級排序和分類聚合的告警，直觀易懂、方便用戶進(jìn)一步處理。

InManage使用AI技術(shù)手段對告警進(jìn)行分類、分批處理，實(shí)現(xiàn)告警按來源、種類的歸并聚合策略，在保證告警時序性的同時，提升了告警處理的整體吞吐量。同時使用基于AI的根因定位方法，快速從告警風(fēng)暴中準(zhǔn)確識別出故障根因，并呈現(xiàn)給客戶，有效解決了客戶在面對告警風(fēng)暴時無從入手的局面。

同時，針對超大規(guī)模監(jiān)控場景下常見的誤報漏報等告警不準(zhǔn)確、不及時問題，InManage也做了優(yōu)化。

秒告警秒恢復(fù)問題：在10萬+設(shè)備的管理中，某些設(shè)備可能在發(fā)出告警的同時又快速發(fā)出了恢復(fù)信號，甚至可能出現(xiàn)恢復(fù)信息先于告警到達(dá)。在此場景下，傳統(tǒng)系統(tǒng)容易誤判為告警未恢復(fù)，從而導(dǎo)致誤報。InManage的智能告警歸并技術(shù)能夠有效識別和規(guī)避此類時序問題，確保告警處理的準(zhǔn)確性。

告警噪點(diǎn)問題：在資源利用率實(shí)時采集場景下，短暫的峰值可能導(dǎo)致瞬時超閾值的告警，但整體使用率卻保持平穩(wěn)。為避免因這些噪點(diǎn)導(dǎo)致的誤報，InManage的告警管道采用了智能識別和計數(shù)技術(shù)，能夠?qū)Χ虝r間內(nèi)的同類告警進(jìn)行聚合處理，從而徹底消除此類誤報。

告警遺漏問題：在大規(guī)模數(shù)據(jù)中心中，由于網(wǎng)絡(luò)負(fù)載高，SNMP協(xié)議中的Trap信息（基于不可靠的UDP傳輸）更容易丟失。為解決這一問題，InManage提出了融合多種協(xié)議和多源數(shù)據(jù)的AI智能預(yù)警技術(shù)，該技術(shù)可提供全天候的設(shè)備實(shí)時監(jiān)控和故障分析，有效降低了告警遺漏的風(fēng)險，減少客戶業(yè)務(wù)隱患。

穩(wěn)定、快速和高效的超大規(guī)模監(jiān)控

在10萬+大規(guī)模設(shè)備管理環(huán)境中，InManage系統(tǒng)表現(xiàn)出了穩(wěn)定的性能與高效的運(yùn)作能力，確保了數(shù)據(jù)采集任務(wù)得以平穩(wěn)且迅速地執(zhí)行，顯著增強(qiáng)了系統(tǒng)的整體處理能力，有效規(guī)避了任務(wù)積壓問題。面對每日高達(dá)近30TB的服務(wù)器運(yùn)行狀態(tài)數(shù)據(jù)洪流，InManage每秒可處理高達(dá)1000條的告警風(fēng)暴，響應(yīng)延遲維持5秒以內(nèi)，保證了系統(tǒng)監(jiān)控的實(shí)時性與準(zhǔn)確性。

此外，InManage還具備對歷史數(shù)據(jù)進(jìn)行高效壓縮與無縫轉(zhuǎn)儲的能力，在保障當(dāng)前系統(tǒng)流暢運(yùn)行的同時，確保了歷史數(shù)據(jù)的完整性與可訪問性，有效避免了數(shù)據(jù)丟失的風(fēng)險。在如此龐大的規(guī)模下，InManage仍能快速查詢一年內(nèi)的歷史告警或事件通知，響應(yīng)時間縮短至2秒以內(nèi)，為客戶提供了強(qiáng)大的歷史問題追溯能力，確保問題根源得以迅速定位，為系統(tǒng)的長期穩(wěn)定運(yùn)行提供了堅實(shí)保障。

InManage滿足了客戶對于大規(guī)模、多元化、多類型設(shè)備的統(tǒng)一帶外管理，確保了數(shù)據(jù)的穩(wěn)定采集及告警集中高效監(jiān)控，同時還具備基礎(chǔ)設(shè)施全生命周期資產(chǎn)管理、自動化部署管理等能力。其大規(guī)模統(tǒng)一帶外管理技術(shù)、告警智能化分析技術(shù)水平處于國內(nèi)領(lǐng)先水平，授權(quán)國家發(fā)明專利超過20項。未來，InManage也將更加關(guān)注客戶需求的變化，不斷優(yōu)化產(chǎn)品和服務(wù)，為客戶提供更加全面、高效、智能的解決方案，助力客戶實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)升級。