十億級數(shù)據(jù)讀寫毫秒級時(shí)延 浪潮領(lǐng)銜打造智慧交通大數(shù)據(jù)解決方案

北京2020年10月23日 /美通社/ -- 隨著城市化進(jìn)程加快，經(jīng)濟(jì)和社會活動日益頻繁，城市交通在人、車、路、環(huán)境等方面面臨資源失衡、行車難、停車難、擁堵頻發(fā)等問題，亟需城市交通管理者找到適合的疏解方案。

作為智慧交通領(lǐng)域先行者，浪潮合作伙伴易華錄以數(shù)據(jù)湖為主體，發(fā)展大交通，致力于為客戶提供智慧大數(shù)據(jù)解決方案，建設(shè)城市數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施，努力降低全社會長期保存數(shù)據(jù)的能耗和成本，構(gòu)建數(shù)字孿生城市，實(shí)現(xiàn)數(shù)字永生。

智慧交通系統(tǒng)面臨海量數(shù)據(jù)快速讀寫挑戰(zhàn)

在智慧交通大數(shù)據(jù)業(yè)務(wù)中，智慧交通系統(tǒng)對各類違法車輛進(jìn)行實(shí)時(shí)監(jiān)控抓拍，快速智能識別各種違法行為，并第一時(shí)間通知一線民警對違法車輛進(jìn)行攔截以及現(xiàn)場處罰，能夠有效監(jiān)督和消除車輛違法行為，凈化交通環(huán)境。

在易華錄智慧交通業(yè)務(wù)中，廣泛使用Redis集群緩存配置下發(fā)及中間結(jié)果數(shù)據(jù)，系統(tǒng)對于Redis讀寫并發(fā)性、實(shí)時(shí)性以及數(shù)據(jù)持久化要求都較高。Redis是一個(gè)高效的key-value內(nèi)存數(shù)據(jù)庫，基于其高并發(fā)下較高的數(shù)據(jù)查詢效率，是易華錄智慧交通大數(shù)據(jù)平臺中不可缺少的組件。

圖一為典型的智慧交通業(yè)務(wù)，系統(tǒng)采集海量的設(shè)備、下級平臺及視頻結(jié)構(gòu)化產(chǎn)生的車輛及人像特征數(shù)據(jù)，經(jīng)ETL清洗轉(zhuǎn)換，借助Spark流計(jì)算框架，與Redis中緩存的黑白名單數(shù)據(jù)按照空間、時(shí)間及其它邏輯規(guī)則，進(jìn)行比對產(chǎn)生各類告警數(shù)據(jù)。該業(yè)務(wù)場景下面臨的主要挑戰(zhàn)為：

• 作為流計(jì)算的支撐外部數(shù)據(jù)源，Redis集群中緩存大量的黑白名單配置數(shù)據(jù)及中間計(jì)算結(jié)果，單位時(shí)間讀寫并發(fā)數(shù)較高，該操作需要低延時(shí)，其中緩存數(shù)據(jù)規(guī)模在數(shù)十億級別，客戶要求讀寫時(shí)延在毫秒級；
• Redis中緩存了業(yè)務(wù)計(jì)數(shù)等中間計(jì)算結(jié)果，這些數(shù)據(jù)通常以分鐘/小時(shí)粒度周期性同步至關(guān)系型及MPP數(shù)據(jù)庫中，因此緩存數(shù)據(jù)需持久化到硬盤中，防止因集群故障、斷電等異常情況，導(dǎo)致數(shù)據(jù)無法恢復(fù)。同時(shí)，因?yàn)樯婕暗浇还芎诵臉I(yè)務(wù)，當(dāng)系統(tǒng)異常情況產(chǎn)生后，迫切需要快速恢復(fù)集群，并確保異常前后數(shù)據(jù)一致性，其中數(shù)據(jù)持久化存儲和性能是一個(gè)亟需解決的問題。

智慧交通大數(shù)據(jù)解決方案實(shí)現(xiàn)高吞吐率、低延時(shí)、高耐用

浪潮與易華錄聯(lián)合推出Redis解決方案，以易華錄交通大數(shù)據(jù)平臺為高效數(shù)據(jù)處理平臺，面向城市數(shù)據(jù)湖、新型智慧城市業(yè)務(wù)、政府及企業(yè)用戶提供更高效、更低成本的智慧交通大數(shù)據(jù)解決方案。

相較于傳統(tǒng)DRAM方案，新方案提供了行業(yè)領(lǐng)先的高吞吐率、低延時(shí)、高服務(wù)質(zhì)量和超高的耐用性，新增內(nèi)存擴(kuò)展打破服務(wù)器內(nèi)存容量限制而優(yōu)化，單機(jī)內(nèi)存容量可以擴(kuò)展1.5TB，較之前的單機(jī)內(nèi)存容量大幅提升200%。

同時(shí)，易華錄還實(shí)施了多種調(diào)優(yōu)方案。首先在數(shù)據(jù)讀取場景中，通過采用非一致內(nèi)存訪問節(jié)點(diǎn)綁定的方式（NUMA進(jìn)程綁定），避免內(nèi)存在進(jìn)行數(shù)據(jù)存取時(shí)，在不同的NUMA節(jié)點(diǎn)間切換，以實(shí)現(xiàn)更好的讀寫性能。

其次，新設(shè)計(jì)的Redis服務(wù)獲得秒級的故障恢復(fù)速度，與之前分鐘級的恢復(fù)速度相比，提升達(dá)幾十倍之多。而且還能幫助易華錄交通大數(shù)據(jù)平臺的TCO 降低30%。

測試結(jié)果顯示新方案吞吐能力可提升200倍

為了驗(yàn)證新方案的應(yīng)用優(yōu)勢，浪潮與易華錄共同圍繞Redis數(shù)據(jù)庫的常規(guī)操作以及用戶最關(guān)心的業(yè)務(wù)性能指標(biāo)進(jìn)行了測試。測試使用了benchmark工具，選取SET、GET等10余條Redis數(shù)據(jù)庫常用命令，全面覆蓋Redis五種數(shù)據(jù)結(jié)構(gòu)，每個(gè)操作執(zhí)行 32次并發(fā)，共640萬次的性能測試。測試結(jié)果顯示新方案在總吞吐能力和延遲上相較于傳統(tǒng)的DRAM方案性能有100~200倍的性能提升。

該方案能夠有效支撐城市數(shù)據(jù)湖中海量數(shù)據(jù)采集、加工、治理、建模各環(huán)節(jié)對Redis持久化、高效讀寫等共性需求，與易華錄城市大腦、葫蘆APP、交通大腦等核心業(yè)務(wù)存在廣泛的契合點(diǎn)，幫助易華錄解決智慧交通大數(shù)據(jù)平臺系統(tǒng)中面臨的Redis難題。