omniture

文思海輝-金融為大數(shù)據(jù)時代海量冷數(shù)據(jù)存儲創(chuàng)新解決方案

2017-12-22 12:22 15358
文思海輝-金融基于業(yè)界先進的Hadoop技術(shù)框架,利用其分布式存儲和計算能力,構(gòu)建了大數(shù)據(jù)環(huán)境下的新一代海量歷史數(shù)據(jù)存儲平臺。

北京2017年12月22日電 /美通社/ -- 近年來,銀行業(yè)務(wù)發(fā)展對信息科技的依賴程度日益增加,為滿足不斷增長的業(yè)務(wù)規(guī)模與不斷發(fā)展變化的業(yè)務(wù)需求,各商業(yè)銀行持續(xù)加大業(yè)務(wù)系統(tǒng)的建設(shè)與改造力度,逐步實現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的總行集中管理。但是,數(shù)據(jù)統(tǒng)一處理同時也造成了數(shù)據(jù)量的急劇膨脹,給數(shù)據(jù)的管理和維護帶來諸多問題。

大數(shù)據(jù)時代海量冷數(shù)據(jù)如何存儲?文思海輝·金融基于業(yè)界先進的Hadoop技術(shù)框架,利用其分布式存儲和計算能力,構(gòu)建了大數(shù)據(jù)環(huán)境下的新一代海量歷史數(shù)據(jù)存儲平臺。通過歷史數(shù)據(jù)平臺的建設(shè),為業(yè)務(wù)人員提供更長時間段的歷史數(shù)據(jù)在線服務(wù),快速對接上層多種主流的數(shù)據(jù)挖掘、數(shù)據(jù)分析及可視化產(chǎn)品,如:SAS、R Studio、Tableau、SmartBI、D3JS等,深度開發(fā)歷史數(shù)據(jù),創(chuàng)造全新的商業(yè)價值。

該平臺全方位覆蓋銀行企業(yè)內(nèi)外部、多樣異構(gòu)的海量數(shù)據(jù)存儲,提供歷史數(shù)據(jù)快速檢索查詢功能,提高公檢法、非現(xiàn)場審計等應(yīng)用的查詢效率,支持長時間跨度歷史數(shù)據(jù)的高性能查詢,最終實現(xiàn)“核心減負”。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺主要提供兩類數(shù)據(jù)服務(wù),包括歷史數(shù)據(jù)查詢類服務(wù)及歷史數(shù)據(jù)接口類服務(wù)。

歷史數(shù)據(jù)查詢類服務(wù):

以HBASE為存儲,以銀行內(nèi)部ESB總線為信息載體,實現(xiàn)柜面終端歷史數(shù)據(jù)查詢服務(wù);以通用JDBC數(shù)據(jù)驅(qū)動,訪問HADOOP中的HIVE數(shù)據(jù),實現(xiàn)WEB界面的人機交互;以WEB界面發(fā)起查詢,訪問HBASE中的加工結(jié)果,將數(shù)據(jù)查詢展示給業(yè)務(wù)查詢?nèi)藛T,并提供分頁展示和數(shù)據(jù)接口下載。

歷史數(shù)據(jù)接口類服務(wù):

數(shù)據(jù)接口服務(wù)重點針對非日常特殊數(shù)據(jù)接口需求,以及系統(tǒng)測試或系統(tǒng)新上線對歷史數(shù)據(jù)初始化的需求。

文思海輝·金融海量歷史數(shù)據(jù)平臺總體架構(gòu)如下:

文思海輝-金融為大數(shù)據(jù)時代海量冷數(shù)據(jù)存儲創(chuàng)新解決方案
文思海輝-金融為大數(shù)據(jù)時代海量冷數(shù)據(jù)存儲創(chuàng)新解決方案

該系統(tǒng)主要功能包括:

  • 全量數(shù)據(jù)存儲(實現(xiàn)離線數(shù)據(jù)全量匯總?cè)霂?,提供統(tǒng)一格式存儲);
  • 統(tǒng)一格式查詢(形成統(tǒng)一的數(shù)據(jù)資源查詢接口,支持多種格式數(shù)據(jù)查詢);
  • 模型化數(shù)據(jù)分析(針對特定業(yè)務(wù)場景,提煉分析模型,實現(xiàn)預(yù)加工、預(yù)處理相關(guān)全量數(shù)據(jù),并輸出分析結(jié)果)。

系統(tǒng)關(guān)鍵業(yè)務(wù)價值體現(xiàn)在:

  • 提供海量數(shù)據(jù)存儲管理服務(wù);
  • 提供跨長時間段數(shù)據(jù)查詢服務(wù);
  • 統(tǒng)一客戶體驗(統(tǒng)一存儲管理、統(tǒng)一數(shù)據(jù)格式、集中數(shù)據(jù)服務(wù));
  • 多種查詢方式(支持單筆或批量查詢);
  • 數(shù)據(jù)服務(wù)低延時、高可用。

文思海輝·金融歷史數(shù)據(jù)平臺方案創(chuàng)新點在于幫助銀行企業(yè)實現(xiàn)歷史數(shù)據(jù)線上化,提高業(yè)務(wù)辦理效率,提升客戶服務(wù)質(zhì)量,滿足未來增量交易數(shù)據(jù)的持續(xù)沉淀。具有低成本、高效率、易擴展三大特點,有效解決了海量數(shù)據(jù)存儲及利用問題,降低數(shù)據(jù)存儲的整體擁有成本(TcO),提高整體系統(tǒng)性能,提高數(shù)據(jù)存儲靈活性。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺未來還將實現(xiàn):

  • 自動化數(shù)據(jù)分級存儲技術(shù)

根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時間、容量、性能等指標,將數(shù)據(jù)采取不同的存儲方式分別存儲在不同性能的存儲設(shè)備上,通過分級存儲管理實現(xiàn)數(shù)據(jù)客體在存儲設(shè)備之間的自動遷移。

  • 實現(xiàn)數(shù)據(jù)分級管理機制

參考數(shù)據(jù)分類和數(shù)據(jù)價值模型,按照數(shù)據(jù)分類和數(shù)據(jù)價值,建立數(shù)據(jù)分級存儲管理機制,旨在將業(yè)務(wù)數(shù)據(jù)按照數(shù)據(jù)分類和數(shù)據(jù)價值級別存儲到相應(yīng)級別的存儲設(shè)備,實現(xiàn)數(shù)據(jù)的分級分層存儲和管理。

  • 完善海量數(shù)據(jù)生命周期管理策略和流程

通過數(shù)據(jù)分級機制,建立銀行數(shù)據(jù)存儲服務(wù)目錄,為業(yè)務(wù)系統(tǒng)和數(shù)據(jù)提供不同級別的存儲服務(wù)。

通過存儲服務(wù)目錄和數(shù)據(jù)分級管理模型的映射,為不同級別的業(yè)務(wù)數(shù)據(jù)創(chuàng)建相應(yīng)的數(shù)據(jù)生命周期管理策略和流程,實現(xiàn)業(yè)務(wù)數(shù)據(jù)生命周期各個階段在不同級別存儲設(shè)備間的自動遷移直至回收,并實現(xiàn)業(yè)務(wù)數(shù)據(jù)在生命周期的各個階段的不同級別的存儲服務(wù)。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺通過對數(shù)據(jù)的存儲、處理、建模、查詢、分析的方式,幫助企業(yè)制定完善的歷史數(shù)據(jù)歸檔管理機制,制定統(tǒng)一的歷史數(shù)據(jù)保存策略,構(gòu)建全行集中統(tǒng)一的歷史數(shù)據(jù)處理平臺。

消息來源:文思海輝
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection