青云QingCloud推出Hadoop集群服務(wù) 完善大數(shù)據(jù)平臺

北京2015年12月22日電 /美通社/ -- 企業(yè)級基礎(chǔ)云服務(wù)商青云QingCloud（www.qingcloud.com ）日前宣布，基于Hadoop的大數(shù)據(jù)集群服務(wù)現(xiàn)已正式推出。該服務(wù)包括三大核心組件，即HDFS分布式文件系統(tǒng)、YARN任務(wù)調(diào)度和集群資源管理系統(tǒng)，以及MapReduce并行計算系統(tǒng)。通過QingCloud Hadoop集群服務(wù)，用戶能夠在2-3分鐘內(nèi)創(chuàng)建一個Hadoop集群，并且可以進行橫向和縱向的在線伸縮，極大地降低了Hadoop平臺的技術(shù)門檻。

青云QingCloud推出Hadoop集群服務(wù)

Hadoop是一個針對海量大數(shù)據(jù)進行存儲和處理的分布式開源平臺，在大數(shù)據(jù)領(lǐng)域的應用極為廣泛。它使用簡潔的MapReduce編程模型分布式處理跨集群的大型數(shù)據(jù)集，集群規(guī)?？梢詳U展到幾千甚至上萬。QingCloud Hadoop集群服務(wù)采用Master/Slave架構(gòu)，由三種節(jié)點類型構(gòu)成，即主節(jié)點（YARN Resource Manager和HDFS Name Node）、從節(jié)點（YARN Node Manager和HDFS Data Node），以及客戶端節(jié)點（Hadoop Client Node）。用戶在客戶端節(jié)點發(fā)起MapReduce任務(wù)，通過與HDFS和YARN集群中各節(jié)點的交互存取文件、執(zhí)行MapReduce任務(wù)，最終獲取結(jié)果。

青云QingCloud Hadoop集群架構(gòu)圖

早在2015年8月，青云QingCloud就已推出基于Spark的大數(shù)據(jù)集群服務(wù)，此次Hadoop集群服務(wù)的上線是對QingCloud大數(shù)據(jù)基礎(chǔ)平臺的有力補充。Hadoop和Spark各有千秋，Hadoop適用于更大規(guī)模的離線數(shù)據(jù)處理，且對系統(tǒng)故障具備天然的抵抗力；Spark更適合做快速的實時數(shù)據(jù)分析。因此，用戶可以根據(jù)應用場景的不同，選擇靈活的大數(shù)據(jù)解決方案。

具體而言，青云QingCloud Hadoop集群服務(wù)具有以下特性：

• 一鍵部署：用戶只需要簡單的幾步操作就能夠在2-3分鐘內(nèi)創(chuàng)建出一個Hadoop集群，幫助用戶降低Hadoop的技術(shù)門檻和開發(fā)成本，快速地利用Hadoop展開數(shù)據(jù)分析工作。
• 簡化運維：大數(shù)據(jù)平臺尤其是Hadoop的運維非常繁瑣，QingCloud為用戶提供了便捷的運維工具和圖形化操作，極大地簡化了Hadoop集群的運維和管理工作。
• 在線伸縮：Hadoop集群服務(wù)支持橫向和縱向在線伸縮，以滿足用戶對計算能力和容量的需求。用戶可以選擇新增或者刪除節(jié)點進行橫向伸縮，也可以根據(jù)節(jié)點的監(jiān)測數(shù)據(jù)隨時調(diào)整各個節(jié)點的配置。
• 監(jiān)控告警：QingCloud針對HDFS、YARN和MapReduce提供了豐富的監(jiān)控信息，還為每個節(jié)點資源提供了監(jiān)控告警服務(wù)，包括CPU使用率、內(nèi)存使用率、硬盤使用率等，以幫助用戶更好地管理和維護Hadoop集群。
• 安全性：Hadoop集群運行于100%二層隔離的私有網(wǎng)絡(luò)內(nèi)，結(jié)合QingCloud提供的高性能硬盤，在保障高性能的同時兼顧用戶的數(shù)據(jù)安全。

青云QingCloud CTO甘泉（Reno Gan）表示，Hadoop集群服務(wù)的推出標志著QingCloud大數(shù)據(jù)基礎(chǔ)平臺的進一步完善，結(jié)合已經(jīng)推出的Spark、ZooKeeper、消息隊列（Kafka）、Redis、Memcached、MongoDB等服務(wù)，QingCloud的大數(shù)據(jù)平臺服務(wù)已經(jīng)能夠越來越靈活地滿足用戶的各種需求，實現(xiàn)用戶數(shù)據(jù)價值的較大化。