omniture

以浪潮分布式并行文件存儲(chǔ)筑基,中國科大為科研平臺(tái)注入新動(dòng)力

2022-12-20 12:31 3230

北京2022年12月20日 /美通社/ -- 伴隨牛頓力學(xué)體系的建立而誕生的近代科學(xué),開辟了一個(gè)全新的時(shí)代改變了人類的生產(chǎn)生活和思維方式,對(duì)人類社會(huì)的發(fā)展進(jìn)程產(chǎn)生了深遠(yuǎn)的、革命性的影響。時(shí)至今日,科技創(chuàng)新也依然是影響和改變經(jīng)濟(jì)、社會(huì)的關(guān)鍵變量。不斷向科學(xué)技術(shù)廣度和深度進(jìn)軍,探索當(dāng)前世界科技發(fā)展的最前沿,推動(dòng)事關(guān)人類生存與發(fā)展的科技進(jìn)步是每個(gè)科研機(jī)構(gòu)的目標(biāo),中國科學(xué)技術(shù)大學(xué)(以下簡(jiǎn)稱中國科大)致力于科學(xué)前沿探索和高新技術(shù)創(chuàng)新,為了更好支撐生命科學(xué)、天文、材料、人工智能等各學(xué)科領(lǐng)域研究,校網(wǎng)絡(luò)信息中心負(fù)責(zé)的學(xué)校計(jì)算平臺(tái),以計(jì)算和存儲(chǔ)為平臺(tái)融合新技術(shù)應(yīng)用,推進(jìn)重大科研創(chuàng)新平臺(tái)建設(shè),提升創(chuàng)新體系效能,加速科技創(chuàng)新。

中國科大是中國科學(xué)院所屬的以前沿科學(xué)和高新技術(shù)為主、兼有醫(yī)學(xué)和特色文科的綜合性全國重點(diǎn)大學(xué),于1958年在北京創(chuàng)建,重點(diǎn)培養(yǎng)新興、邊緣、交叉學(xué)科的尖端科技人才,其中包括一批國際知名的科學(xué)家,在單分子科學(xué)、高溫超導(dǎo)、納米科學(xué)、地球環(huán)境、生命與健康等前沿領(lǐng)域取得了世界水平領(lǐng)先的科研成果。

近幾年生命科學(xué)、材料科學(xué)、力學(xué)、人工智能、天文等學(xué)科的項(xiàng)目隨著新技術(shù)和新儀器的應(yīng)用,取得了科研成果的同時(shí),也對(duì)科研創(chuàng)新平臺(tái)在計(jì)算及存儲(chǔ)性能和容量上提出了新的挑戰(zhàn),現(xiàn)有的計(jì)算中心整體資源使用率接近極限,居高不下,生物工程、生態(tài)環(huán)境、新材料、天文觀測(cè)等科研項(xiàng)目,科研實(shí)驗(yàn)的數(shù)據(jù)采集具有周期長(zhǎng)、采集復(fù)雜、環(huán)境要求較高,甚至如氣候數(shù)據(jù)是不可復(fù)雜再生的,此外科研項(xiàng)目涉及的眾多研究員來自不同的高校等科研單位;因此為了穩(wěn)固地按照時(shí)間節(jié)點(diǎn)推進(jìn)科研項(xiàng)目,采集分析實(shí)驗(yàn)數(shù)據(jù),數(shù)據(jù)安全可靠必須得到保障,不容任何丟失。如生命科學(xué)領(lǐng)域的研究像冷凍電鏡設(shè)備,采用從樣品冷凍、低劑量電子斷層掃描到三維重構(gòu)的技術(shù),開展生命科學(xué)基礎(chǔ)研究,在其整個(gè)流程中,圖像處理、三維重構(gòu)是非常核心的步驟,對(duì)計(jì)算和存儲(chǔ)的需求非常高,平均每分鐘就能產(chǎn)生5-6張Image Stack圖像數(shù)據(jù),按照24小時(shí)不間斷地工作計(jì)算,每天會(huì)產(chǎn)生超過數(shù)TB的數(shù)據(jù),每年可達(dá)數(shù)PB,并且采集的海量文件數(shù)據(jù)要就行高并發(fā)的模型重構(gòu),處理后的數(shù)據(jù)及時(shí)歸檔存儲(chǔ),一方面釋放性能資源的占用,一方面更好的保存寶貴的原始科研數(shù)據(jù)以備后續(xù)計(jì)劃使用,全校多個(gè)領(lǐng)域的持續(xù)新增的科研項(xiàng)目的需求,對(duì)計(jì)算存儲(chǔ)平臺(tái)整體方案的性能、容量、安全穩(wěn)定都提出了新挑戰(zhàn)。

百萬級(jí)IOPS、百GB帶寬,為科研平臺(tái)注入新動(dòng)力

聚焦前沿科學(xué)研究,致力尖端科技突破,注重學(xué)科交叉融合,努力實(shí)現(xiàn)創(chuàng)新和科技成果轉(zhuǎn)化的重大突破,為了保障不同學(xué)科課題項(xiàng)目的順利、高效開展,中國科大網(wǎng)絡(luò)信息中心深入分析科研項(xiàng)目對(duì)計(jì)算中心的需求,整體籌劃,以計(jì)算+存儲(chǔ)為核心的整體方案升級(jí)集群系統(tǒng),部署了25個(gè)浪潮GPU服務(wù)器節(jié)點(diǎn)、一套浪潮分布式并行文件存儲(chǔ)AS13000系列,為科研平臺(tái)提供了計(jì)算及數(shù)據(jù)基礎(chǔ)設(shè)施支撐。

為了滿足不同學(xué)科領(lǐng)域項(xiàng)目采集的數(shù)據(jù)在研究不同時(shí)期數(shù)據(jù)對(duì)存儲(chǔ)性能、容量的需求特點(diǎn),數(shù)據(jù)層采用了基于浪潮分布式并行文件存儲(chǔ)AS13000系列構(gòu)建的數(shù)據(jù)分層存儲(chǔ)方案,通過配置NVMe SSD高性能硬盤的全閃存節(jié)點(diǎn)構(gòu)建了高速性能層,通過30個(gè)4U60盤位的高密節(jié)點(diǎn)搭建了11PB可用空間的容量層,集群中所有分布式節(jié)點(diǎn)參與并發(fā)讀寫,基于聚合的小文件優(yōu)化技術(shù),減少了數(shù)據(jù)寫入硬盤次數(shù),提高小文件讀寫性能,實(shí)現(xiàn)了集群聚合讀帶寬160GB/s以上,寫帶寬100GB/s以上,同時(shí)隨機(jī)讀IOPS達(dá)205萬,保證科研項(xiàng)目順利進(jìn)行。存儲(chǔ)集群采用同一目錄命名空間,可以自動(dòng)根據(jù)數(shù)據(jù)訪問在高速存儲(chǔ)及普通容量層中遷移,確保發(fā)揮更大性能。此外浪潮分布式并行文件存儲(chǔ)AS13000可提供文件、對(duì)象、塊、大數(shù)據(jù)等多種存儲(chǔ)服務(wù),通過靈活的存儲(chǔ)協(xié)議選擇以及多種存儲(chǔ)協(xié)議之間的互通性滿足多領(lǐng)域科研項(xiàng)目課題的負(fù)載多樣性。

聚合讀寫帶寬性能
聚合讀寫帶寬性能

數(shù)據(jù)存儲(chǔ)集群具有高冗余模式,當(dāng)某節(jié)點(diǎn)出現(xiàn)故障時(shí),可以自動(dòng)切換到備用節(jié)點(diǎn)上,科研平臺(tái)數(shù)據(jù)不會(huì)丟失,保證了數(shù)據(jù)安全性,設(shè)備類故障頻率降低,保障項(xiàng)目課題的持續(xù)運(yùn)行。此外,中國科大考慮到科研平臺(tái)未來研究方向的增多及規(guī)模的增大,浪潮分布式并行文件存儲(chǔ)AS13000可以根據(jù)后期業(yè)務(wù)的增長(zhǎng),在線擴(kuò)展新的節(jié)點(diǎn),系統(tǒng)的性能和容量會(huì)隨著節(jié)點(diǎn)數(shù)量的增加線性增長(zhǎng),保護(hù)了科研項(xiàng)目的持續(xù)性研究。

浪潮存儲(chǔ)
浪潮存儲(chǔ)

2003年正式建成的中國科大校級(jí)計(jì)算平臺(tái)是學(xué)校六大公共實(shí)驗(yàn)中心之一,也是國內(nèi)高校最早的平臺(tái)之一。目前投入設(shè)備采購費(fèi)用已超1.2億元,1300臺(tái)在使用中的服務(wù)器,提供總雙精度浮點(diǎn)5409萬億次/秒的計(jì)算能力,利用率超過80%。其中在2022年支持發(fā)表SCI論文464篇(包括Nature系列、Science系列、PRL、JACS、Cell等頂級(jí)期刊論文38篇),為前沿領(lǐng)域的科技創(chuàng)新提供數(shù)據(jù)與計(jì)算平臺(tái),有效支撐了用戶取得顯著項(xiàng)目成果。


科技創(chuàng)新作為引領(lǐng)發(fā)展的第一動(dòng)力,深刻應(yīng)用和影響著人類的工作、生產(chǎn)、生活各個(gè)方面,從而提升生命健康水平,推動(dòng)經(jīng)濟(jì)繁榮、造福人類。最為具有較強(qiáng)知識(shí)創(chuàng)新和技術(shù)創(chuàng)新能力的教育與科研基地,中國科大致力推動(dòng)中國科技文化的發(fā)展,通過對(duì)于新技術(shù)、新設(shè)備的應(yīng)用,為了給每一位師生提供優(yōu)質(zhì)的計(jì)算和數(shù)據(jù)資源,為加速前沿科技研究打下堅(jiān)實(shí)的基礎(chǔ),幫助全人類更好認(rèn)識(shí)自然、理解自然、改造自然,推動(dòng)人類社會(huì)和文明不斷向前邁進(jìn)。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection