omniture

浪潮:智算時(shí)代AI性能需求6年增長(zhǎng)30萬倍,存儲(chǔ)怎么辦?

2021-09-01 15:26 5468

北京2021年9月1日 /美通社/ -- 智算時(shí)代的序幕已經(jīng)拉開,互聯(lián)的萬物,一切皆計(jì)算機(jī)。智慧計(jì)算融入到千行萬業(yè)的圖景,正在徐徐鋪開。這是一個(gè)數(shù)據(jù)成為生產(chǎn)要素的時(shí)代,智慧計(jì)算將勞動(dòng)者由人變成了人+AI,將數(shù)據(jù)變成了一種新的生產(chǎn)資料,將計(jì)算力驅(qū)動(dòng)的信息化設(shè)備變成了生產(chǎn)工具。

智算時(shí)代,算力供應(yīng)呈現(xiàn)多元化發(fā)展趨勢(shì),包括科學(xué)計(jì)算、關(guān)鍵計(jì)算、云計(jì)算、AI計(jì)算等,支持這些多元、異構(gòu)的計(jì)算,需要新型數(shù)據(jù)中心。

工信部在《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》對(duì)新型數(shù)據(jù)中心的定義是:以支撐經(jīng)濟(jì)社會(huì)數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新為導(dǎo)向,以5G、工業(yè)互聯(lián)網(wǎng)、云計(jì)算、人工智能等應(yīng)用需求為牽引,匯聚多元數(shù)據(jù)資源、運(yùn)用綠色低碳技術(shù)、具備安全可靠能力、提供高效算力服務(wù)、賦能千行百業(yè)應(yīng)用的新型基礎(chǔ)設(shè)施,具有高技術(shù)、高算力、高能效、高安全特征。并明確指出:引導(dǎo)新型數(shù)據(jù)中心集約化、高密化、智能化建設(shè),加快高性能、智能計(jì)算中心部署。

先以AI計(jì)算為例。2018年5月,一篇著名的OpenAI博客分析,自 2012 年以來,AI算力需求總增長(zhǎng)約30萬倍(如下圖),也即3.4月翻一倍(相比之下,摩爾定律約每?jī)赡攴?,總增長(zhǎng)約7倍)。


迅猛增長(zhǎng)的AI算力需求,對(duì)底層IT基礎(chǔ)設(shè)施,包括存儲(chǔ)提出了新的挑戰(zhàn)。

再以云計(jì)算為例。國內(nèi)最大的云計(jì)算公司阿里云,在2020年的雙11當(dāng)天零點(diǎn)零分26秒,迎來流量洪峰,訂單創(chuàng)建峰值達(dá)58.3萬筆/秒(也即TPS,Transaction Per Second,代表每秒執(zhí)行的事務(wù)數(shù))。

這么高的性能需求,會(huì)對(duì)與之相關(guān)的電商、銀行、物流等上下游的企業(yè)造成很大的壓力。例如2017年雙11,農(nóng)業(yè)銀行核心系統(tǒng)全天交易量4.49億筆。其實(shí),無論云計(jì)算,還是邊緣計(jì)算等,都已經(jīng)或?qū)⒁退接性苹蛘邤?shù)據(jù)中心的業(yè)務(wù)系統(tǒng)打通,實(shí)現(xiàn)數(shù)據(jù)的處理、流動(dòng)和共享,為全產(chǎn)業(yè)鏈聯(lián)動(dòng),提供及時(shí)交付和響應(yīng)。另外,無論是AI計(jì)算、科學(xué)計(jì)算,還是萬物互聯(lián)帶來的計(jì)算,都已經(jīng)或?qū)⒁獙?shí)現(xiàn)從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換,以及終端(含手機(jī)、車載大屏等)的可視化呈現(xiàn),為個(gè)人或組織提供參考和決策依據(jù);在這個(gè)過程中,轉(zhuǎn)換后結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)處理、安全,和再在線(類似從AI訓(xùn)練到推理,如抓捕逃犯),離不開為關(guān)鍵計(jì)算提供支撐的IT基礎(chǔ)設(shè)施,如集中式存儲(chǔ)。

當(dāng)我們關(guān)注存儲(chǔ)性能時(shí),通常有IOPS(每秒IO個(gè)數(shù))和延時(shí)(處理IO所需時(shí)間,通常以毫秒,也即ms為單位)兩大指標(biāo)。上面雙11所述的TPS是每秒交易數(shù),是從業(yè)務(wù)視角來觀察性能的,通常一個(gè)訂單的操作會(huì)聯(lián)動(dòng)多個(gè)數(shù)據(jù)庫的增刪改查操作,導(dǎo)致多個(gè)存儲(chǔ)IO的讀寫操作。不過,需要注意的是,不同業(yè)務(wù)TPS帶動(dòng)的IO數(shù)有時(shí)相差很大。

我們?cè)賮砜搓P(guān)鍵計(jì)算的幾個(gè)例子。為了追求極致的性能,有些行業(yè)用戶無所不用其極。

Spread Networks 大概從 2010 年開始,花費(fèi) 3 億美元挖通修建了一條橫穿阿巴拉契亞山脈的光纜隧道,目的是讓光纜不用繞道,將數(shù)據(jù)傳輸時(shí)間縮短大約3毫秒。

2013 年,一組破冰隊(duì)伍和特制的極地冰山電纜鋪設(shè)船將開始建造第一艘跨北極海底光纜。其中兩條名為“Artic Fibre”和“Arctic Link”的光纜將跨過加拿大北極群島的西北通道。第三條類似走向的海底光纜,俄羅斯跨北極海底光纜(ROTACS)將會(huì)圍繞北歐北部的斯堪的納維亞半島和俄羅斯進(jìn)行鋪設(shè)。通過這三條海底光纜,全球兩大金融交易中心英國倫敦和日本東京將幾乎得以直連,相比現(xiàn)有方案節(jié)省近8000公里,兩地間的數(shù)據(jù)傳輸時(shí)間也從大約0.23秒減少至0.17秒,這項(xiàng)工程耗資大約15億美元。

2017年彭博社報(bào)道,Jump Trading公司在芝加哥商品交易所數(shù)據(jù)中心對(duì)面,花了1400萬美元買了一塊12萬平方米的空地(如下圖),并架設(shè)了微波通信基站,僅僅為了節(jié)省0.07毫秒時(shí)間。眾所周知,眨眼常被形容快,它的時(shí)間約0.4秒;而Jump Trading花費(fèi)巨資,只是為了快5700分之一眨眼的時(shí)間。

可想而知,在一些行業(yè)的某些特定應(yīng)用上,為了追求高性能、低延遲,用戶愿意不惜代價(jià)。筆者曾服務(wù)過的一個(gè)國內(nèi)部委用戶,僅僅為了縮短幾毫秒的延時(shí),數(shù)年下來,已經(jīng)投入了數(shù)億元人民幣在集中式存儲(chǔ)上。

就像人類在體育競(jìng)賽中所展現(xiàn)的精神一樣,追求更快、更高、更強(qiáng)是永恒不變的動(dòng)力,存儲(chǔ)性能競(jìng)賽也是如此。

2021年6月,全球存儲(chǔ)性能委員會(huì)(Storage Performance Council,簡(jiǎn)稱SPC)公布了新的SPC-1基準(zhǔn)評(píng)測(cè)報(bào)告,浪潮分布式存儲(chǔ)AS13000G5以630萬IOPS(每秒讀寫操作的次數(shù))、0.5ms時(shí)延的評(píng)測(cè)值,刷新了分布式存儲(chǔ)性能全球最優(yōu)成績(jī)。這是繼浪潮存儲(chǔ)在“統(tǒng)一存儲(chǔ)”賽道奪得16控、8控、單位成本性能世界冠軍之后,在“分布式存儲(chǔ)”領(lǐng)域?qū)崿F(xiàn)新突破,成為存儲(chǔ)全球性能領(lǐng)跑者。

2021年8月,SPC公布了最新SPC-1基準(zhǔn)評(píng)測(cè)榜單,浪潮存儲(chǔ)高端全閃HF18000G5獲得2300萬IOPS(每秒讀寫操作次數(shù))、不超過0.3ms延時(shí)的評(píng)測(cè)值,位列性能總榜全球第一,如下圖。

2021年8月,浪潮高端全閃奪得性能總榜全球第一
2021年8月,浪潮高端全閃奪得性能總榜全球第一

浪潮存儲(chǔ)的優(yōu)異性能表現(xiàn),對(duì)智算時(shí)代中的科學(xué)計(jì)算、云計(jì)算、AI計(jì)算,如核心交易用到的數(shù)據(jù)庫,以及OLAP、郵件系統(tǒng)、虛擬化、AI等業(yè)務(wù)的存儲(chǔ)系統(tǒng)選型具有極高的參考價(jià)值。浪潮存儲(chǔ)會(huì)在集中式全閃、分布式全閃新存儲(chǔ)領(lǐng)域持續(xù)投入,以性能全面碾壓、技術(shù)實(shí)力領(lǐng)先、市場(chǎng)增速領(lǐng)跑的強(qiáng)大產(chǎn)品和市場(chǎng)競(jìng)爭(zhēng)力加速企業(yè)數(shù)字化轉(zhuǎn)型,形成全球存儲(chǔ)新勢(shì)力。

作者:浪潮信息首席架構(gòu)師 葉毓睿

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection