北京2023年7月26日 /美通社/ -- 近日，浪潮信息成功入選北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴, "源"大模型將持續(xù)加速開放賦能，促進通用人工智能產(chǎn)業(yè)發(fā)展，提升產(chǎn)業(yè)普惠價值。
【當前，北京正在加快推進國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)和國家人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)建設(shè)，打造具有全球影響力的人工智能創(chuàng)新策源地。北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃，由北京市經(jīng)信局聯(lián)合市科委中關(guān)村管委會、市發(fā)改委等共同發(fā)布，旨在搭建人工智能大模型的開放合作平臺，建立協(xié)同合作機制，通過持續(xù)優(yōu)化產(chǎn)業(yè)鏈布局，大幅提升優(yōu)質(zhì)算力、高質(zhì)量數(shù)據(jù)供給支撐能力，培養(yǎng)一批應(yīng)用大模型技術(shù)實現(xiàn)突破性成長的標桿企業(yè)。】
作為最早布局大模型的企業(yè)之一，浪潮信息在業(yè)界率先推出了中文AI巨量模型"源1.0"，參數(shù)規(guī)模高達2457億。"源1.0"在語言智能方面表現(xiàn)優(yōu)異，獲得中文語言理解評測基準CLUE榜單的零樣本學(xué)習（zero-shot）和小樣本學(xué)習（few-shot）兩類總榜冠軍。 浪潮信息通過千億參數(shù)規(guī)模的大模型創(chuàng)新實踐，已在算力集群構(gòu)建、算力調(diào)度部署、算法模型開發(fā)等方面，構(gòu)建起全棧領(lǐng)先的大模型算力系統(tǒng)解決方案，助力大模型訓(xùn)練開發(fā)。
在算力集群構(gòu)建上，基于大模型實測對比的集群規(guī)劃，提供包含數(shù)據(jù)中心、算力、網(wǎng)絡(luò)、存儲一體化產(chǎn)品陣列。其中最新一代融合架構(gòu)的AI訓(xùn)練服務(wù)器 NF5688G7采用Hopper架構(gòu)的GPU，較上代平臺大模型實測性能提升近7倍，同時支持最新的液冷解決方案，可實現(xiàn)更低的集群能耗比與運行成本，PUE小于1.15，以一個4000卡的智算中心為例，每年可節(jié)電620萬度、降碳1700噸。在集群高速互聯(lián)層面，基于原生RDMA實現(xiàn)整個集群的全線速組網(wǎng)，并對網(wǎng)絡(luò)拓撲進行優(yōu)化，可以有效消除混合計算的計算瓶頸，確保集群在大模型訓(xùn)練時始終處于最佳狀態(tài)。
在算力調(diào)度部署上，面對大模型系統(tǒng)級開發(fā)過程中所存在的調(diào)度難、部署慢、效率低、集群異常等問題，浪潮信息推出AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺，通過全生命周期的一體化監(jiān)控及調(diào)度系統(tǒng)，構(gòu)建起完備的模型訓(xùn)練失效恢復(fù)持續(xù)方案，滿足大模型分布式訓(xùn)練中高穩(wěn)定、高穩(wěn)健性等特性要求，實現(xiàn)訓(xùn)練異常和故障診斷的自動處理，縮短斷點續(xù)訓(xùn)時間90%。同時，自研分布式任務(wù)自適應(yīng)系統(tǒng)，有效分配底層計算、存儲、網(wǎng)絡(luò)等資源，提升集群利用率與模型訓(xùn)練效率。高效的集群優(yōu)化調(diào)度策略，大幅簡化大模型訓(xùn)練前大量的、環(huán)境配置、依賴庫適配和超參數(shù)調(diào)整工作。
在算法模型開發(fā)上，"源1.0"針對大模型的Attention層和前饋層的模型空間進行結(jié)構(gòu)優(yōu)化，改進注意力機制聚焦文章內(nèi)部聯(lián)系的學(xué)習。千億大模型的創(chuàng)新實踐，使得浪潮信息具備從數(shù)據(jù)、訓(xùn)練、部署到應(yīng)用落地的全棧開發(fā)能力。在訓(xùn)練數(shù)據(jù)處理上，通過自研海量數(shù)據(jù)過濾系統(tǒng)（MDFS），建立從數(shù)據(jù)采集、粗濾、質(zhì)量分類、精濾的全自動化的端到端數(shù)據(jù)工作流程，通過清洗866TB海量數(shù)據(jù)，獲得5TB高質(zhì)量中文數(shù)據(jù)集。
在助力大模型訓(xùn)練開發(fā)方面，浪潮信息推出AI算力服務(wù)，提供經(jīng)"源"清洗驗證過的語言或多模態(tài)的大模型數(shù)據(jù)、算法產(chǎn)品及模型訓(xùn)練資源管理平臺，為AI創(chuàng)新研究團隊提供先進、開放、高性能、高質(zhì)量的AI算力資源及配套服務(wù)，賦能AIGC創(chuàng)新發(fā)展。目前，浪潮信息AI算力服務(wù)已成功助力網(wǎng)易伏羲中文預(yù)訓(xùn)練大模型"玉言"登頂中文語言理解權(quán)威測評基準CLUE分類任務(wù)榜單，并在多項任務(wù)上超過人類水平。
浪潮信息AI團隊將"源1.0"成功的系統(tǒng)工程經(jīng)驗應(yīng)用于智算中心算力系統(tǒng)，對集群架構(gòu)、高速互聯(lián)、算力調(diào)度等進行全面優(yōu)化，對分布式訓(xùn)練策略進行了針對性優(yōu)化，通過合理設(shè)計張量并行、流水并行和數(shù)據(jù)并行，精準調(diào)整模型結(jié)構(gòu)和訓(xùn)練過程的超參數(shù)，最終實現(xiàn)千億參數(shù)規(guī)模的大模型訓(xùn)練算力效率達至53.5%。
目前，浪潮信息"源1.0"已在眾多行業(yè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用的快速落地，真正實現(xiàn)AIGC的產(chǎn)業(yè)普惠：通過構(gòu)建強大穩(wěn)健的基礎(chǔ)大模型，讓千行百業(yè)擁有"順勢而為"的大模型能力。浪潮信息推出的"源1.0"開源開放計劃，開放模型API、工具鏈、數(shù)據(jù)集，構(gòu)建"開放、共贏"的開發(fā)者社區(qū)生態(tài)，助力開發(fā)者快速創(chuàng)新，目前"源開發(fā)者社區(qū)"已匯聚了近萬名高水平開發(fā)者，孵化出眾多創(chuàng)新應(yīng)用。
在智能客服領(lǐng)域，通過將"源"大模型的智能力與復(fù)雜的服務(wù)場景進行深度融合，打造專家級數(shù)據(jù)中心智能客服大腦，憑借強大的學(xué)習能力，"源曉服"能夠?qū)χR庫進行自主化學(xué)習，可覆蓋終端用戶92%的咨詢問題，將復(fù)雜技術(shù)咨詢的業(yè)務(wù)處理時長降低65%，整體服務(wù)效率達160%，榮獲評哈佛商業(yè)評論鼎革獎。
在智慧政務(wù)領(lǐng)域，基于源大模型打造的AI社區(qū)助理"臨小助"，可為基層社區(qū)工作者提供沉浸式、針對性的一對一群眾工作能力培訓(xùn), 社區(qū)工作者通過手機載體與"臨小助"進行互動對話形式，讓社區(qū)小白"秒變"服務(wù)群眾的能人。目前，"臨小助"已投入使用，在某高頻場景中, 社區(qū)工作人員培訓(xùn)學(xué)習效率提升5倍, 有效輔助問答建議達至75%。
在智慧文創(chuàng)領(lǐng)域，開發(fā)者開發(fā)出首個AI劇本殺；基于"源1.0"，開發(fā)并上線一個會"鬧情緒"的AI陪練，幫助心理咨詢師更專業(yè)及時地提供各種服務(wù)和治療方案。除此之外，"AI數(shù)字人魯迅"、數(shù)字演員、陪伴機器人、游戲NPC對話等極具創(chuàng)新的應(yīng)用也在不斷地孵化落地。
"源1.0"作為新型的大模型算法基礎(chǔ)設(shè)施，正通過強大的通用智能和全棧的工具鏈服務(wù)能力，助力千行百業(yè)開發(fā)運行更多的智能應(yīng)用。
