北京2023年11月8日 /美通社/ -- 2023年，生成式人工智能的爆發(fā)帶來了歷史性產業(yè)機遇，正在逐步改造重塑社會、經濟、文化等各個領域。GPT-4、Llama2、文心、源等大模型在寫文章、對話、企劃、繪畫、寫代碼等很多領域已經表現出了讓人驚艷的創(chuàng)作能力。未來，AIGC與數字經濟、實體經濟的深度融合，還將創(chuàng)造出更多顛覆性的社會價值、經濟價值。
生成式AI蓬勃發(fā)展的背后，算力，尤其是AI算力已經成為驅動大模型進化的核心引擎。計算力就是生產力，智算力就是創(chuàng)新力，已經成為產業(yè)共識。大模型時代的算力供給，與云計算時代的算力供給，存在很大的差異性。大模型訓練是以并行計算技術將多臺服務器形成一個算力集群，在一個較長的時間，完成單一且海量的計算任務。這與云計算，把一臺機器拆分成很多容器的需求，存在很大的技術差異。
目前大模型研發(fā)已經進入萬卡時代，從事大模型研發(fā)的公司和團隊，普遍面臨“買不起、建不了、算不好”的困局。為解決這一困局，需要以算力基建化改善算力供給，促進算力普惠，以算力工程化指導完善算力系統(tǒng)最佳實踐，提升算力效率，以模型訓練工具化手段，降低模型訓練門檻，推動全棧智算系統(tǒng)創(chuàng)新，通過“三化”融合互補，促進產業(yè)鏈條各環(huán)節(jié)協(xié)同配合，加速釋放大模型生產力，打造人工智能產業(yè)良好發(fā)展環(huán)境。
算力供給基建化，緩解“買不起”困境
大模型，特別是千億參數級別具備涌現能力和泛化能力的大模型是通用人工智能的核心。但大模型對海量算力資源的消耗，急劇抬高了準入門檻。以ChatGPT的總算力消耗3640PFdays計算，這對于自建、自研大模型，往往需要少則幾億，多則數十億的IT基礎設施投資，這就導致大模型不僅是一個技術密集型產業(yè)，同時也是資金密集型產業(yè)，資本的力量在大模型產業(yè)發(fā)展中扮演越來越重要的角色，高昂的資金門檻使得具備技術能力的初創(chuàng)公司和團隊面臨“買不起”的難題，難以開展創(chuàng)新。
為解決這一困境，除通過政策引導、政策補貼等方式降低企業(yè)融資成本外，還應大力發(fā)展普適普惠的智算中心，通過算力基建化使得智算力成為城市的公共基礎資源，供用戶按需使用，發(fā)揮公共基礎設施的普惠價值。用戶可以選擇自建算力集群，或者是采用智算中心提供的算力服務來完成大模型的開發(fā)。
通過大力發(fā)展智算中心新基建，中國和美國大模型產業(yè)的發(fā)展已經呈現出完全不同的發(fā)展路徑。在美國，算力的私有化決定了大模型產業(yè)技術只能掌握在少數企業(yè)手中，而中國大力推動的算力供給基建化，為大模型創(chuàng)新發(fā)展提供了一片沃土，將使得整個產業(yè)呈現“百模爭秀”的全新格局。
算力效率工程化，化解大模型算力系統(tǒng)“建不了”難題
即使解決了算力供應的問題，通用大模型開發(fā)仍然是一項極其復雜的系統(tǒng)工程，如同F1賽車的調校一樣。F1賽車的性能非常高，但如何調校好這部賽車，讓它在比賽中不僅能跑出最快圈速，而且能確保完賽，對整個車隊的能力要求是非常高的。
大模型訓練需要依靠規(guī)模龐大的AI算力系統(tǒng)，在較長時間內完成海量的計算任務，算力效率十分重要。算力效率越高，大模型的訓練耗時越少，就能贏得更多時間窗口，也能降低更多成本。目前，大模型的訓練集群效率普遍較低，像GPT3的集群訓練效率只有23%，相當于有超過四分之三的算力資源被浪費了。
大模型不應是簡單粗暴的“暴力計算”，算力系統(tǒng)構建也不是算力的簡單堆積，而是一項復雜的系統(tǒng)工程，需要從多個方面進行系統(tǒng)化的設計架構。一是要解決如何實現算力的高效率，它涉及到系統(tǒng)的底層驅動、系統(tǒng)層優(yōu)化，與大模型相適配的優(yōu)化；二是要解決算力系統(tǒng)如何保持線性可擴展，在單機上獲得較高算力效率之后，還需要能讓幾百個服務器節(jié)點、幾千塊卡的大規(guī)模集群環(huán)境的算力系統(tǒng)運行效率，保持相對線性的性能擴展比，這是在整個算力集群系統(tǒng)設計和并行策略設計時，需要考慮的重要因素。三是算力系統(tǒng)長效穩(wěn)定訓練問題，大模型的訓練周期長達數周甚至數月，普遍存在硬件故障導致訓練中斷、梯度爆炸等小規(guī)模訓練不會遇到的問題，工程實踐方面的缺乏導致企業(yè)難以在模型質量上實現快速提升。
因此，化解大模型“建不了”難題，根源在于提升算力效率。但目前業(yè)界開源項目主要集中在框架、數據、神經網絡乃至模型等軟件及算法層面，硬件優(yōu)化的方法由于集群配置的差異，難以復用而普遍處于封閉狀態(tài)。這就需要具備大模型實踐的公司將集群優(yōu)化經驗予以工程化，以硬件開源項目、技術服務等多種方式，幫助更多公司解決算力效率低下的難題。
模型訓練工具化，解決“算不好”難題
系統(tǒng)建成后，大模型在訓練過程中，由于開發(fā)鏈條冗長，還面臨“算不好”的挑戰(zhàn)。從PB級數據的爬取、清洗、過濾，到大規(guī)模預訓練的算法設計、性能優(yōu)化和失效管理；從指令微調數據集的設計到人類反饋強化學習訓練的優(yōu)化……大模型訓練不僅依賴高質量數據，同時也要解決算法收斂、斷點續(xù)訓、參數優(yōu)化、模型微調等問題，數據質量、代碼調優(yōu)、執(zhí)行效率等關乎訓練質量的因素至關重要。這些問題解決不好，很難產生一個可商用的、高質量的大模型產品。
解決“算不好”難題，根本上要保障大模型訓練的長時、高效、穩(wěn)定訓練的問題。例如大模型訓練過程的失效故障，大模型訓練會因此中斷，不得不從最新的檢查點重新載入以繼續(xù)訓練，這個問題在當前是不可避免的。提高算力系統(tǒng)的可持續(xù)性，不僅需要更多機制上的設計，更依賴于大量自動化、智能化的模型工具支撐。模型訓練工具化保障手段，能夠有效降低斷點續(xù)訓過程中所耗費的資源，這意味著大大降低訓練成本并提升訓練任務的成功率，會讓更多公司和團隊參與到大模型創(chuàng)新之中。
早在大模型熱潮到來之前，浪潮信息在2021年已經開始研發(fā)參數量達到2457億的源1.0，通過親身實踐洞察大模型發(fā)展和演進的需求和技術挑戰(zhàn)。目前，浪潮信息已經建立了面向大模型應用場景的整體解決方案，尤其是從當前大模型算力建設、模型開發(fā)和應用落地的實際需求出發(fā)，開發(fā)出全棧全流程的智算軟件棧OGAI，提供完善的工程化、自動化工具軟件堆棧，幫助更多企業(yè)順利跨越大模型研發(fā)應用門檻，充分釋放大模型創(chuàng)新生產力。
快速進化的人工智能正在呈現越來越強的泛化能力，但技術進步的不可預測性也在隨之增強。為此，我們能夠依賴的只有不斷的創(chuàng)新，通過政策驅動、應用導向、產業(yè)構建等多重手段相結合，不斷夯實大模型基礎能力和原始創(chuàng)新能力，積極適應人工智能的快速迭代與產業(yè)變革，切實有效的解決好大模型算力“買不起、建不了、算不好”的難題。
