浪潮信息發(fā)布源2.0基礎(chǔ)大模型，千億參數(shù)全面開(kāi)源

浪潮信息

2023-11-27 19:30 11091

北京2023年11月27日 /美通社/ -- 11月27日，浪潮信息發(fā)布"源2.0"基礎(chǔ)大模型，并宣布全面開(kāi)源。源2.0基礎(chǔ)大模型包括1026億、518億、21億等三種參數(shù)規(guī)模的模型，在編程、推理、邏輯等方面展示出了先進(jìn)的能力。

當(dāng)前，大模型技術(shù)正在推動(dòng)生成式人工智能產(chǎn)業(yè)迅猛發(fā)展，而基礎(chǔ)大模型的關(guān)鍵能力則是大模型在行業(yè)和應(yīng)用落地能力表現(xiàn)的核心支撐，但基礎(chǔ)大模型的發(fā)展也面臨著在算法、數(shù)據(jù)和算力等方面的諸多挑戰(zhàn)。源2.0基礎(chǔ)大模型則針對(duì)性地提出了新的改進(jìn)方法并獲得了能力的提升。

算法方面，源2.0提出并采用了一種新型的注意力算法結(jié)構(gòu)：局部注意力過(guò)濾增強(qiáng)機(jī)制(LFA：Localized Filtering-based Attention)。LFA通過(guò)先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計(jì)算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語(yǔ)言的局部和全局的語(yǔ)言特征，對(duì)于自然語(yǔ)言的關(guān)聯(lián)語(yǔ)義理解更準(zhǔn)確、更人性，提升了模型的自然語(yǔ)言表達(dá)能力，進(jìn)而提升了模型精度。

數(shù)據(jù)方面，源2.0通過(guò)使用中英文書(shū)籍、百科、論文等高質(zhì)量中英文資料，降低了互聯(lián)網(wǎng)語(yǔ)料內(nèi)容占比，結(jié)合高效的數(shù)據(jù)清洗流程，為大模型訓(xùn)練提供了高質(zhì)量的專(zhuān)業(yè)數(shù)據(jù)集和邏輯推理數(shù)據(jù)集。為了獲取中文數(shù)學(xué)數(shù)據(jù)，我們清洗了從2018年至今約12PB的互聯(lián)網(wǎng)數(shù)據(jù)，但僅獲取到了約10GB的數(shù)學(xué)數(shù)據(jù)，投入巨大，收益較小。為了更高效地獲得相對(duì)匱乏的高質(zhì)量中文數(shù)學(xué)及代碼數(shù)據(jù)集，源2.0采用了基于大模型的數(shù)據(jù)生產(chǎn)及過(guò)濾方法，在保證數(shù)據(jù)的多樣性的同時(shí)也在每一個(gè)類(lèi)別上提升數(shù)據(jù)質(zhì)量，獲取了一批高質(zhì)量的數(shù)學(xué)與代碼預(yù)訓(xùn)練數(shù)據(jù)。

算力方面，源2.0采用了非均勻流水并行的方法，綜合運(yùn)用流水線并行+優(yōu)化器參數(shù)并行+數(shù)據(jù)并行的策略，讓模型在流水并行各階段的顯存占用量分布更均衡，避免出現(xiàn)顯存瓶頸導(dǎo)致的訓(xùn)練效率降低的問(wèn)題，該方法顯著降低了大模型對(duì)芯片間P2P帶寬的需求，為硬件差異較大訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。

源2.0作為千億級(jí)基礎(chǔ)大模型，在業(yè)界公開(kāi)的評(píng)測(cè)上進(jìn)行了代碼生成、數(shù)學(xué)問(wèn)題求解、事實(shí)問(wèn)答方面的能力測(cè)試，測(cè)試結(jié)果顯示，源2.0在多項(xiàng)模型評(píng)測(cè)中，展示出了較為先進(jìn)的能力表現(xiàn)。