騰訊近日揭曉了旗下全新的開(kāi)源MoE大語(yǔ)言模型——Hunyuan-Large，該模型憑借業(yè)界領(lǐng)先的參數(shù)規(guī)模和卓越性能，一舉成為行業(yè)焦點(diǎn)。

據(jù)悉，Hunyuan-large不僅在參數(shù)數(shù)量上達(dá)到了驚人的389B，同時(shí)其激活參數(shù)也高達(dá)52B，訓(xùn)練token數(shù)量更是攀升至7T。這一系列的數(shù)字背后，代表著該模型在處理長(zhǎng)文本上下文時(shí)的強(qiáng)大能力，其最大上下文長(zhǎng)度支持到256K，詞表大小擴(kuò)展至12.8w，為長(zhǎng)文本任務(wù)的高效完成提供了堅(jiān)實(shí)的技術(shù)支撐。

在技術(shù)創(chuàng)新層面，Hunyuan-large展現(xiàn)了其獨(dú)特的魅力。通過(guò)巧妙地運(yùn)用高質(zhì)量的合成數(shù)據(jù)，該模型成功強(qiáng)化了訓(xùn)練過(guò)程，有效彌補(bǔ)了自然數(shù)據(jù)的不足之處。這一創(chuàng)新舉措不僅提升了模型的訓(xùn)練效率，更進(jìn)一步保證了其在處理復(fù)雜任務(wù)時(shí)的準(zhǔn)確性和穩(wěn)定性。

Hunyuan-large在多學(xué)科綜合評(píng)測(cè)集上展現(xiàn)了卓越的性能。無(wú)論是在CMMLU、MMLU，還是在CEva1、MATH等評(píng)測(cè)集上，該模型均取得了令人矚目的成績(jī)。其在中英文自然語(yǔ)言處理、代碼生成以及數(shù)學(xué)運(yùn)算等九大能力維度上全面領(lǐng)先，甚至超越了Llama3.1和Mixtral等業(yè)內(nèi)知名的一流開(kāi)源模型。

為了進(jìn)一步推動(dòng)長(zhǎng)文本處理技術(shù)的發(fā)展，騰訊還宣布將推出自研的長(zhǎng)文評(píng)測(cè)集——“企鵝卷軸（PenguinScrolls）”。這一評(píng)測(cè)集的推出，旨在填補(bǔ)當(dāng)前行業(yè)在真實(shí)長(zhǎng)文評(píng)測(cè)方面的空白，為相關(guān)技術(shù)的研發(fā)和應(yīng)用提供更為全面、客觀(guān)的評(píng)估標(biāo)準(zhǔn)。

“企鵝卷軸”基于公開(kāi)的金融、法律、學(xué)術(shù)論文等長(zhǎng)文本構(gòu)建而成，文本長(zhǎng)度覆蓋從1K到128K的廣泛范圍。這一設(shè)計(jì)使得該評(píng)測(cè)集能夠全面覆蓋深度閱讀理解和長(zhǎng)文推理等關(guān)鍵任務(wù)，為相關(guān)技術(shù)的深入研究和應(yīng)用提供了寶貴的資源。