近日，DeepSeek“開(kāi)源周”活動(dòng)如火如荼地進(jìn)行到了第四天，一項(xiàng)旨在優(yōu)化并行策略的新項(xiàng)目正式對(duì)外公布。該項(xiàng)目聚焦于提升模型訓(xùn)練和推理過(guò)程中的計(jì)算與通信協(xié)同效率，力求為人工智能領(lǐng)域帶來(lái)更為出色的性能表現(xiàn)。

此次開(kāi)源的核心內(nèi)容涵蓋了三大亮點(diǎn)：

首先，DualPipe雙向管道并行算法脫穎而出。該算法專為V3/R1訓(xùn)練設(shè)計(jì)，通過(guò)實(shí)現(xiàn)計(jì)算與通信階段的高效重疊，顯著減少了流水線中的空閑時(shí)間，即所謂的“流水線氣泡”。這一創(chuàng)新策略極大地提高了訓(xùn)練資源的利用率，使得訓(xùn)練過(guò)程更加高效。

其次，專家并行負(fù)載均衡器（EPLB）的推出，為專家并行架構(gòu)中的負(fù)載均衡問(wèn)題提供了有效解決方案。在專家并行架構(gòu)中，不同的專家模塊被分配到不同的GPU上運(yùn)行。然而，由于任務(wù)需求的變化，各專家模塊的工作負(fù)載也會(huì)相應(yīng)調(diào)整。為了保持GPU間的負(fù)載均衡，EPLB采用了冗余專家策略，通過(guò)復(fù)制高負(fù)載的專家模塊，并利用啟發(fā)式方法將其合理分配到不同的GPU上。為了減少節(jié)點(diǎn)間的通信開(kāi)銷，EPLB還嘗試將同一組的專家模塊盡可能部署在同一節(jié)點(diǎn)上。這一策略的具體實(shí)現(xiàn)細(xì)節(jié)已在`eplb.py`文件中開(kāi)源，開(kāi)發(fā)者可借此工具計(jì)算出平衡的專家復(fù)制與放置方案。盡管專家負(fù)載的預(yù)測(cè)方法未在此次開(kāi)源范圍內(nèi)，但開(kāi)發(fā)者仍可采用移動(dòng)平均法等常見(jiàn)手段進(jìn)行估算。

最后，項(xiàng)目團(tuán)隊(duì)還公開(kāi)了V3/R1計(jì)算-通信重疊分析的相關(guān)數(shù)據(jù)。這些數(shù)據(jù)詳細(xì)展示了計(jì)算與通信重疊策略的實(shí)現(xiàn)細(xì)節(jié)及其優(yōu)化效果，為研究社區(qū)提供了深入了解和改進(jìn)相關(guān)技術(shù)的寶貴資料。

關(guān)于DualPipe算法，它首次亮相于深度搜索-V3技術(shù)報(bào)告中。該算法的核心思想在于，通過(guò)雙向流水線機(jī)制實(shí)現(xiàn)正向與反向計(jì)算階段的完全重疊，從而大幅提升整體效率。而專家并行負(fù)載均衡器（EPLB）則不僅解決了專家并行架構(gòu)中的負(fù)載均衡難題，還通過(guò)優(yōu)化專家模塊的部署策略，進(jìn)一步降低了節(jié)點(diǎn)間的通信成本。

此次開(kāi)源活動(dòng)，項(xiàng)目團(tuán)隊(duì)旨在向社區(qū)提供更多實(shí)用的技術(shù)參考，推動(dòng)人工智能領(lǐng)域相關(guān)技術(shù)的進(jìn)一步發(fā)展。這些開(kāi)源內(nèi)容和數(shù)據(jù)的發(fā)布，無(wú)疑將為研究者和開(kāi)發(fā)者提供更為豐富的資源和靈感，助力他們?cè)谌斯ぶ悄艿牡缆飞喜粩嗲靶小?/p>