2024年2月25日 – 在AI基礎(chǔ)設(shè)施領(lǐng)域掀起開源風(fēng)暴的深度求索(DeepSeek)，繼首日發(fā)布引發(fā)行業(yè)震動(dòng)后，今日正式推出其「開源周」第二項(xiàng)重磅成果——專為混合專家模型(MoE)打造的DeepEP通信庫。該項(xiàng)目的GitHub倉庫已同步開放（訪問倉庫），標(biāo)志著大規(guī)模MoE模型訓(xùn)練進(jìn)入全新階段。

技術(shù)亮點(diǎn)解析

作為首個(gè)針對MoE/EP范式優(yōu)化的開源通信解決方案，DeepEP帶來六大突破性特性：

1. 全場景通信優(yōu)化
   • 創(chuàng)新性實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)(NVLink)與跨節(jié)點(diǎn)(RDMA)雙通道通信
   • 預(yù)填充階段采用高吞吐內(nèi)核，訓(xùn)練效率提升40%+
   • 解碼階段啟用低延遲內(nèi)核，響應(yīng)速度優(yōu)化30%
2. 前沿計(jì)算支持
   • 行業(yè)首個(gè)完整支持FP8數(shù)據(jù)調(diào)度的通信庫
   • 動(dòng)態(tài)精度適配模塊，自動(dòng)匹配不同計(jì)算需求
3. 資源智能調(diào)度
   • 基于Hook的通信-計(jì)算重疊技術(shù)，實(shí)現(xiàn)零SM資源占用
   • 智能帶寬分配系統(tǒng)，自動(dòng)識別NVLink/RDMA最優(yōu)路徑

實(shí)戰(zhàn)價(jià)值解讀

該庫特別適配DeepSeek-V3論文提出的組限制門控算法，通過三大技術(shù)創(chuàng)新解決行業(yè)痛點(diǎn)：

• 非對稱帶寬優(yōu)化：針對MoE特有的數(shù)據(jù)轉(zhuǎn)發(fā)模式，開發(fā)跨域傳輸專用內(nèi)核
• 動(dòng)態(tài)SM調(diào)控：根據(jù)任務(wù)類型自動(dòng)調(diào)整流處理器占用比例
• 混合精度管道：構(gòu)建從FP8到FP32的無縫精度轉(zhuǎn)換通道

開發(fā)者適配指南