DeepSeek完美收官：開(kāi)源勞苦功高的3FS！

2月28日消息，在不舍與興奮中，我們迎來(lái)了DeepSeek開(kāi)源周第五天。今天DeepSeek開(kāi)源的項(xiàng)目是：Fire-Flyer文件系統(tǒng)，即3FS。

據(jù)了解，3FS是一個(gè)高性能并行文件系統(tǒng)，它是所有Deepseek數(shù)據(jù)訪問(wèn)的助推器，能應(yīng)對(duì)AI訓(xùn)練和推理工作負(fù)載的挑戰(zhàn)。

它利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)提供共享存儲(chǔ)層，能簡(jiǎn)化分布式應(yīng)用程序的開(kāi)發(fā)，具有以下主要特性：

1、分離式架構(gòu)：結(jié)合了數(shù)千個(gè)SSD和數(shù)百個(gè)存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)帶寬，使應(yīng)用程序可以不受位置限制地訪問(wèn)存儲(chǔ)資源

2、強(qiáng)一致性：實(shí)現(xiàn)了鏈?zhǔn)綇?fù)制與分配查詢(CRAQ)協(xié)議，確保數(shù)據(jù)的強(qiáng)一致性，簡(jiǎn)化應(yīng)用程序開(kāi)發(fā)

3、文件接口：提供基于事務(wù)性鍵值存儲(chǔ)(如FoundationDB)支持的無(wú)狀態(tài)元數(shù)據(jù)服務(wù)，使用通用的文件接口，無(wú)需學(xué)習(xí)新的存儲(chǔ)API

4、多樣化工作負(fù)載支持

4.1 數(shù)據(jù)準(zhǔn)備：高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果

4.2 數(shù)據(jù)加載：支持計(jì)算節(jié)點(diǎn)間的訓(xùn)練樣本隨機(jī)訪問(wèn)，消除預(yù)取或打亂數(shù)據(jù)集的需求

4.3 檢查點(diǎn)保存：支持大規(guī)模訓(xùn)練的高吞吐并行檢查點(diǎn)保存

4.4 推理KVCache：提供比基于內(nèi)存緩存更具成本效益的替代方案，同時(shí)提供高吞吐量和更大容量

另外，3FS的核心性能指標(biāo)表現(xiàn)在聚合讀取吞吐量上，具體體現(xiàn)就是在由180個(gè)存儲(chǔ)節(jié)點(diǎn)組成的集群中，可實(shí)現(xiàn) 6.6 TiB/s 的聚合讀取吞吐量。

在基準(zhǔn)測(cè)試表現(xiàn)中，在25節(jié)點(diǎn)集群的 GraySort 基準(zhǔn)測(cè)試中，吞吐量可達(dá) 3.66 TiB/分鐘;在單客戶端節(jié)點(diǎn)的 KVCache 查找峰值吞吐量超過(guò)40 GiB/s。

尤其值得一提的是，3FS對(duì)于V3和R1中訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作，都立下了汗馬功勞，可謂功高蓋主!

網(wǎng)友們表示，3FS和Smallpond為AI數(shù)據(jù)處理設(shè)定了新基準(zhǔn)，將改變數(shù)據(jù)處理的游戲規(guī)則。這對(duì)于AI演化來(lái)說(shuō)，相當(dāng)于從自行車升級(jí)到了高鐵!大家說(shuō)，3FS牛不牛!