在科技界的一則最新動(dòng)態(tài)中,知名科技博客Phoronix于3月23日披露,隨著(zhù)Linux 6.15內核版本的臨近,開(kāi)源社區中的EROFS(增強型只讀文件系統)即將迎來(lái)一次重大革新。此次升級的核心亮點(diǎn)在于,EROFS將引入48位尋址支持,以滿(mǎn)足人工智能模型訓練過(guò)程中對數據存儲容量的迫切需求。
一直以來(lái),EROFS受限于32位塊尋址機制,其最大容量被限定在16TiB(在4KiB塊大小下)。而48位尋址技術(shù)的加入,將徹底打破這一瓶頸,使得EROFS能夠輕松應對AI訓練中所需的大規模數據集存儲挑戰,同時(shí)也為對象存儲客戶(hù)端提供了更為廣闊的存儲空間。
除了容量上的大幅提升,此次EROFS的更新還涉及到了核心磁盤(pán)結構的全面擴展,包括inode、設備槽以及inode塊的優(yōu)化。為了支持基本的時(shí)間戳功能,新版EROFS引入了32字節緊湊inode的mtime字段,這一改進(jìn)無(wú)疑將進(jìn)一步提升文件系統的實(shí)用性和靈活性。
在性能優(yōu)化方面,新版EROFS同樣不遺余力。針對Zstd壓縮算法,新版EROFS引入了字節導向的編碼擴展,這一改進(jìn)使得壓縮器能夠保持其原有的高效壓縮方法,從而在提升壓縮效率的同時(shí),也確保了數據壓縮質(zhì)量。據測試數據顯示,在啟用48位尋址后,Zstd鏡像的構建時(shí)間得到了顯著(zhù)縮短,特別是在Intel Xeon Platinum 8163 CPU上,構建時(shí)間從原先的3分52秒驟降至12秒,這一提升無(wú)疑將為AI訓練等高性能應用場(chǎng)景帶來(lái)極大的便利。
EROFS,這一由華為最初開(kāi)發(fā)并隨后由全球開(kāi)源社區共同維護的輕量級只讀文件系統,自問(wèn)世以來(lái)便以其出色的存儲效率和性能表現贏(yíng)得了業(yè)界的廣泛關(guān)注。此次重大升級,不僅進(jìn)一步鞏固了EROFS在只讀文件系統領(lǐng)域的領(lǐng)先地位,更為AI、大數據等前沿科技領(lǐng)域的發(fā)展提供了強有力的支持。
隨著(zhù)人工智能技術(shù)的不斷發(fā)展和普及,對于數據存儲和處理能力的需求也將持續增長(cháng)。EROFS此次的升級,無(wú)疑為這一趨勢提供了強有力的技術(shù)支撐,我們有理由相信,在未來(lái)的科技發(fā)展中,EROFS將繼續發(fā)揮其獨特優(yōu)勢,為更多領(lǐng)域的應用場(chǎng)景提供高效、可靠的存儲解決方案。
Copyright 2025 //m.mrigadava.com/ 版權所有 豫ICP備2021037741號-1 網(wǎng)站地圖