面向AI場景使用OBS+SFS Turbo的存儲加速實踐
方案概述
應(yīng)用場景
近年來，AI快速發(fā)展并應(yīng)用到很多領(lǐng)域中，AI新產(chǎn)品掀起一波又一波熱潮，AI應(yīng)用場景越來越多，有自動駕駛、大模型、AIGC、科學(xué)AI等不同行業(yè)。AI人工智能的實現(xiàn)需要大量的基礎(chǔ)設(shè)施資源，包括高性能算力，高速存儲和網(wǎng)絡(luò)帶寬等基礎(chǔ)設(shè)施，即“大算力、大存力、大運力”的AI基礎(chǔ)大設(shè)施底座，讓算力發(fā)展不要偏斜。
從過去的經(jīng)典AI，到今天人人談?wù)摰拇竽Ｐ?，自動駕駛，我們看到AI模型的參數(shù)及AI算力規(guī)模呈現(xiàn)出指數(shù)級的爆發(fā)增長，對存儲基礎(chǔ)設(shè)施也帶來全新的挑戰(zhàn)。
1、高吞吐的數(shù)據(jù)訪問挑戰(zhàn)：隨著企業(yè)使用 GPU/NPU 越來越多，底層存儲的 IO 已經(jīng)跟不上計算能力，企業(yè)希望存儲系統(tǒng)能提供高吞吐的數(shù)據(jù)訪問能力，充分發(fā)揮 GPU/NPU 的計算性能，包括訓(xùn)練數(shù)據(jù)的讀取，以及為了容錯做的檢查點（以下簡稱Checkpoint）保存和加載。訓(xùn)練數(shù)據(jù)的讀取要盡量讀得快，減少計算對 I/O 的等待，而 Checkpoint主要要求高吞吐、減少訓(xùn)練中斷的時間。
2、文件接口方式的數(shù)據(jù)共享訪問：由于 AI 架構(gòu)需要使用到大規(guī)模的計算集群（GPU/NPU服務(wù)器），集群中的服務(wù)器訪問的數(shù)據(jù)來自一個統(tǒng)一的數(shù)據(jù)源，即一個共享的存儲空間。這種共享訪問的數(shù)據(jù)有諸多好處，它可以保證不同服務(wù)器上訪問數(shù)據(jù)的一致性，減少不同服務(wù)器上分別保留數(shù)據(jù)帶來的數(shù)據(jù)冗余等。另外以 AI 生態(tài)中非常流行的開源深度學(xué)習(xí)框架PyTorch為例，PyTorch默認(rèn)會通過文件接口訪問數(shù)據(jù)，AI算法開發(fā)人員也習(xí)慣使用文件接口，因此文件接口是最友好的共享存儲訪問方式。
說明：如果您想了解更多本方案相關(guān)信息，或在方案使用過程中存在疑問，可通過方案咨詢渠道，尋求專業(yè)人員支持。
方案架構(gòu)
針對AI訓(xùn)練場景中面臨的問題，華為云提供了基于對象存儲服務(wù)OBS+高性能文件服務(wù)SFS Turbo的AI云存儲解決方案，如圖所示，華為云高性能文件服務(wù)SFS Turbo HPC型支持和OBS數(shù)據(jù)聯(lián)動，您可以通過SFS Turbo HPC型文件系統(tǒng)來加速對OBS對象存儲中的數(shù)據(jù)訪問，并將生成的結(jié)果數(shù)據(jù)異步持久化到OBS對象存儲中長期低成本保存。
圖1 基于OBS+SFS Turbo的華為云AI云存儲解決方案
方案優(yōu)勢
華為云AI云存儲解決方案的主要優(yōu)勢如下表所示。
華為云AI云存儲解決方案的主要優(yōu)勢
|
序號
|
主要優(yōu)勢
|
詳細(xì)描述
|
|---|---|---|
1 |
存算分離，資源利用率高 |
GPU/NPU算力和SFS Turbo存儲解耦，各自按需擴容，資源利用率提升。 |
2 |
SFS Turbo高性能，加速訓(xùn)練過程 |
1、訓(xùn)練數(shù)據(jù)集高速讀取，避免GPU/NPU因存儲I/O等待產(chǎn)生空閑，提升GPU/NPU利用率。 2、大模型TB級Checkpoint文件秒級保存和加載，減少訓(xùn)練任務(wù)中斷時間。 |
3 |
數(shù)據(jù)導(dǎo)入導(dǎo)出異步化，不占用訓(xùn)練任務(wù)時長，無需部署外部遷移工具 |
1、訓(xùn)練任務(wù)開始前將數(shù)據(jù)從OBS導(dǎo)入到SFS Turbo，訓(xùn)練過程中寫入到SFS Turbo的Checkpoint數(shù)據(jù)異步導(dǎo)出到OBS，均不占用訓(xùn)練任務(wù)時長。 2、SFS Turbo和OBS存儲服務(wù)之間數(shù)據(jù)直接導(dǎo)入導(dǎo)出，無需部署外部數(shù)據(jù)拷貝機器及工具。 |
4 |
冷熱數(shù)據(jù)自動流動，降低存儲成本 |
1、SFS Turbo支持自定義數(shù)據(jù)淘汰策略，冷數(shù)據(jù)自動分級到OBS，釋放高性能存儲空間用于接收新的熱數(shù)據(jù)。 2、訪問冷數(shù)據(jù)時SFS Turbo從OBS自動加載數(shù)據(jù)提升訪問性能。 |
5 |
多AI開發(fā)平臺、生態(tài)兼容 |
pytorch、mindspore等主流AI應(yīng)用框架，kubernetes容器引擎、算法開發(fā)場景通過文件語義訪問共享數(shù)據(jù)，無需適配開發(fā)。 |
對象存儲功能概覽
在使用對象存儲服務(wù)OBS之前，建議您先了解對象存儲服務(wù)OBS的基本概念，以便更好地理解對象存儲服務(wù)OBS提供的各項功能。
-
對象存儲功能名稱-存儲類別
OBS提供了標(biāo)準(zhǔn)存儲、低頻訪問存儲、歸檔存儲、深度歸檔存儲（受限公測中）四種存儲類別，滿足不同場景下客戶對存儲性能和成本的不同訴求。
OBS提供了標(biāo)準(zhǔn)存儲、低頻訪問存儲、歸檔存儲、深度歸檔存儲（受限公測中）四種存儲類別，滿足不同場景下客戶對存儲性能和成本的不同訴求。
-
對象存儲功能名稱-桶管理
桶是OBS中存儲對象的容器。OBS提供創(chuàng)建、列舉、搜索、查看、刪除等基本功能，幫助您便捷的進行桶管理。
桶是OBS中存儲對象的容器。OBS提供創(chuàng)建、列舉、搜索、查看、刪除等基本功能，幫助您便捷的進行桶管理。
-
對象存儲功能名稱-對象管理
對象是OBS中數(shù)據(jù)存儲的基本單位。OBS提供上傳、下載、列舉、搜索、斷點續(xù)傳、多段操作等基本功能，滿足您各個場景的對象管理需求。
對象是OBS中數(shù)據(jù)存儲的基本單位。OBS提供上傳、下載、列舉、搜索、斷點續(xù)傳、多段操作等基本功能，滿足您各個場景的對象管理需求。
-
對象存儲功能名稱-權(quán)限管理
OBS通過IAM權(quán)限、桶/對象策略和ACL三種方式配合進行權(quán)限管理。您可以通過IAM自定義策略授予IAM用戶細(xì)粒度的OBS權(quán)限，也可以對桶和對象設(shè)置不同的策略及ACL來控制桶和對象的讀寫權(quán)限。
OBS通過IAM權(quán)限、桶/對象策略和ACL三種方式配合進行權(quán)限管理。您可以通過IAM自定義策略授予IAM用戶細(xì)粒度的OBS權(quán)限，也可以對桶和對象設(shè)置不同的策略及ACL來控制桶和對象的讀寫權(quán)限。
-
對象存儲功能名稱-服務(wù)端加密
您可以將數(shù)據(jù)加密后存儲到OBS中，提高數(shù)據(jù)的安全性。OBS提供SSE-KMS和SSE-C兩種服務(wù)端加密方式。
您可以將數(shù)據(jù)加密后存儲到OBS中，提高數(shù)據(jù)的安全性。OBS提供SSE-KMS和SSE-C兩種服務(wù)端加密方式。
-
對象存儲功能名稱-生命周期管理
您可以通過生命周期規(guī)則來管理對象的生命周期，例如定期將桶中的對象刪除或者轉(zhuǎn)換對象的存儲類別。
您可以通過生命周期規(guī)則來管理對象的生命周期，例如定期將桶中的對象刪除或者轉(zhuǎn)換對象的存儲類別。
-
對象存儲功能名稱-靜態(tài)網(wǎng)站托管
您可以將靜態(tài)網(wǎng)站文件上傳至OBS桶中，并對這些文件賦予匿名用戶可讀權(quán)限，然后將該桶配置成靜態(tài)網(wǎng)站托管模式，以實現(xiàn)在OBS上托管靜態(tài)網(wǎng)站。
您可以將靜態(tài)網(wǎng)站文件上傳至OBS桶中，并對這些文件賦予匿名用戶可讀權(quán)限，然后將該桶配置成靜態(tài)網(wǎng)站托管模式，以實現(xiàn)在OBS上托管靜態(tài)網(wǎng)站。
-
對象存儲功能名稱-防盜鏈
為了防止用戶在OBS的數(shù)據(jù)被其他人盜鏈，OBS支持基于HTTP Header中表頭字段Referer的防盜鏈方法，同時支持訪問白名單和訪問黑名單的設(shè)置。
為了防止用戶在OBS的數(shù)據(jù)被其他人盜鏈，OBS支持基于HTTP Header中表頭字段Referer的防盜鏈方法，同時支持訪問白名單和訪問黑名單的設(shè)置。
-
對象存儲功能名稱-事件通知
您可以設(shè)置在桶中發(fā)生某些特定事件時收到消息通知服務(wù)（SMN）發(fā)送的通知，以便及時掌握桶中數(shù)據(jù)的最新動態(tài)。
您可以設(shè)置在桶中發(fā)生某些特定事件時收到消息通知服務(wù)（SMN）發(fā)送的通知，以便及時掌握桶中數(shù)據(jù)的最新動態(tài)。