文件系統(tǒng)類型
SFS容量型
表1 SFS容量型文件系統(tǒng)
|
參數(shù)
|
SFS容量型
|
通用文件系統(tǒng)
|
|---|---|---|
最大帶寬 |
2GB/s |
1.25TB/s |
最高IOPS |
2K |
百萬 |
時(shí)延 |
3~20ms |
10ms |
最大容量 |
4PB |
EB |
優(yōu)勢 |
大容量、高帶寬、低成本 |
大容量、高帶寬、低成本 |
應(yīng)用場景 |
大容量擴(kuò)展以及成本敏感型業(yè)務(wù),如媒體處理、文件共享、高性能計(jì)算、數(shù)據(jù)備份等。SFS容量型文件系統(tǒng)不適合海量小文件業(yè)務(wù),推薦使用SFS Turbo文件系統(tǒng)。 |
大容量擴(kuò)展以及成本敏感型業(yè)務(wù),如媒體處理、文件共享、高性能計(jì)算、數(shù)據(jù)備份等。通用文件系統(tǒng)不適合海量小文件業(yè)務(wù),推薦使用SFS Turbo文件系統(tǒng)。 |
說明:時(shí)延是指低負(fù)載情況下的最低延遲,非穩(wěn)定時(shí)延。
10MB以上為大文件,1MB以上為大IO。
SFS容量型文件系統(tǒng)目前已售罄,請(qǐng)使用通用文件系統(tǒng),涉及數(shù)據(jù)遷移的客戶可提交工單解決。
SFS Turbo
表2 SFS Turbo文件系統(tǒng)
|
參數(shù)
|
20MB/s/TiB
|
40MB/s/TiB
|
125MB/s/TiB
|
250MB/s/TiB
|
500MB/s/TiB
|
1000MB/s/TiB
|
|---|---|---|---|---|---|---|
最大帶寬 |
8GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)20 GBps |
8GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)20 GBps |
20GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)100 GBps |
20GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)100 GBps |
80GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)200 GBps |
80GB/s 如需提高吞吐能力,請(qǐng)提交工單申請(qǐng),最高可達(dá)200 GBps |
最高IOPS |
250K |
250K |
百萬級(jí)IOPS |
百萬級(jí)IOPS |
百萬級(jí)IOPS |
百萬級(jí)IOPS |
平均單路4K延遲 |
2~5ms |
2~5ms |
1~3ms |
1~3ms |
1~3ms |
1~3ms |
容量 |
3.6TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
優(yōu)勢 |
大容量、低成本 |
大容量、低成本 |
低時(shí)延、高性價(jià)比 |
低時(shí)延、高性價(jià)比 |
高IOPS、性能高密 |
高IOPS、性能高密 |
典型應(yīng)用場景 |
日志存儲(chǔ)、文件共享、內(nèi)容管理、網(wǎng)站 |
日志存儲(chǔ)、文件共享、內(nèi)容管理、網(wǎng)站 |
AI訓(xùn)練、自動(dòng)駕駛、EDA仿真、渲染、企業(yè)NAS應(yīng)用、高性能web應(yīng)用 |
AI訓(xùn)練、自動(dòng)駕駛、EDA仿真、渲染、企業(yè)NAS應(yīng)用、高性能web應(yīng)用 |
大規(guī)模AI訓(xùn)練、AI大模型、AIGC |
大規(guī)模AI訓(xùn)練、AI大模型、AIGC |
典型應(yīng)用舉例
媒體處理
媒體處理包括媒體素材的上傳、下載、編目、節(jié)目轉(zhuǎn)碼和數(shù)據(jù)歸檔等工作,涉及音視頻數(shù)據(jù)的存儲(chǔ)、調(diào)用和管理,根據(jù)其業(yè)務(wù)特性對(duì)共享的文件系統(tǒng)有如下要求:
- 媒體素材的視頻碼率高,文件規(guī)模大,要求文件系統(tǒng)容量大且易于擴(kuò)展。
- 音視頻的采集、編輯、合成等應(yīng)用要求文件系統(tǒng)無抖動(dòng)、低時(shí)延。
- 多用戶同時(shí)進(jìn)行編輯制作,要求文件系統(tǒng)提供穩(wěn)定易用的數(shù)據(jù)共享。
- 視頻渲染、特效加工需要頻繁處理小文件,要求文件系統(tǒng)具有較高的數(shù)據(jù)讀寫性能。
彈性文件服務(wù)是基于文件系統(tǒng)的共享存儲(chǔ)服務(wù),具有高速數(shù)據(jù)共享,動(dòng)態(tài)分級(jí)存儲(chǔ),按需平滑擴(kuò)展,支持在線擴(kuò)容等特點(diǎn),能充分滿足媒體處理中用戶對(duì)存儲(chǔ)容量,吞吐量,IOPS(每秒讀寫次數(shù))和各種工作負(fù)荷下低時(shí)延的需求。
某衛(wèi)視頻道欄目組外拍大量音視頻素材,現(xiàn)需要將這組素材編輯處理成為即將播出的節(jié)目,節(jié)目的編輯處理將由多個(gè)編輯工作站協(xié)作完成。為實(shí)現(xiàn)多個(gè)編輯工作站訪問到同一素材文件,欄目組選用了彈性文件服務(wù)。首先將同一文件系統(tǒng)掛載到欄目組的作為上載工作站和編輯工作站的云服務(wù)器上,再將素材文件由上載工作站上傳到掛載的文件系統(tǒng),最終實(shí)現(xiàn)多個(gè)編輯工作站直接對(duì)掛載文件系統(tǒng)中的素材進(jìn)行編輯。
高性能計(jì)算
高性能計(jì)算通常指以計(jì)算為目的,使用了很多處理器的單個(gè)計(jì)算機(jī)系統(tǒng)或者使用了多臺(tái)計(jì)算機(jī)集群的計(jì)算機(jī)系統(tǒng)和環(huán)境。能夠執(zhí)行一般個(gè)人電腦無法處理的大資料量與高性能的運(yùn)算。高性能計(jì)算具有超高浮點(diǎn)計(jì)算能力,可用于解決計(jì)算密集型、海量數(shù)據(jù)處理等業(yè)務(wù)的計(jì)算需求,如應(yīng)用于工業(yè)設(shè)計(jì)CAD/CAE,生物科學(xué),能源勘探,圖片渲染和異構(gòu)計(jì)算等涉及高性能計(jì)算集群來解決大型計(jì)算問題的領(lǐng)域。根據(jù)其業(yè)務(wù)特性對(duì)共享的文件系統(tǒng)有如下要求:
- 工業(yè)設(shè)計(jì)CAE/CAD:如汽車制造中使用到的CAE/CAD等涉及仿真軟件,在進(jìn)行數(shù)據(jù)計(jì)算時(shí)需要計(jì)算節(jié)點(diǎn)之間進(jìn)行緊密的通信,要求文件系統(tǒng)高帶寬、低時(shí)延。
- 生物科學(xué):要求參與大數(shù)據(jù)計(jì)算的文件系統(tǒng)高帶寬、高存儲(chǔ)且易于擴(kuò)展。
- 對(duì)生物基因數(shù)據(jù)進(jìn)行測序、拼接、比對(duì)等處理,提供基因組信息以及相關(guān)數(shù)據(jù)系統(tǒng)的生物信息學(xué)領(lǐng)域。
- 進(jìn)行大規(guī)模分子動(dòng)力學(xué)模擬來分析和驗(yàn)證蛋白質(zhì)在分子和原子水平上的變化的分子動(dòng)力學(xué)模擬領(lǐng)域。
- 快速地完成高通量藥物虛擬篩選從而大量縮短研發(fā)周期和減少投入資金的新藥研發(fā)等領(lǐng)域。
- 能源勘探:野外作業(yè),勘探地質(zhì),對(duì)地質(zhì)資料進(jìn)行處理和解釋以及進(jìn)行油藏和汽藏的識(shí)別要求文件系統(tǒng)內(nèi)存大、高帶寬。
- 圖片渲染:圖像處理、三維渲染,頻繁處理小文件,要求文件系統(tǒng)數(shù)據(jù)讀寫性能強(qiáng)、容量大、高帶寬。
- 異構(gòu)計(jì)算:這種以不同類型的指令集和體系架構(gòu)的計(jì)算單元為組成的系統(tǒng)計(jì)算方式要求文件系統(tǒng)高帶寬、低時(shí)延。
彈性文件服務(wù)是基于文件系統(tǒng)的共享存儲(chǔ)服務(wù),具有高速數(shù)據(jù)共享,動(dòng)態(tài)分級(jí)存儲(chǔ),按需平滑擴(kuò)展,支持在線擴(kuò)容等特點(diǎn),能充分滿足高性能計(jì)算中用戶對(duì)存儲(chǔ)容量,吞吐量,IOPS(每秒讀寫次數(shù))和各種工作負(fù)荷下低時(shí)延的需求。
某生物平臺(tái)需要軟件進(jìn)行大量的基因測序,但業(yè)務(wù)處理步驟多,業(yè)務(wù)部署慢,流程復(fù)雜,效率低,易出錯(cuò),所以自建集群跟不上業(yè)務(wù)發(fā)展。但自從使用了提供專業(yè)的高性能計(jì)算業(yè)務(wù)流程管理軟件,依托云平臺(tái)的海量計(jì)算資源和存儲(chǔ)資源,充分結(jié)合云平臺(tái)和高性能計(jì)算特點(diǎn),大大降低初始投資成本和后期運(yùn)維成本,極大縮短業(yè)務(wù)上線時(shí)間,提高使用效率,節(jié)約運(yùn)營成本。
企業(yè)網(wǎng)站/APP后臺(tái)
對(duì)于I/O密集型的網(wǎng)站業(yè)務(wù),SFS Turbo為多個(gè)Web Server提供共享的網(wǎng)站源碼目錄,存儲(chǔ),提供低延遲,高IOPS的并發(fā)共享訪問能力。業(yè)務(wù)特點(diǎn):
- 大量小文件:存放網(wǎng)站靜態(tài)文件,包括HTML文件,Json文件,靜態(tài)圖片等。
- 讀I/O密集:業(yè)務(wù)以小文件讀為主,數(shù)據(jù)寫入相對(duì)較少。
- 多個(gè)Web Server訪問同一個(gè)SFS Turbo后臺(tái),實(shí)現(xiàn)網(wǎng)站業(yè)務(wù)的高可用。
日志打印
提供多個(gè)業(yè)務(wù)節(jié)點(diǎn)提供共享的日志輸出目錄,方便分布式應(yīng)用的日志收集和管理。業(yè)務(wù)特點(diǎn):
- 多個(gè)業(yè)務(wù)主機(jī)掛載同一個(gè)共享文件系統(tǒng),并發(fā)打印日志。
- 大文件小I/O:單個(gè)日志文件比較大,但是每次日志的寫入I/O比較小。
- 寫I/O密集型:業(yè)務(wù)以小塊的寫I/O為主。
彈性文件服務(wù)精選文章推薦
1對(duì)1咨詢?nèi)A為云專屬顧問,了解適合自己的存儲(chǔ)方案