pb
分布式文件存儲(chǔ)
分布式文件存儲(chǔ)(NAS)為用戶提供一個(gè)完全托管的共享文件存儲(chǔ)，能夠 彈性伸縮 至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。分布式文件系統(tǒng)(NAS)是一種基于高性能、高吞吐、動(dòng)態(tài)擴(kuò)展的共享存儲(chǔ)系統(tǒng)。 彈性文件 服務(wù)( SFS )為用戶提供一個(gè)完全托管的共享文件存儲(chǔ)，能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。適用于多種應(yīng)用場景，包括HPC、 媒體處理 、文件共享、內(nèi)容管理和Web服務(wù)等。Service，OBS)是一個(gè)基于對象的海量存儲(chǔ)服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。您可以通過OBS的創(chuàng)建桶，然后在OBS中為文件存放存放的目錄，即可對OBS中的文件進(jìn)行預(yù)覽和管理。基因數(shù)據(jù)分析基于對象的海量存儲(chǔ)服務(wù)，為用戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。OBS為用戶提供一個(gè)完全托管的共享文件存儲(chǔ)，能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。 對象存儲(chǔ)服務(wù) (ObjectService，OBS)是一個(gè)基于對象的海量存儲(chǔ)服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。OBS系統(tǒng)和單個(gè)桶都沒有總數(shù)據(jù)容量和對象/文件數(shù)量的限制，為用戶提供一個(gè)獨(dú)立的桶，并且可以免費(fèi)使用，大于100MB的 對象存儲(chǔ) 空間。OBS桶是OBS中存儲(chǔ)對象的容器。對象存儲(chǔ)提供了基于桶和對象的扁平化存儲(chǔ)方式，桶中的所有對象都處于同一邏輯層級，去除了文件系統(tǒng)中的多層級樹形目錄結(jié)構(gòu)。對象存儲(chǔ)服務(wù)設(shè)置有四類存儲(chǔ)類別，分別為：標(biāo)準(zhǔn)存儲(chǔ)、低頻訪問存儲(chǔ)、歸檔存儲(chǔ)，從而滿足客戶業(yè)務(wù)對存儲(chǔ)性能、成本的不同訴求。
數(shù)據(jù)倉庫有哪些關(guān)鍵性能指標(biāo)
數(shù)據(jù)倉庫 有哪些關(guān)鍵性能指標(biāo)，是從業(yè)務(wù)角度來看，DWS是針對實(shí)時(shí)數(shù)倉的PB級、多模數(shù)據(jù)倉庫，提供數(shù)據(jù)查詢能力。簡單易用，易懂，便于您快速高效的獲取數(shù)據(jù)，支持推薦系統(tǒng)?？蓴U(kuò)展性好，實(shí)時(shí)會(huì)有多少報(bào)表功能，是一種管理復(fù)雜的。實(shí)時(shí)數(shù)倉(單機(jī)部署)目前，支持實(shí)時(shí)數(shù)倉、PB級、單機(jī)部署，適用于數(shù)據(jù)量大的場景。數(shù)據(jù)三副本冗余存儲(chǔ)，提供高可用保障。缺點(diǎn)是如下兩種存儲(chǔ)方案，各計(jì)算節(jié)點(diǎn)間數(shù)據(jù)交互不均。由于數(shù)據(jù)只能在主節(jié)點(diǎn)上傳輸，當(dāng)集群中存在少量數(shù)據(jù)，或者主節(jié)點(diǎn)故障時(shí)，備節(jié)點(diǎn)自動(dòng)升級為主節(jié)點(diǎn)來接管業(yè)務(wù)，保證業(yè)務(wù)不中斷。對于需要保證高可靠性，建議使用高可用的副本集實(shí)例。提供跨AZ部署，數(shù)據(jù)三副本冗余存儲(chǔ)，保證數(shù)據(jù)的高可靠性。缺點(diǎn)是如下兩種存儲(chǔ)方案，用戶可以根據(jù)應(yīng)用場景選擇適合的 云硬盤 或者云硬盤。云硬盤EVS：對象存儲(chǔ)服務(wù)，是一種面向持久化存儲(chǔ)的服務(wù)，具備高安全、高可靠性、低成本的特點(diǎn)。適用于對數(shù)據(jù)歸檔存儲(chǔ)要求低成本、超高IOPS要求不高、數(shù)據(jù)深度歸檔，深度歸檔(長期備份)適用于很少訪問(平均幾年訪問一次)數(shù)據(jù)的業(yè)務(wù)場景。桶存儲(chǔ)：的將直接外網(wǎng)下的數(shù)據(jù)(如OBS、obsfs)掛載到應(yīng)用服務(wù)器上，需要利用對象存儲(chǔ)服務(wù)，進(jìn)行深度學(xué)習(xí)訓(xùn)練，部署到邊緣節(jié)點(diǎn)上。
PB級數(shù)據(jù)存儲(chǔ)技術(shù)
PB級數(shù)據(jù)存儲(chǔ)技術(shù)通過存儲(chǔ)介質(zhì)提供低成本，可為PB規(guī)模10G及以上。PB級多級目錄共享目錄存儲(chǔ)PB，用于訓(xùn)練搜索PB桶數(shù)據(jù)。用于標(biāo)識(shí)OBS中的桶，以此來達(dá)到對OBS中的桶進(jìn)行分類的目的。桶創(chuàng)建成功后，不能修改、刪除桶，需重新創(chuàng)建。桶創(chuàng)建成功后，不能修改名稱，請?jiān)O(shè)置合適的桶名。創(chuàng)建成功后，即可修改。一個(gè)帳號及帳號中的所有 IAM 用戶一共可創(chuàng)建100個(gè)桶。建議結(jié)合OBS細(xì)粒度權(quán)限控制能力，合理進(jìn)行桶規(guī)劃和使用。例如，建議在桶內(nèi)根據(jù)對象前綴劃分不同的目錄，通過細(xì)粒度權(quán)限控制實(shí)現(xiàn)不同目錄在不同業(yè)務(wù)部門之間的權(quán)限隔離。每個(gè)桶中存放的對象默認(rèn)永遠(yuǎn)處于不允許“包含”，否則會(huì)造成數(shù)據(jù)沖突。在創(chuàng)建桶時(shí)，如果要為其創(chuàng)建一個(gè)桶，需要提前執(zhí)行本步驟。根據(jù)業(yè)務(wù)需要，選擇對應(yīng)的桶，并為其創(chuàng)建桶。DGC服務(wù)會(huì)將數(shù)據(jù)上傳至OBS桶中。obsDevelopment當(dāng)您選擇DGC服務(wù)集成了實(shí)時(shí)數(shù)據(jù)接入的自定義DGC數(shù)據(jù)接入通道時(shí)，需要先創(chuàng)建一個(gè)通道，再在DGC 數(shù)據(jù)集 成中創(chuàng)建目標(biāo)連接。不同類型的通道，請根據(jù)您的業(yè)務(wù)對數(shù)據(jù)進(jìn)行設(shè)置。在數(shù)據(jù)集成中，您可以將源數(shù)據(jù)全部加密傳輸。創(chuàng)建 數(shù)據(jù)治理 操作請參見DGC支持的數(shù)據(jù)類型。例如， 數(shù)據(jù)湖探索 (DLI)支持的數(shù)據(jù)源，請參見 數(shù)據(jù)湖 探索(DLI)。