檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
obsutil性能調(diào)優(yōu)最佳實踐 obsutil對大于50MB的文件/對象默認采用分段方式進行上傳、下載和復制,與分段任務相關的參數(shù)在.obsutilconfig配置文件中,如表1所示。 表1 多段參數(shù) 參數(shù) 描述 defaultBigfileThreshold 開啟分段任務的閾值
級參數(shù):threshold。 例如:obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800 其中 obsutil cp d:\temp\test.txt obs://bucket-test/key可以將D盤temp路徑下名為test
輔助命令 更新配置文件 刪除斷點記錄文件 查看命令幫助 查看版本號 歸檔日志文件 列舉失敗結果清單文件
從系統(tǒng)環(huán)境變量查找訪問密鑰時,OBS_ACCESS_KEY_ID對應ak,OBS_SECRET_ACCESS_KEY對應sk,OBS_SECURITY_TOKEN對應token。 如果使用客戶端跨區(qū)域復制模式,則系統(tǒng)環(huán)境變量中的OBS_ACCESS_KEY_ID_CRR對應akCrr,OBS_SECR
快速入門 準備環(huán)境 初始化配置 快速使用
最佳實踐 利用obsutil幫助命令查找工具功能 利用crontab配置定時任務 將obsutil設為系統(tǒng)內(nèi)置命令 為obsutil配置自動獲取訪問密鑰 obsutil性能調(diào)優(yōu)最佳實踐 利用obsutil進行斷點續(xù)傳 利用obsutil上傳軟鏈接 為obsutil配置HTTP代理
常見示例 上傳示例 同步上傳示例 下載示例 同步下載示例 復制示例 同步復制示例 列舉示例 列舉分段上傳任務示例 刪除桶內(nèi)全部分段上傳任務
問題定位 問題定位簡介 日志文件 結果清單 返回碼
通過obsutil在OBS上完成基本的數(shù)據(jù)存?。↙inux) obsutil是一款用于訪問管理華為云對象存儲服務(Object Storage Service,OBS)的命令行工具,您可以使用該工具對OBS進行常用的配置管理操作,如創(chuàng)建桶、上傳文件/文件夾、下載文件/文件夾、刪除文件/文件夾等。
對象相關命令 創(chuàng)建文件夾 上傳對象 查詢對象屬性 設置對象屬性 列舉對象 復制對象 移動對象 下載對象 生成對象的下載鏈接 刪除對象 增量同步上傳對象 增量同步復制對象 增量同步下載對象 恢復歸檔存儲對象 恢復失敗的上傳任務 恢復失敗的復制任務 恢復失敗的下載任務 列舉分段上傳任務
本章節(jié)以Linux操作系統(tǒng)為例,介紹如何通過obsutil在OBS上完成基本的數(shù)據(jù)存取操作,具體操作流程如圖1所示。 圖1 obsutil快速使用流程 前提條件 已獲取到obsutil工具,并完成了初始化配置。 已進入obsutil工具所在目錄。 操作步驟 運行./obsutil mb obs://bucket-test
結果清單 配置結果清單 批量任務執(zhí)行完成后,會生成結果清單文件,默認情況下結果清單文件保存在運行obsutil命令的用戶目錄的子文件夾.obsutil_output下,用戶可以通過在運行命令時指定-o附加參數(shù)來指定保存結果清單文件的文件夾。 查看結果清單 結果清單文件包含三種類型
下載對象 功能說明 下載對象或按對象名前綴批量下載對象到本地。 下載對象或批量下載時,請確保OBS桶中的源對象不發(fā)生變化,否則可能產(chǎn)生下載失敗或者數(shù)據(jù)不一致的問題。 如果待下載對象的存儲類型為低頻訪問存儲,必須首先恢復待下載對象,否則無法下載成功。 命令結構 Windows操作系統(tǒng)
obsutil cp命令如何開啟增量上傳、下載和復制? 在執(zhí)行obsutil cp命令進行上傳/下載時,可以通過增加“-u”參數(shù)開啟增量功能。 該參數(shù)的含義為:上傳/下載/復制每個對象時都會對比源路徑和目標路徑,僅在目標對象不存在,或者對象大小不一致,或者目標對象的最后修改時間早
列舉接口是否支持保存結果到本地文件 列舉桶內(nèi)對象返回的大小與控制臺桶內(nèi)對象大小不一致 批量任務執(zhí)行失敗如何確認錯誤信息 i/o timout、EOF錯誤原因定位及解決 批量任務進度條中出現(xiàn)問號的原因 是否支持多個config文件在同一個目錄下 Windows操作系統(tǒng)下,下載對象時發(fā)現(xiàn)本地和云上對象數(shù)量不一致 是否支持修改對象名稱(重命名)
指定用戶的securitytoken。 響應結果 字段名 描述 Key 對象名稱。 LastModified 對象的最后修改時間。 Size 對象的大小。 單位:字節(jié)。 StorageClass 對象的存儲類別。 支持的值: standard:標準存儲,訪問時延低、吞吐量高,適用于有大量熱點文件(平均一個月多次)或小文件(小于1MB)。
假設bucket-src桶內(nèi)包含如下對象: obs://bucket-src/test1.txt obs://bucket-src/test2.txt obs://bucket-src/test3.txt obs://bucket-src/test4.txt obs://bucket-src/test5
OBS Browser+和obsutil等工具相關 使用obsutil下載文件夾前期速度正常,下載到90%后速度變慢 使用obsutil下載文件到99%后失敗 obsutil上傳下載速度慢 obsutil cp命令如何開啟增量上傳、下載和復制? 并行文件系統(tǒng)是否支持掛載到Windows服務器?
桶相關命令 創(chuàng)建桶 列舉桶 查詢桶屬性 設置桶屬性 刪除桶 設置桶策略 獲取桶策略 刪除桶策略 設置桶的生命周期配置 獲取桶的生命周期配置 刪除桶的生命周期配置
Object) 面向對象存儲場景海量數(shù)據(jù)遷移管理軟件。i2DTO主要功能是數(shù)據(jù)遷移和備份:(1)將傳統(tǒng) NAS 存儲上的數(shù)據(jù)遷移至面向對象存儲或本地存儲上 ;(2)將對象存儲上的數(shù)據(jù)還原到同步主機的本地存儲或生產(chǎn)主機的共享存儲上 ;(3)本地存儲、對象存儲到對象存儲的比較與同步。(4)通過