該解決方案有何用途?
大語言模型文件一般是GB到TB級別,從IDC或其它數(shù)據(jù)中心上傳至對象存儲服務 OBS桶花費時間長,操作繁瑣,中轉機器磁盤容量要求高。該解決方案通過使用一臺輕量級的彈性云服務器 ECS作為中轉,利用內(nèi)網(wǎng)帶寬將模型權重文件從源端桶流式復制到客戶同區(qū)域下的目標桶,加快模型權重文件的傳輸速度,減輕將模型權重文件下載到對象存儲時間慢的痛點。
方案架構
云服務器作為中轉服務器,將源端桶模型權重文件流式復制到用戶同區(qū)域下的目標桶,加快模型權重文件的傳輸速度。
OBS極速同步模型權重文件
版本:1.0.0????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
上次更新日期:2025年4月
來源:由華為云構建
部署:預計5分鐘
卸載:預計5分鐘
架構描述
架構描述
-
創(chuàng)建一個彈性公網(wǎng)IP EIP,用于ECS訪問由華為云解決方案團隊維護的中央服務器
-
創(chuàng)建一臺Linux彈性云服務器 ECS實例作為中轉機,并綁定公網(wǎng)IP,安裝obsutil工具,用于OBS桶之間的數(shù)據(jù)復制,并且流量穿透過該機器
-
使用對象存儲服務OBS桶,用于存儲大模型權重文件