檢測到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
"dataset-image" # 數(shù)據(jù)集名稱 data_type = "IMAGE" # 數(shù)據(jù)集類型，圖像類型數(shù)據(jù)集 data_sources = dict() # 數(shù)據(jù)集數(shù)據(jù)來源 data_sources["type"] = 0 # 數(shù)據(jù)來源類型，0表示OBS
分享數(shù)據(jù)集 數(shù)據(jù)集創(chuàng)建后，可復(fù)制數(shù)據(jù)集的鏈接分享給工作空間內(nèi)的其它用戶，其它用戶可查看或修改數(shù)據(jù)集。 分享數(shù)據(jù)集 參考登錄華為云Astro大屏應(yīng)用界面中操作，登錄華為云Astro大屏應(yīng)用界面。 在主菜單中，選擇“數(shù)據(jù)中心”。 在左側(cè)導(dǎo)航欄中，選擇“數(shù)據(jù)集 > 全部”。 在數(shù)據(jù)集管理
String 數(shù)據(jù)集名稱 data_type 是 String 數(shù)據(jù)集數(shù)據(jù)類型 dataset_form 是 String 數(shù)據(jù)集形式 source_dataset_id 否 String 子集的源數(shù)據(jù)集id,當(dāng)dataset_form取值為SUBSET時(shí)必填，源數(shù)據(jù)集需存在已發(fā)布的版本才能創(chuàng)建子集
t in self._iterator.GetNextAsMap().items()}RuntimeError出現(xiàn)了錯(cuò)誤，無法查看數(shù)據(jù)數(shù)據(jù)：數(shù)據(jù)是來自這里謝謝各位大佬
配比多模態(tài)類數(shù)據(jù)集 數(shù)據(jù)配比是將多個(gè)數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個(gè)數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至 4.6.9 發(fā)布多模態(tài)類數(shù)據(jù)集。 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù) 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts
新建數(shù)據(jù)集”，進(jìn)入新建數(shù)據(jù)集頁面。 雙擊或者拖拽數(shù)據(jù)表，數(shù)據(jù)表被成功添加至操作面板。 單擊數(shù)據(jù)預(yù)覽區(qū)域的“刷新預(yù)覽”，即可查看數(shù)據(jù)表的數(shù)據(jù)。 單擊數(shù)據(jù)表的，選擇需要呈現(xiàn)的字段，如需關(guān)聯(lián)其他數(shù)據(jù)表，請(qǐng)參見多表級(jí)聯(lián)建模。 圖1 字段選擇 輸入數(shù)據(jù)集名稱，單擊“保存”完成數(shù)據(jù)集創(chuàng)建。 字段配置
選擇企業(yè)項(xiàng)目。 在控制臺(tái)上方單擊“項(xiàng)目”后，單擊項(xiàng)目名稱，進(jìn)入項(xiàng)目頁面。 單擊“數(shù)據(jù)管理 > 數(shù)據(jù)集”，進(jìn)入數(shù)據(jù)集頁面。 單擊數(shù)據(jù)集名稱，進(jìn)入數(shù)據(jù)集編輯頁面。 由自定義SQL創(chuàng)建的數(shù)據(jù)集，數(shù)據(jù)集名稱后會(huì)有“SQL”字樣。 單擊“SQL編輯”，進(jìn)入SQL編輯頁面，對(duì)SQL語句進(jìn)行編輯修改。
更新數(shù)據(jù)集 更新數(shù)據(jù)集的名稱和描述信息。 dataset.update_dataset(dataset_name=None, description=None) 示例代碼 更新數(shù)據(jù)集名稱 from modelarts.session import Session from modelarts
逐步實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、軟硬協(xié)同、人機(jī)協(xié)同的生產(chǎn)運(yùn)營新模式。算盤有一個(gè)龐大豐富的組件庫，即若干被封裝的功能模塊，包含數(shù)據(jù)采集（硬件接入、數(shù)據(jù)庫讀寫等）、數(shù)據(jù)處理（數(shù)據(jù)清洗、統(tǒng)計(jì)分析等）、工業(yè)機(jī)理（工控驅(qū)動(dòng)、圖像處理、信號(hào)分析、規(guī)則引擎、建模仿真等）、AI（特征工程、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)
加工多模態(tài)類數(shù)據(jù)集 加工多模態(tài)類數(shù)據(jù)集 配比多模態(tài)類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
項(xiàng)目ID。 源端數(shù)據(jù)源ID 源端數(shù)據(jù)源ID。 目標(biāo)端數(shù)據(jù)源ID 目標(biāo)端數(shù)據(jù)源ID。 源端數(shù)據(jù)源的名稱 源端數(shù)據(jù)源的名稱。 目標(biāo)端數(shù)據(jù)源的名稱 目標(biāo)端數(shù)據(jù)源的名稱。 源端數(shù)據(jù)源所屬集成應(yīng)用ID 源端數(shù)據(jù)源所屬集成應(yīng)用ID。 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID。
難例數(shù)據(jù)集 可選擇“全部數(shù)據(jù)集”、“僅難例數(shù)據(jù)集”、“非難例數(shù)據(jù)集”。 數(shù)據(jù)來源：OBS 表3 數(shù)據(jù)來源為OBS的數(shù)據(jù)集 參數(shù) 說明 數(shù)據(jù)來源 選擇數(shù)據(jù)來源，此處選擇“OBS”。 數(shù)據(jù)類型 選擇數(shù)據(jù)類型，可選擇“圖片”、“3D點(diǎn)云”、“音頻”和“文本”。 數(shù)據(jù)格式 選擇數(shù)據(jù)格式，可選
選擇集成最早獲取的消息數(shù)據(jù)還是最新獲取的消息數(shù)據(jù)。 元數(shù)據(jù) 指從源端獲取到的JSON或XML格式數(shù)據(jù)中，要集成到目標(biāo)端的每一個(gè)底層key-value型數(shù)據(jù)元素。 別名：對(duì)元數(shù)據(jù)的自定義名稱。 類型：元數(shù)據(jù)的數(shù)據(jù)類型，需要與源端數(shù)據(jù)中對(duì)應(yīng)字段的數(shù)據(jù)類型一致。 解析路徑：由于數(shù)據(jù)根字段不設(shè)置，此處填寫元數(shù)據(jù)的完整路徑。
加工多模態(tài)類數(shù)據(jù)集 加工多模態(tài)類數(shù)據(jù)集任務(wù)前，請(qǐng)先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請(qǐng)參見導(dǎo)入數(shù)據(jù)至盤古平臺(tái)。 創(chuàng)建多模態(tài)類數(shù)據(jù)集加工任務(wù) 登錄ModelArts Studio大模型開發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工 >
全部”。 在數(shù)據(jù)集管理頁面，單擊“新建數(shù)據(jù)集”。 在新增數(shù)據(jù)集頁面，設(shè)置數(shù)據(jù)集名稱、選擇數(shù)據(jù)類型、數(shù)據(jù)源和目錄，單擊“保存”。 圖5 新建DLI數(shù)據(jù)集 數(shù)據(jù)集名稱：新建數(shù)據(jù)集的名稱，用于標(biāo)識(shí)該數(shù)據(jù)集。長度為1~60個(gè)字符，可包括中文、字母、數(shù)字及下劃線。 數(shù)據(jù)類型：選擇“DLI”。
在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)發(fā)布 > 發(fā)布任務(wù)”，單擊界面右上角“創(chuàng)建發(fā)布任務(wù)”。 在“創(chuàng)建發(fā)布任務(wù)”頁面，篩選數(shù)據(jù)集模態(tài)，如“圖片 ”類型的數(shù)據(jù)集。 圖4 篩選數(shù)據(jù)集模態(tài) 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性。 由于數(shù)據(jù)工程需要支持對(duì)接
論。IMDB數(shù)據(jù)集是由斯坦福大學(xué)研究院整理的一套用于情感分析的IMDB電影評(píng)論二分類數(shù)據(jù)集，包含25000個(gè)訓(xùn)練樣本和25000個(gè)測試樣本，所有影評(píng)都被標(biāo)記為正面或負(fù)面兩種評(píng)價(jià)。IMDB數(shù)據(jù)集在TF中的讀取方法與MNIST等數(shù)據(jù)集較為類似。WikiText英語詞庫數(shù)據(jù)(The WikiText
加工圖片類數(shù)據(jù)集 加工圖片類數(shù)據(jù)集 標(biāo)注圖片類數(shù)據(jù)集 配比圖片類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
發(fā)布圖片類數(shù)據(jù)集 評(píng)估圖片類數(shù)據(jù)集 發(fā)布圖片類數(shù)據(jù)集 父主題： 發(fā)布數(shù)據(jù)集
自定義數(shù)據(jù)集加工算子 除了預(yù)置的加工算子外，ModelArts Studio平臺(tái)還支持用戶創(chuàng)建自定義加工算子，以滿足特定的數(shù)據(jù)處理需求和業(yè)務(wù)場景，用戶可以根據(jù)實(shí)際情況靈活定義處理邏輯，進(jìn)一步提升模型訓(xùn)練的效果和適應(yīng)性。 約束限制 該功能僅對(duì)包年/包月訂購用戶開放。 圖1 訂購服務(wù)
