檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
t in self._iterator.GetNextAsMap().items()}RuntimeError出現(xiàn)了錯誤，無法查看數(shù)據(jù)數(shù)據(jù)：數(shù)據(jù)是來自這里謝謝各位大佬
手動生成加工數(shù)據(jù)集。 圖3 自動生成加工數(shù)據(jù)集 擴展信息（可選） 可選擇行業(yè)、語言信息，或自定義數(shù)據(jù)集屬性。 圖4 擴展信息 單擊“啟動加工”。當數(shù)據(jù)加工任務(wù)運行成功后，狀態(tài)將從“運行中”變?yōu)?ldquo;運行成功”，表示數(shù)據(jù)已經(jīng)完成加工。 加工后的數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集
手動生成加工數(shù)據(jù)集。 圖3 自動生成加工數(shù)據(jù)集 擴展信息（可選） 可選擇行業(yè)、語言信息，或自定義數(shù)據(jù)集屬性。 圖4 擴展信息 單擊“啟動加工”。當數(shù)據(jù)加工任務(wù)運行成功后，狀態(tài)將從“運行中”變?yōu)?ldquo;運行成功”，表示數(shù)據(jù)已經(jīng)完成加工。 加工后的數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集
加工音頻類數(shù)據(jù)集 加工音頻類數(shù)據(jù)集任務(wù)前，請先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請參見導(dǎo)入數(shù)據(jù)至盤古平臺。 創(chuàng)建音頻類數(shù)據(jù)集加工任務(wù) 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工 >
數(shù)據(jù)集概述 數(shù)據(jù)集作為數(shù)據(jù)源和可視化展示的中間環(huán)節(jié)，承接數(shù)據(jù)源的輸入，并為可視化展示提供輸入。在創(chuàng)建數(shù)據(jù)源之后，您可以基于當前數(shù)據(jù)源創(chuàng)建數(shù)據(jù)集，并對已添加的數(shù)據(jù)集做編輯、刪除、關(guān)聯(lián)、二次數(shù)據(jù)處理分析等操作。本文介紹如何創(chuàng)建數(shù)據(jù)集、編輯數(shù)據(jù)集，以及其他相關(guān)操作的指導(dǎo)。 數(shù)據(jù)準備流程
新建數(shù)據(jù)集”，進入新建數(shù)據(jù)集頁面。 雙擊或者拖拽數(shù)據(jù)表，數(shù)據(jù)表被成功添加至操作面板。 單擊數(shù)據(jù)預(yù)覽區(qū)域的“刷新預(yù)覽”，即可查看數(shù)據(jù)表的數(shù)據(jù)。 單擊數(shù)據(jù)表的，選擇需要呈現(xiàn)的字段，如需關(guān)聯(lián)其他數(shù)據(jù)表，請參見多表級聯(lián)建模。 圖1 字段選擇 輸入數(shù)據(jù)集名稱，單擊“保存”完成數(shù)據(jù)集創(chuàng)建。 字段配置
復(fù)制數(shù)據(jù)集 創(chuàng)建同類型數(shù)據(jù)集時，通過復(fù)制數(shù)據(jù)集功能，可減少重復(fù)操作，提升開發(fā)效率。 復(fù)制數(shù)據(jù)集 參考登錄華為云Astro大屏應(yīng)用界面中操作，登錄華為云Astro大屏應(yīng)用界面。 在主菜單中，選擇“數(shù)據(jù)中心”。 在左側(cè)導(dǎo)航欄中，選擇“數(shù)據(jù)集 > 全部”。 在數(shù)據(jù)集管理頁面，單擊待復(fù)制
配比多模態(tài)類數(shù)據(jù)集 數(shù)據(jù)配比是將多個數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至 4.6.9 發(fā)布多模態(tài)類數(shù)據(jù)集。 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù) 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts
分享數(shù)據(jù)集 數(shù)據(jù)集創(chuàng)建后，可復(fù)制數(shù)據(jù)集的鏈接分享給工作空間內(nèi)的其它用戶，其它用戶可查看或修改數(shù)據(jù)集。 分享數(shù)據(jù)集 參考登錄華為云Astro大屏應(yīng)用界面中操作，登錄華為云Astro大屏應(yīng)用界面。 在主菜單中，選擇“數(shù)據(jù)中心”。 在左側(cè)導(dǎo)航欄中，選擇“數(shù)據(jù)集 > 全部”。 在數(shù)據(jù)集管理
String 數(shù)據(jù)集名稱 data_type 是 String 數(shù)據(jù)集數(shù)據(jù)類型 dataset_form 是 String 數(shù)據(jù)集形式 source_dataset_id 否 String 子集的源數(shù)據(jù)集id,當dataset_form取值為SUBSET時必填，源數(shù)據(jù)集需存在已發(fā)布的版本才能創(chuàng)建子集
選擇企業(yè)項目。 在控制臺上方單擊“項目”后，單擊項目名稱，進入項目頁面。 單擊“數(shù)據(jù)管理 > 數(shù)據(jù)集”，進入數(shù)據(jù)集頁面。 單擊數(shù)據(jù)集名稱，進入數(shù)據(jù)集編輯頁面。 由自定義SQL創(chuàng)建的數(shù)據(jù)集，數(shù)據(jù)集名稱后會有“SQL”字樣。 單擊“SQL編輯”，進入SQL編輯頁面，對SQL語句進行編輯修改。
緩存加速”，可緩存數(shù)據(jù)集至“數(shù)據(jù)緩存”模塊。 數(shù)據(jù)集詳情 在“數(shù)據(jù)集”列表，單擊數(shù)據(jù)集名稱，進入數(shù)據(jù)集詳情界面。 查看數(shù)據(jù)詳情。 數(shù)據(jù)詳情頁簽展示了數(shù)據(jù)集ID、名稱、描述、數(shù)據(jù)來源、數(shù)據(jù)集類型等信息。 同時包含“待發(fā)布區(qū)”、“版本管理”和“子集管理”三個模塊。 查看數(shù)據(jù)預(yù)覽。 數(shù)據(jù)預(yù)覽頁簽
"dataset-image" # 數(shù)據(jù)集名稱 data_type = "IMAGE" # 數(shù)據(jù)集類型，圖像類型數(shù)據(jù)集 data_sources = dict() # 數(shù)據(jù)集數(shù)據(jù)來源 data_sources["type"] = 0 # 數(shù)據(jù)來源類型，0表示OBS
創(chuàng)建數(shù)據(jù)集 通過可視化方式創(chuàng)建數(shù)據(jù)集 通過SQL語句創(chuàng)建數(shù)據(jù)集 父主題： 新建數(shù)據(jù)集
更新數(shù)據(jù)集 更新數(shù)據(jù)集的名稱和描述信息。 dataset.update_dataset(dataset_name=None, description=None) 示例代碼 更新數(shù)據(jù)集名稱 from modelarts.session import Session from modelarts
加工數(shù)據(jù)集 數(shù)據(jù)加工介紹 ModelArts Studio大模型開發(fā)平臺提供數(shù)據(jù)加工功能，涵蓋了數(shù)據(jù)加工、數(shù)據(jù)合成和數(shù)據(jù)標注關(guān)鍵操作，旨在確保原始數(shù)據(jù)符合業(yè)務(wù)需求和模型訓(xùn)練的標準，是數(shù)據(jù)工程中的核心環(huán)節(jié)。 數(shù)據(jù)加工 通過專用的加工算子對數(shù)據(jù)進行預(yù)處理，確保數(shù)據(jù)符合模型訓(xùn)練的標準和
難例數(shù)據(jù)集 可選擇“全部數(shù)據(jù)集”、“僅難例數(shù)據(jù)集”、“非難例數(shù)據(jù)集”。 數(shù)據(jù)來源：OBS 表3 數(shù)據(jù)來源為OBS的數(shù)據(jù)集 參數(shù) 說明 數(shù)據(jù)來源 選擇數(shù)據(jù)來源，此處選擇“OBS”。 數(shù)據(jù)類型 選擇數(shù)據(jù)類型，可選擇“圖片”、“3D點云”、“音頻”和“文本”。 數(shù)據(jù)格式 選擇數(shù)據(jù)格式，可選
論。IMDB數(shù)據(jù)集是由斯坦福大學(xué)研究院整理的一套用于情感分析的IMDB電影評論二分類數(shù)據(jù)集，包含25000個訓(xùn)練樣本和25000個測試樣本，所有影評都被標記為正面或負面兩種評價。IMDB數(shù)據(jù)集在TF中的讀取方法與MNIST等數(shù)據(jù)集較為類似。WikiText英語詞庫數(shù)據(jù)(The WikiText
在機器學(xué)習(xí)和自然語言處理等領(lǐng)域，大多數(shù)模型的訓(xùn)練需要使用大量的數(shù)據(jù)來進行學(xué)習(xí)。這些數(shù)據(jù)可以分為有標注數(shù)據(jù)集和無標注數(shù)據(jù)集兩種類型。 無標注數(shù)據(jù)集是指在數(shù)據(jù)集中沒有提供明確標注或標簽的數(shù)據(jù)集。這意味著數(shù)據(jù)集中的每個樣本都缺少明確的分類或標簽信息。例如，在自然語言處理領(lǐng)域，無標注數(shù)據(jù)
加工多模態(tài)類數(shù)據(jù)集 加工多模態(tài)類數(shù)據(jù)集任務(wù)前，請先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請參見導(dǎo)入數(shù)據(jù)至盤古平臺。 創(chuàng)建多模態(tài)類數(shù)據(jù)集加工任務(wù) 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工 >
