檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
在左側(cè)導航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)發(fā)布 > 發(fā)布任務(wù)”，單擊界面右上角“創(chuàng)建發(fā)布任務(wù)”。 在“創(chuàng)建發(fā)布任務(wù)”頁面，篩選數(shù)據(jù)集模態(tài)，如“視頻”類型的數(shù)據(jù)集。 圖2 篩選數(shù)據(jù)集模態(tài) 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性。當前視頻類數(shù)據(jù)集僅支持發(fā)布標準格式。
Cityscapes數(shù)據(jù)集：Cityscapes數(shù)據(jù)集是一個大規(guī)模的城市場景分割數(shù)據(jù)集，包含5000張高分辨率圖像和標注數(shù)據(jù)。與Facades數(shù)據(jù)集相比，Cityscapes數(shù)據(jù)集更適用于研究城市場景的語義分割。 ADE20K數(shù)據(jù)集：ADE20K數(shù)據(jù)集是一個包含超過15000張圖像和分割標注的
配比視頻類數(shù)據(jù)集 數(shù)據(jù)配比是將多個數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至發(fā)布視頻類數(shù)據(jù)集。 創(chuàng)建視頻類數(shù)據(jù)集配比任務(wù) 創(chuàng)建視頻類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts St
配比預測類數(shù)據(jù)集 預測數(shù)據(jù)配比是將單個數(shù)據(jù)集中目標列各分類值按照特定比例關(guān)系組合并生成“加工數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至發(fā)布預測類數(shù)據(jù)集。 創(chuàng)建預測類數(shù)據(jù)集配比任務(wù) 創(chuàng)建預測類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts
1.深度學習數(shù)據(jù)集收集網(wǎng)站http://deeplearning.net/datasets/**收集大量的各深度學習相關(guān)的數(shù)據(jù)集，但并不是所有開源的數(shù)據(jù)集都能在上面找到相關(guān)信息。2、Tiny Images Datasethttp://horatio.cs.nyu.edu/mit/tiny/data/index
AI蟲子種類識別數(shù)據(jù)集（近3000張圖片已劃分、已標注）｜適用于YOLO系列深度學習分類檢測任務(wù)【數(shù)據(jù)集分享】 數(shù)據(jù)集已劃分為 train、test、val 三個子集，共計近 3000張高清圖像，每張圖像都包含清晰的目標注釋文件（YOLO格式），非常適合用于深度學習模型中的目標檢測
在完成數(shù)據(jù)標注審核后，需在“數(shù)據(jù)工程 > 標注任務(wù)”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成后的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 管理標注后的文本類數(shù)據(jù)集 平臺支持超級管理員、管理員、標注管理員對標注的數(shù)據(jù)集進行如下操作： 生成：在完成
評估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集前，ModelArts Studio大模型開發(fā)平臺支持對數(shù)據(jù)集進行評估操作，幫助用戶優(yōu)化數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)滿足高標準，提升模型性能。 如果無需使用數(shù)據(jù)評估操作，可跳過此章節(jié)至發(fā)布文本類數(shù)據(jù)集。 創(chuàng)建文本類數(shù)據(jù)集評估標準 ModelArts Stu
評估視頻類數(shù)據(jù)集 發(fā)布視頻類數(shù)據(jù)集前，ModelArts Studio大模型開發(fā)平臺支持對數(shù)據(jù)集進行評估操作，幫助用戶優(yōu)化數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)滿足高標準，提升模型性能。 如果無需使用數(shù)據(jù)評估操作，可跳過此章節(jié)至發(fā)布視頻類數(shù)據(jù)集。 創(chuàng)建視頻類數(shù)據(jù)集評估標準 ModelArts Stu
可選擇行業(yè)、語言信息，或自定義數(shù)據(jù)集屬性。 圖5 擴展信息 單擊“啟動加工”后，啟動加工任務(wù)。當數(shù)據(jù)加工任務(wù)運行成功后，狀態(tài)將從“運行中”變?yōu)?ldquo;運行成功”，表示數(shù)據(jù)已經(jīng)完成加工。 在完成數(shù)據(jù)加工后，如果無需使用數(shù)據(jù)標注、數(shù)據(jù)合成功能，可直接在“加工任務(wù)”頁面單擊操作列“生成”，生成加工數(shù)據(jù)集。 加工后的數(shù)據(jù)集可在“數(shù)據(jù)工程
在“創(chuàng)建發(fā)布任務(wù)”頁面，篩選數(shù)據(jù)集模態(tài)，如“文本”類型的數(shù)據(jù)集。 圖2 篩選“文本”類數(shù)據(jù)集 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性和格式配置，如圖3。 由于數(shù)據(jù)工程需要支持對接盤古大模型或三方大模型，為了使這些數(shù)據(jù)集能夠被這些大模型正常訓練，平臺支持發(fā)布不同格式的數(shù)據(jù)集。
評估數(shù)據(jù)集 數(shù)據(jù)評估介紹 數(shù)據(jù)評估旨在通過對數(shù)據(jù)集進行系統(tǒng)的質(zhì)量檢查，評估其數(shù)據(jù)質(zhì)量和代表性等多個維度，發(fā)現(xiàn)潛在問題并加以解決。通常來說，數(shù)據(jù)評估遵循以下方法進行： 質(zhì)量評估： 數(shù)據(jù)集質(zhì)量評估：可以通過抽樣評估的方式，隨機抽取數(shù)據(jù)集中的樣本，使用人工或自動打分的方式，來對數(shù)據(jù)集的質(zhì)量進行打分。
數(shù)據(jù)集 表1 數(shù)據(jù)集權(quán)限 權(quán)限 對應API接口 授權(quán)項（Action） IAM項目 (Project) 企業(yè)項目 (Enterprise Project) 獲取數(shù)據(jù)集列表 GET /v1.0/{project_id}/common/datasets octopus:dataset:list
數(shù)據(jù)集 獲取數(shù)據(jù)集列表 創(chuàng)建數(shù)據(jù)集 獲取數(shù)據(jù)集詳情 刪除數(shù)據(jù)集 父主題： API
數(shù)據(jù)集 查詢數(shù)據(jù)集和目錄列表 獲取數(shù)據(jù)集詳情 刪除數(shù)據(jù)集 保存或修改數(shù)據(jù)集
數(shù)據(jù)集 創(chuàng)建數(shù)據(jù)集 數(shù)據(jù)集管理 導出任務(wù) OCTOPUS數(shù)據(jù)集格式說明 父主題： 數(shù)據(jù)資產(chǎn)
評估數(shù)據(jù)集 數(shù)據(jù)評估介紹 數(shù)據(jù)評估旨在通過對數(shù)據(jù)集進行系統(tǒng)的質(zhì)量檢查，評估其數(shù)據(jù)質(zhì)量和代表性等多個維度，發(fā)現(xiàn)潛在問題并加以解決。通常來說，數(shù)據(jù)評估遵循以下方法進行： 質(zhì)量評估： 數(shù)據(jù)集質(zhì)量評估：可以通過抽樣評估的方式，隨機抽取數(shù)據(jù)集中的樣本，使用人工或自動打分的方式，來對數(shù)據(jù)集的質(zhì)量進行打分。
在完成數(shù)據(jù)標注后，如果無需進行標注審核，可直接在“數(shù)據(jù)標注 > 任務(wù)管理”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 AI預標注功能介紹 標注任務(wù)開始前，系統(tǒng)對當前任務(wù)中的所有數(shù)據(jù)批量智能生成標注數(shù)據(jù)，具體操作如下。
IST手寫數(shù)字數(shù)據(jù)集、Fashion-MNIST數(shù)據(jù)集、CIFAR-10和CIFAR-100數(shù)據(jù)集、ILSVRC競賽的ImageNet數(shù)據(jù)集、用于檢測和分割的PASCAL VOC和COCO數(shù)據(jù)集等。而自然語言處理(NLP)方向的經(jīng)典數(shù)據(jù)集包括IMDB電影評論數(shù)據(jù)集、WikiText（維基百科）數(shù)據(jù)集、Amazon
在完成數(shù)據(jù)標注審核后，需在“數(shù)據(jù)標注 > 任務(wù)管理”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 管理標注后的音頻類數(shù)據(jù)集 平臺支持超級管理員、管理員、標注管理員對標注的數(shù)據(jù)集進行如下操作： 生成：在完成數(shù)
