訓(xùn)練作業(yè)
在線語(yǔ)音轉(zhuǎn)換
在線語(yǔ)音轉(zhuǎn)換在線語(yǔ)音文件轉(zhuǎn)換進(jìn)入視頻轉(zhuǎn)換方法一(新版)。在線語(yǔ)音文件轉(zhuǎn)換在OBS服務(wù)管理控制臺(tái),創(chuàng)建桶。說(shuō)明:請(qǐng)選擇處于“未發(fā)布”狀態(tài)的桶,若沒(méi)有請(qǐng)先創(chuàng)建桶。obs-5創(chuàng)建方式導(dǎo)入文本格式離線/模型作業(yè)文件在OBS服務(wù)管理控制臺(tái),選擇“離線導(dǎo)入”或者“在線服務(wù)”。名稱只能包含中文、英文字母、數(shù)字、下劃線,且長(zhǎng)度不能超過(guò)32個(gè)字符。描述在線服務(wù)的簡(jiǎn)要描述。來(lái)源訓(xùn)練作業(yè)的資源池,“資源類型”不同時(shí)存在,默認(rèn)也選擇“在線編輯”。在下拉框中選擇在線服務(wù)對(duì)應(yīng)的資源類型。AI引擎及版本,單擊選擇需要?jiǎng)?chuàng)建AI應(yīng)用的AI應(yīng)用版本。您可以根據(jù)實(shí)際需求選擇可用的AI應(yīng)用及版本。推理代碼編寫請(qǐng)參考編寫代碼示例。自定義 鏡像 指在線編輯的推理代碼文件存儲(chǔ)的OBS路徑。由于此算法的代碼已存儲(chǔ)在OBS中,因此為防止模型未存儲(chǔ),導(dǎo)致創(chuàng)建失敗。請(qǐng)根據(jù)您的鏡像文件規(guī)范,按照規(guī)范制作鏡像。從OBS導(dǎo)入元模型(使用預(yù)置算法)完成模型開(kāi)發(fā)和配置文件編寫請(qǐng)參考模型包規(guī)范。不使用預(yù)置算法,直接使用用戶的訓(xùn)練代碼,需要提供模型開(kāi)發(fā)環(huán)境、配置文件,即可使用。可選,用戶自己創(chuàng)建的推理代碼文件。|---文件名,編寫算法模型文件,存儲(chǔ)在OBS的代碼中,此文件為訓(xùn)練作業(yè)中模型輸出位置的配置參數(shù)。
算法開(kāi)發(fā)平臺(tái)
算法開(kāi)發(fā)平臺(tái)提供的算法能力,開(kāi)發(fā)者基于已有的代碼實(shí)現(xiàn)邏輯代碼,從而可以直接調(diào)用,基于該基礎(chǔ)實(shí)現(xiàn)能力的代碼修改。算法開(kāi)發(fā)者基于此構(gòu)建的算法主要目的是解決客戶的代碼編寫問(wèn)題,通過(guò)特征選擇和訓(xùn)練 數(shù)據(jù)集 ,實(shí)現(xiàn)模型訓(xùn)練的代碼開(kāi)發(fā)。邏輯代碼目錄下存在存在代碼文件“custom_data”。訓(xùn)練服務(wù)的模型ID。邏輯代碼目錄,默認(rèn)為空,不使用任何OBS目錄。是否使用cor-hw表頭。訓(xùn)練數(shù)據(jù)的算法代碼目錄。目前支持以下兩種方式:Code:建議依據(jù)模型開(kāi)發(fā)環(huán)境所在的OBS路徑,制作自定義鏡像的容器鏡像。容器啟動(dòng)時(shí)默認(rèn)設(shè)置為1。如果您在本地或使用OBS服務(wù),請(qǐng)確保服務(wù)已開(kāi)通OBS服務(wù)。模型文件應(yīng)存放在訓(xùn)練輸出目錄下,訓(xùn)練代碼目錄需符合規(guī)范,并且能存儲(chǔ)輸出的模型文件為“.py”。模型啟動(dòng)文件,該模型文件需存儲(chǔ)在OBS桶中。metrics:資源限制,當(dāng)前支持job.job.job。不同的訓(xùn)練作業(yè),其對(duì)應(yīng)的資源規(guī)格信息不一樣,詳情請(qǐng)參見(jiàn)支持的資源規(guī)格說(shuō)明。資源規(guī)格,當(dāng)前僅支持GPU類型的資源規(guī)格,且可選的為容器鏡像的企業(yè)項(xiàng)目。“metadata”元模型元數(shù)據(jù),“metadata”部分內(nèi)容從訓(xùn)練中選擇創(chuàng)建的算法,需要修改“名稱”。
python腳本識(shí)別圖片中的文字
python腳本識(shí)別圖片中的文字內(nèi)容,并將識(shí)別的結(jié)構(gòu)化結(jié)果以JSON格式返回給用戶。在“模型訓(xùn)練”頁(yè)面,單擊訓(xùn)練作業(yè)名稱,進(jìn)入詳情頁(yè)。預(yù)測(cè)代碼框會(huì)展示預(yù)測(cè)結(jié)果,預(yù)測(cè)結(jié)果符合預(yù)期。由于每一類數(shù)據(jù)僅需要100個(gè)類別的圖片,因此為了評(píng)估分類模型,建議單擊評(píng)估結(jié)果上方的“上傳”,上傳一張圖片。如果單擊“可預(yù)訓(xùn)練”,評(píng)估模型,右側(cè)會(huì)顯示該模型的預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果與模型預(yù)測(cè)結(jié)果需要有明顯的重合度高,分類準(zhǔn)確率高于90%。單擊“可預(yù)訓(xùn)練”,進(jìn)入模型訓(xùn)練頁(yè)面。在彈出的“創(chuàng)建項(xiàng)目”頁(yè)面中,也可以在“創(chuàng)建項(xiàng)目”頁(yè)簽下看到新建的項(xiàng)目。在“創(chuàng)建項(xiàng)目”頁(yè)面,項(xiàng)目創(chuàng)建完成后,項(xiàng)目的狀態(tài)顯示為“初始化”。“待學(xué)習(xí)”的模型可以訓(xùn)練出效果較好的模型,“創(chuàng)建項(xiàng)目”節(jié)點(diǎn)變成可在“創(chuàng)建項(xiàng)目”頁(yè)簽下,在“創(chuàng)建項(xiàng)目”中,對(duì)新建項(xiàng)目進(jìn)行編輯。在“數(shù)據(jù)”頁(yè)面,單擊“新建項(xiàng)目”。輸入項(xiàng)目名稱,單擊“確定”,完成項(xiàng)目創(chuàng)建。在“數(shù)據(jù)”頁(yè)面,單擊左上角的“新建項(xiàng)目”。在“數(shù)據(jù)”頁(yè)面單擊左上角的“創(chuàng)建項(xiàng)目”。在彈出的“創(chuàng)建項(xiàng)目”頁(yè)面,按照界面提示設(shè)置項(xiàng)目信息,單擊“確定”。創(chuàng)建完成后,項(xiàng)目狀態(tài)變?yōu)椤俺跏蓟薄?可選)在“項(xiàng)目”頁(yè)簽下,單擊項(xiàng)目名稱。在左側(cè)導(dǎo)航欄單擊“項(xiàng)目管理”,進(jìn)入“項(xiàng)目”頁(yè)面。
h3c云教學(xué)服務(wù)器
h3c云教學(xué)服務(wù)器主要應(yīng)用于各高校、學(xué)科、學(xué)科和產(chǎn)業(yè)等領(lǐng)域,由淺入深,帶您玩轉(zhuǎn)云教學(xué)時(shí)代的主角,為企業(yè)提供了教學(xué)資源,在學(xué)校、科研和培養(yǎng)等領(lǐng)域的信息化解決方案。本文指導(dǎo)您在ModelArts平臺(tái)上開(kāi)發(fā)。您將為您提供華為云帳號(hào)或者 IAM 用戶,方便進(jìn)行資源管理、權(quán)限管理和可視化管理等操作。同時(shí),ModelArts平臺(tái)還提供了部分預(yù)置的多種基礎(chǔ)操作,供您在ModelArts支持的所有功能上預(yù)置的操作。本章節(jié)幫助您了解如何將自定義數(shù)據(jù)集及其對(duì)應(yīng)數(shù)據(jù)集,并為Notebook對(duì)不同類型的數(shù)據(jù)集進(jìn)行操作演示。進(jìn)入自定義鏡像列表入口,單擊“創(chuàng)建訓(xùn)練作業(yè)”。在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面,參考如下說(shuō)明填寫關(guān)鍵參數(shù)?;拘畔懊Q”和“描述”?!懊枋觥保嚎刹惠斎??!坝?xùn)練輸入位置”:選擇“自動(dòng)學(xué)習(xí)”?!安渴痤愋汀保耗J(rèn)選擇“正?!??!坝?xùn)練管理”:選擇預(yù)置算法。參數(shù)填寫完成后,單擊“下一步”。確認(rèn)信息無(wú)誤后,單擊“提交”,完成訓(xùn)練作業(yè)的創(chuàng)建。訓(xùn)練作業(yè)一般需要運(yùn)行一段時(shí)間,根據(jù)您選擇的數(shù)據(jù)量和資源不同,訓(xùn)練時(shí)間將耗時(shí)幾分鐘到幾十分鐘不等。訓(xùn)練作業(yè)創(chuàng)建完成后,將立即啟動(dòng),運(yùn)行過(guò)程中將按照您選擇的資源按需計(jì)費(fèi)。您可以前往訓(xùn)練管理>訓(xùn)練作業(yè),查看訓(xùn)練作業(yè)的“狀態(tài)”、“訓(xùn)練作業(yè)”、“標(biāo)簽”和“描述”。
機(jī)器學(xué)習(xí)數(shù)據(jù)集購(gòu)買
機(jī)器學(xué)習(xí)數(shù)據(jù)集購(gòu)買,也叫“book”。其中,“book”類型的基本都是經(jīng)過(guò)了優(yōu)化的。您可以將數(shù)據(jù)導(dǎo)入至 數(shù)據(jù)管理 器中,在這個(gè)過(guò)程中,使用訓(xùn)練數(shù)據(jù)集,訓(xùn)練代碼。如果您不了解,您可以前往Tools官方文檔體驗(yàn)吧!(如下)您可以使用以下步驟,下載并上傳數(shù)據(jù),在下載完成后,您可以在您的數(shù)據(jù)集中查看訓(xùn)練數(shù)據(jù)。Gallery下載并登錄ModelArts管理控制臺(tái),選擇左側(cè)導(dǎo)航欄的“訓(xùn)練管理>訓(xùn)練作業(yè)”,單擊“創(chuàng)建訓(xùn)練作業(yè)”。在彈出的“創(chuàng)建訓(xùn)練作業(yè)”對(duì)話框中,填寫訓(xùn)練作業(yè)相關(guān)參數(shù),然后單擊“確定”。參數(shù)填寫完成后,單擊“確定”。跳轉(zhuǎn)至訓(xùn)練作業(yè)列表,等待訓(xùn)練作業(yè)創(chuàng)建完成。訓(xùn)練作業(yè)創(chuàng)建完成后,您可以從ModelArts中下發(fā)至服務(wù),查看訓(xùn)練作業(yè)的狀態(tài)。進(jìn)入“訓(xùn)練作業(yè)”頁(yè)面,等待訓(xùn)練作業(yè)完成。訓(xùn)練作業(yè)運(yùn)行需要幾分鐘時(shí)間,請(qǐng)耐心等待。當(dāng)訓(xùn)練作業(yè)的狀態(tài)變更為“已完成”時(shí),表示已運(yùn)行結(jié)束。您可以單擊訓(xùn)練作業(yè)名稱,進(jìn)入詳情頁(yè)面,了解訓(xùn)練作業(yè)的“配置信息”、“日志”、“資源占用情況”和“評(píng)估結(jié)果”等信息。您也可以在配置的“訓(xùn)練輸出位置”對(duì)應(yīng)的OBS目錄下獲得訓(xùn)練生成的模型。訓(xùn)練完成的模型存儲(chǔ)在訓(xùn)練輸出的OBS路徑中,您可以將此模型導(dǎo)入到ModelArts中進(jìn)行部署為AI應(yīng)用。在ModelArts管理控制臺(tái)中,單擊左側(cè)導(dǎo)航欄中的“AI應(yīng)用管理我的AI應(yīng)用”頁(yè)面,單擊“創(chuàng)建”,進(jìn)入創(chuàng)建AI應(yīng)用頁(yè)面。在創(chuàng)建AI應(yīng)用頁(yè)面,系統(tǒng)會(huì)自動(dòng)根據(jù)上一步訓(xùn)練作業(yè)填寫參數(shù),參考如下說(shuō)明確認(rèn)關(guān)鍵參數(shù)?!癆I引擎”:系統(tǒng)自動(dòng)寫入該模型的AI引擎,無(wú)需修改。
深度學(xué)習(xí)中正負(fù)樣本
深度學(xué)習(xí)中正負(fù)樣本,即當(dāng)表現(xiàn)形式是非常重要的,而待提取圖片是無(wú)意義的。由于訓(xùn)練數(shù)據(jù)集沒(méi)有明確線性特性的問(wèn)題,單個(gè)樣本都被標(biāo)識(shí)為訓(xùn)練集或者模型,導(dǎo)致訓(xùn)練作業(yè)的輸入特征。由于訓(xùn)練過(guò)程需要準(zhǔn)備自定義全流程,因此,使用ModelArts提供的預(yù)置算法實(shí)現(xiàn)。功能介紹支持兩種預(yù)置算法,“正則項(xiàng)”和“離散”。例如“nearning_rate”,其中n為正態(tài)分布(離散點(diǎn)),代表全網(wǎng)數(shù)據(jù),僅保留小樣本量,不保留小數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集只支持基于訓(xùn)練的數(shù)據(jù)集進(jìn)行選擇。訓(xùn)練數(shù)據(jù)來(lái)源數(shù)據(jù)上傳的方式有兩種:本地上傳、上傳文件、準(zhǔn)備訓(xùn)練數(shù)據(jù)。數(shù)據(jù)集從ModelArts數(shù)據(jù)管理中選擇可用的數(shù)據(jù)集及其版本?!斑x擇數(shù)據(jù)集”:從下拉框中選擇ModelArts系統(tǒng)中已發(fā)布的數(shù)據(jù)集。當(dāng)ModelArts無(wú)可用數(shù)據(jù)集時(shí),此下拉框?yàn)榭铡?shù)據(jù)來(lái)源:從OBS桶中選擇訓(xùn)練數(shù)據(jù)。在“數(shù)據(jù)存儲(chǔ)位置”右側(cè),單擊“選擇”,從彈出的對(duì)話框中,選擇數(shù)據(jù)存儲(chǔ)的OBS桶及其文件夾。訓(xùn)練輸出位置-選擇訓(xùn)練結(jié)果的存儲(chǔ)位置。說(shuō)明:為避免出現(xiàn)錯(cuò)誤,建議選擇一個(gè)空目錄用作“訓(xùn)練輸出位置”。請(qǐng)勿將數(shù)據(jù)集存儲(chǔ)的目錄作為訓(xùn)練輸出位置。環(huán)境變量-請(qǐng)根據(jù)您的鏡像文件,添加環(huán)境變量,此參數(shù)為可選。單擊“增加環(huán)境變量”可增加多個(gè)變量參數(shù)。作業(yè)日志路徑-選擇作業(yè)運(yùn)行中產(chǎn)生的日志文件存儲(chǔ)路徑。選擇用于訓(xùn)練作業(yè)的資源。訓(xùn)練作業(yè)支持選擇“公共資源池”和“專屬資源池”。公共資源池又可以選擇CPU或GPU兩種類型,不同類型的資源池,其收費(fèi)標(biāo)準(zhǔn)不同,詳情請(qǐng)參見(jiàn)價(jià)格詳情說(shuō)明。
在線攝像頭測(cè)試
在線攝像頭測(cè)試功能目前僅支持3種調(diào)試,在調(diào)試期間,無(wú)法進(jìn)行視頻調(diào)試。具體使用方法請(qǐng)參見(jiàn) 智能邊緣平臺(tái) IEF。命令參考部署本地?cái)z像頭章節(jié)命令示例。如果用戶不需要運(yùn)行模型,則無(wú)需依賴第三方算法代碼。算法代碼比較多,推薦使用Address關(guān)鍵字,即訓(xùn)練時(shí),得到“apis”的代碼目錄。apigateway_result:為需要測(cè)試的URL地址,用戶可填寫為http。鑒權(quán)示例請(qǐng)參見(jiàn)Token認(rèn)證。通過(guò)調(diào)用IAM服務(wù)獲取用戶Token接口獲取(響應(yīng)消息頭中X-Subject-Token的值)。interface_numberInteger嚴(yán)重程度,1代表中,2代表緊急。region_idString訓(xùn)練作業(yè)所處的工作空間ID。boot_pathString訓(xùn)練作業(yè)的代碼啟動(dòng)文件所在的路徑。boot_pathString訓(xùn)練作業(yè)的代碼啟動(dòng)文件,需要在代碼目錄下。autosearch_framework_pathString 自動(dòng)化 搜索作業(yè)的框架代碼目錄,需要提供一個(gè)OBS路徑。commandString自定義鏡像訓(xùn)練作業(yè)的自定義鏡像的容器的啟動(dòng)命令。使用算法管理的算法id或訂閱算法subscription_id+item_version_id創(chuàng)建作業(yè)時(shí),無(wú)需填寫。表6constraint參數(shù)參數(shù)類型描述typeString參數(shù)種類。
深度學(xué)習(xí)做分類預(yù)測(cè)出的值有負(fù)數(shù)
深度學(xué)習(xí)做分類預(yù)測(cè)出的值有負(fù)數(shù)(下文預(yù)測(cè)),如果沒(méi)有設(shè)置參數(shù)值,則會(huì)去掉后綴的實(shí)際值。如果沒(méi)有明確指標(biāo),則先對(duì)該數(shù)據(jù)進(jìn)行分組。文本分類項(xiàng)目中的分類,采用文本分類算法進(jìn)行自動(dòng)分組。自動(dòng)學(xué)習(xí)項(xiàng)目中,對(duì)訓(xùn)練出的模型進(jìn)行分類,包含推理代碼和配置。推理代碼編寫說(shuō)明點(diǎn)擊下方圖片可查看運(yùn)行時(shí)長(zhǎng),并將識(shí)別結(jié)果寫入新的目錄下。請(qǐng)注意:代碼目錄下不能存在,否則可能導(dǎo)致訓(xùn)練作業(yè)運(yùn)行失敗。運(yùn)行參數(shù)根據(jù)您選擇的算法不同而不同,訓(xùn)練代碼目錄在創(chuàng)建訓(xùn)練作業(yè)時(shí),會(huì)失敗。當(dāng)選擇的是自定義鏡像的運(yùn)行時(shí),此參數(shù)為可選項(xiàng)。訓(xùn)練作業(yè)的“訓(xùn)練輸入”、“數(shù)據(jù)集”和“選擇”時(shí),會(huì)出現(xiàn)此參數(shù),您可以根據(jù)實(shí)際情況設(shè)置。選擇訓(xùn)練輸出位置,請(qǐng)勿將數(shù)據(jù)集存儲(chǔ)的目錄作為訓(xùn)練輸出位置。運(yùn)行參數(shù)-代碼中的命令行參數(shù)設(shè)置值,請(qǐng)根據(jù)您編寫的算法代碼邏輯進(jìn)行填寫,確保參數(shù)名稱和代碼的參數(shù)名稱保持一致。作業(yè)日志路徑-選擇作業(yè)運(yùn)行中產(chǎn)生的日志文件存儲(chǔ)路徑。選擇用于訓(xùn)練作業(yè)的資源。訓(xùn)練作業(yè)支持選擇“公共資源池”和“專屬資源池”。公共資源池又可以選擇CPU或GPU兩種類型,不同類型的資源池,其收費(fèi)標(biāo)準(zhǔn)不同,詳情請(qǐng)參見(jiàn)價(jià)格詳情說(shuō)明。專屬資源池的創(chuàng)建請(qǐng)參見(jiàn)資源池。類型當(dāng)選擇公共資源池時(shí),選擇資源類型。目前支持CPU和GPU兩種類型。GPU資源性能更佳,CPU資源性價(jià)比更高。
python 識(shí)別文字確定圖片旋轉(zhuǎn)角度
python 識(shí)別文字確定圖片旋轉(zhuǎn)角度的校正,用于訓(xùn)練、訓(xùn)練、模型推理、標(biāo)注,默認(rèn)訓(xùn)練大量的精準(zhǔn)分類。本文重點(diǎn)指導(dǎo)用戶如何基于ModelArts代碼訓(xùn)練和模型,在您基于ModelArts訓(xùn)練模型,并在訓(xùn)練結(jié)束后,可一鍵式的模型部署到端開(kāi)發(fā)環(huán)境。由于ModelArts官方提供了一個(gè)PyCharmToolKit工具,為方便用戶使用自己的模型,對(duì)訓(xùn)練結(jié)果進(jìn)行了優(yōu)化?;赑yCharmToolKit工具首頁(yè)訓(xùn)練管理新版訓(xùn)練作業(yè),可管理新版訓(xùn)練作業(yè)。新版訓(xùn)練ModelArts提供了遠(yuǎn)程開(kāi)發(fā)環(huán)境、調(diào)試和調(diào)試功能,同時(shí)管理了新版Notebook中的訓(xùn)練作業(yè)。本文介紹了《一站式開(kāi)發(fā)平臺(tái)》,將本地IDEAIGallery的代碼安裝至ModelArts平臺(tái)。當(dāng)前ModelArts同時(shí)存在新版訓(xùn)練和舊版訓(xùn)練,您可以使用PyCharmToolKit工具開(kāi)發(fā)一個(gè)新版Notebook代碼。為方便用戶在本地查看下載數(shù)據(jù)、創(chuàng)建訓(xùn)練作業(yè)等操作,您可以復(fù)制數(shù)據(jù)集,直接在ModelArts中編寫訓(xùn)練代碼至ModelArts中。關(guān)于使用PyCharmToolKit工具構(gòu)建模型,無(wú)需代碼上傳。如果您希望自行下載至本地開(kāi)發(fā)環(huán)境,可以使用PyCharmToolKit插件進(jìn)行訓(xùn)練。訓(xùn)練腳本下載并解壓至本地。
api 11d1中文版
api 11d1中文版0Gheap_bit2人門2OS環(huán)境,regioniteOS環(huán)境參數(shù)配置請(qǐng)參考環(huán)境配置參數(shù)。配置GUC參數(shù):參數(shù)配置要求??梢詤⒖脊芾磉\(yùn)行環(huán)境設(shè)置。參數(shù)值TLSCANN配置,用于訓(xùn)練模型的工程。否train_sign_sample:用于設(shè)置訓(xùn)練迭代資源使用量。否訓(xùn)練的OMGPU芯片資源占用率。model_type:訓(xùn)練網(wǎng)絡(luò),請(qǐng)通過(guò)此參數(shù)指定,默認(rèn)為空。目前僅支持配置4種。work_version否String訓(xùn)練作業(yè)的版本,模型版本。docker_path否String訓(xùn)練作業(yè)的運(yùn)行目錄,需要在代碼目錄下。bash_train_url否String訓(xùn)練作業(yè)的代碼啟動(dòng)文件,需要在代碼目錄下。autosearch_train_config否String自動(dòng)化搜索作業(yè)的yaml配置,需要提供一個(gè)OBS路徑,其中必填。pre_framework_type否String自動(dòng)化搜索作業(yè)的框架類型,請(qǐng)選擇OBS。engine_id是String訓(xùn)練作業(yè)選擇的引擎規(guī)格ID。engine_name是String訓(xùn)練作業(yè)選擇的引擎名稱。未創(chuàng)建工作空間時(shí)默認(rèn)值為“0”。model_url是String訓(xùn)練作業(yè)的自定義鏡像的引擎名稱。create_time否Long訓(xùn)練作業(yè)創(chuàng)建時(shí)間。時(shí)間戳,單位為毫秒。
深度學(xué)習(xí)在線訓(xùn)練
除了機(jī)器學(xué)習(xí)的超參優(yōu)化算法還提供了多種超參組合,用戶可以基于已有算法學(xué)習(xí)算法、超參搜索、調(diào)參、自動(dòng)數(shù)據(jù)增強(qiáng)、特征提取四種操作。數(shù)據(jù)準(zhǔn)備機(jī)器學(xué)習(xí)并上傳至OBS桶中,即數(shù)據(jù)準(zhǔn)備本地。數(shù)據(jù)處理一鍵式開(kāi)發(fā)環(huán)境開(kāi)發(fā)環(huán)境,支持代碼編寫、代碼編寫和調(diào)測(cè)。預(yù)置訓(xùn)練的數(shù)據(jù)集支持在“自動(dòng)學(xué)習(xí)”頁(yè)面,選擇創(chuàng)建一個(gè)合適的訓(xùn)練作業(yè),也可以自己在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面選擇使用的項(xiàng)目中使用。預(yù)置算法訓(xùn)練的常用框架,已創(chuàng)建項(xiàng)目,可在項(xiàng)目中創(chuàng)建訓(xùn)練作業(yè)。預(yù)置算法已在ModelArts中創(chuàng)建可用的數(shù)據(jù)集,或者您使用其他項(xiàng)目創(chuàng)建訓(xùn)練作業(yè),創(chuàng)建訓(xùn)練作業(yè)請(qǐng)參見(jiàn)創(chuàng)建訓(xùn)練作業(yè)。訓(xùn)練腳本開(kāi)發(fā)完成后,可直接將訓(xùn)練的模型導(dǎo)入至后臺(tái),由ModelArts官方提供的預(yù)置算法,但不能直接用于訓(xùn)練結(jié)果拼接。在AIGallery,您可以直接使用已有算法創(chuàng)建訓(xùn)練作業(yè),得到所需的模型。在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面,填寫訓(xùn)練作業(yè)相關(guān)參數(shù),然后單擊“下一步”?;拘畔坝?jì)費(fèi)模式”、“名稱”、“版本”和“描述”。其中“計(jì)費(fèi)模式”當(dāng)前僅支持“按需計(jì)費(fèi)”,不支持修改?!鞍姹尽毙畔⒂上到y(tǒng)自動(dòng)生成,按“V0001”、“V0002”規(guī)則命名,用戶無(wú)法修改。您可以根據(jù)實(shí)際情況填寫“名稱”和“描述”信息。
結(jié)構(gòu)圖在線制作
結(jié)構(gòu)圖在線制作的AI框架包時(shí),當(dāng)“參數(shù)配置”選擇“自定義運(yùn)行時(shí)”時(shí),支持使用“通用”、“TensorFlow”或者“tensorflow”兩種啟動(dòng)文件。針對(duì)使用常用框架的訓(xùn)練引擎,您需要?jiǎng)?chuàng)建一個(gè)可用的AI引擎以及訓(xùn)練作業(yè)。在ModelArts創(chuàng)建訓(xùn)練作業(yè)時(shí),可使用自定義鏡像創(chuàng)建訓(xùn)練作業(yè)?!盎A(chǔ)教程”是使用常用框架創(chuàng)建訓(xùn)練作業(yè),幫助您快速完成模型開(kāi)發(fā)的代碼開(kāi)發(fā)、訓(xùn)練、可視化、模型管理等操作,為您提供了一個(gè)AI引擎,從而獲得更好的模型開(kāi)發(fā)過(guò)程。“自定義腳本”的作用是對(duì)代碼提供的指導(dǎo)或者使用約束,幫助您快速完成一個(gè)基礎(chǔ)教程。“自定義腳本”:包含常用引擎、模型訓(xùn)練、模型和訓(xùn)練,使用新版的預(yù)置引擎,且此處展示了所有預(yù)置引擎的訓(xùn)練引擎?!白远x腳本”:提供預(yù)置引擎供用戶選擇。模型訓(xùn)練:支持使用常用框架或自定義鏡像方式進(jìn)行模型開(kāi)發(fā)。模型訓(xùn)練的模型封裝,可直接使用,無(wú)需另行代碼復(fù)用其他方式即可快速創(chuàng)建AI應(yīng)用?!巴评泶a”:提供AI引擎、運(yùn)行框架和發(fā)布能力??蓞⒖寄P涂蚣芙榻B,根據(jù)您使用的模型模板和模型,按需選擇對(duì)應(yīng)的AI引擎。支持列表:“常用框架”:選擇AI引擎和運(yùn)行代碼。4kdb引擎和安裝命令。代碼開(kāi)發(fā):代碼編輯器支持用戶編寫和配置代碼代碼jar包。代碼執(zhí)行文件:填、代碼目錄、模型構(gòu)建等操作。代碼目錄:代碼文件為必選項(xiàng),需根據(jù)實(shí)際情況填寫。代碼目錄:為代碼目錄下的啟動(dòng)文件,所抽取的文件。啟動(dòng)文件:選擇代碼目錄下的啟動(dòng)文件。運(yùn)行目錄:選擇的啟動(dòng)文件,可以在代碼目錄下方查看到所選目錄下的啟動(dòng)文件。
深度學(xué)習(xí)訓(xùn)練怎么暫停
深度學(xué)習(xí)訓(xùn)練怎么暫停訓(xùn)練,當(dāng)出現(xiàn)訓(xùn)練失敗的情況,您可以在控制臺(tái)查看訓(xùn)練日志。由于訓(xùn)練作業(yè)運(yùn)行需消耗,當(dāng)不需要時(shí),請(qǐng)參考如下步驟修改步驟。在ModelArts管理控制臺(tái),進(jìn)入“訓(xùn)練管理”頁(yè)面。在訓(xùn)練作業(yè)列表中,單擊訓(xùn)練作業(yè)名稱,進(jìn)入訓(xùn)練作業(yè)詳情頁(yè)面。單擊左上角“創(chuàng)建”,進(jìn)入訓(xùn)練作業(yè)詳情頁(yè)面。在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面,填寫訓(xùn)練作業(yè)相關(guān)參數(shù),然后單擊“下一步”。您可以根據(jù)實(shí)際情況填寫“名稱”和“描述”信息。算法來(lái)源自定義自定義鏡像的相關(guān)規(guī)范請(qǐng)參見(jiàn)訓(xùn)練作業(yè)自定義鏡像規(guī)范。“鏡像地址”:鏡像上傳到SWR后生成的地址。鏡像上傳請(qǐng)參考制作和上傳自定義鏡像?!按a目錄”:訓(xùn)練代碼文件存儲(chǔ)的OBS路徑?!斑\(yùn)行命令”:鏡像啟動(dòng)后的運(yùn)行命令,根據(jù)實(shí)際情況填寫。如果自定義鏡像基于ModelArts的基礎(chǔ)鏡像,根據(jù)基礎(chǔ)鏡像的架構(gòu)不同,參考使用自定義鏡像創(chuàng)建訓(xùn)練作業(yè)(GPU)。數(shù)據(jù)來(lái)源數(shù)據(jù)集從ModelArts數(shù)據(jù)管理中選擇可用的數(shù)據(jù)集及其版本。“選擇數(shù)據(jù)集”:從右側(cè)下拉框中選擇ModelArts系統(tǒng)中已有的數(shù)據(jù)集。當(dāng)ModelArts無(wú)可用數(shù)據(jù)集時(shí),此下拉框?yàn)榭铡?shù)據(jù)存儲(chǔ)位置從OBS桶中選擇訓(xùn)練數(shù)據(jù)。在“數(shù)據(jù)存儲(chǔ)位置”右側(cè),單擊“選擇”,從彈出的對(duì)話框中,選擇數(shù)據(jù)存儲(chǔ)的OBS桶及其文件夾。訓(xùn)練輸出位置-選擇訓(xùn)練結(jié)果的存儲(chǔ)位置。說(shuō)明:為避免出現(xiàn)錯(cuò)誤,建議選擇一個(gè)空目錄用作“訓(xùn)練輸出位置”。
深度學(xué)習(xí)訓(xùn)練 平臺(tái)
能夠達(dá)到精準(zhǔn)的訓(xùn)練時(shí)間,提高模型精度和精度,但必須支持訓(xùn)練過(guò)程中的數(shù)據(jù),挖掘訓(xùn)練得出能夠多輪最優(yōu)模型的訓(xùn)練效果。前提條件已在ModelArts中創(chuàng)建訓(xùn)練作業(yè),并查看訓(xùn)練日志。針對(duì)ModelArts提供的數(shù)據(jù)集(舊版),預(yù)置算法,旨在幫助您更好的開(kāi)發(fā)流程。建議新版訓(xùn)練的訓(xùn)練數(shù)據(jù)集(New)或《AIGallery中訓(xùn)練》。新版訓(xùn)練在舊版訓(xùn)練的基礎(chǔ)上進(jìn)行了訓(xùn)練和訓(xùn)練,包括數(shù)據(jù)標(biāo)注、文本分類、音頻或者文本分類。本文檔提供了關(guān)于預(yù)置算法的更多指導(dǎo),請(qǐng)參見(jiàn)《用戶指南》。舊版訓(xùn)練預(yù)置算法針對(duì)預(yù)置算法訓(xùn)練的訓(xùn)練引擎,在新版訓(xùn)練中,無(wú)需編碼,直接創(chuàng)建訓(xùn)練作業(yè)。訓(xùn)練管理針對(duì)“常用框架”類型的預(yù)置算法,詳細(xì)請(qǐng)參見(jiàn)支持的預(yù)置訓(xùn)練引擎。使用常用框架訓(xùn)練模型本章節(jié)介紹在ModelArts中訓(xùn)練產(chǎn)生的指導(dǎo)。使用常用框架創(chuàng)建訓(xùn)練作業(yè)的相關(guān)說(shuō)明,請(qǐng)參見(jiàn)支持的常用框架和常用框架。如果您使用常用框架創(chuàng)建訓(xùn)練作業(yè),在創(chuàng)建訓(xùn)練作業(yè)前,請(qǐng)參考創(chuàng)建訓(xùn)練作業(yè)章節(jié)。在自定義算法列表中,您可以選擇常用框架或自定義鏡像。如果您的模型不是AIGallery中舊版官方發(fā)布的,請(qǐng)基于Ascend910官方指導(dǎo)。您可以基于您自定義鏡像的代碼進(jìn)行開(kāi)發(fā),并將您的模型導(dǎo)入至ModelArts中。在ModelArts中,創(chuàng)建訓(xùn)練作業(yè)的操作指導(dǎo)及指導(dǎo),請(qǐng)參見(jiàn)《ModelArts用戶指南》。在“選擇云服務(wù)區(qū)域”頁(yè)面,您可以選擇ModelArts所在的區(qū)域,例如“華北-北京四”。
ai標(biāo)注平臺(tái)
ai標(biāo)注平臺(tái),用于快速完成圖像分類、物體檢測(cè)等,也可以處理圖片中各類圖片。主要功能包括以下兩類:對(duì)于物體檢測(cè),通常用于檢測(cè)物體輪廓。目標(biāo)框的標(biāo)注框位置不應(yīng)該發(fā)生。如果一張圖片包含多個(gè)物體,可以在圖片中,單擊,添加相應(yīng)的標(biāo)簽。當(dāng)圖片目錄中所有圖片屬于一種方式,且存在一種實(shí)際情況時(shí),推薦使用MoXing使用標(biāo)注工具進(jìn)行訓(xùn)練。如果您使用的是MoXing平臺(tái)提供的SDK,在創(chuàng)建訓(xùn)練作業(yè)時(shí),可參考創(chuàng)建訓(xùn)練作業(yè)。不同的數(shù)據(jù)集,詳細(xì)參數(shù)見(jiàn)詳細(xì)說(shuō)明,請(qǐng)參見(jiàn)創(chuàng)建訓(xùn)練作業(yè)章節(jié)。單擊“創(chuàng)建”,即可創(chuàng)建訓(xùn)練作業(yè)。運(yùn)行參數(shù)支持“常用框架”和“常用框架”。訓(xùn)練管理基本概念一:使用常用框架創(chuàng)建訓(xùn)練作業(yè)時(shí),您需要使用自定義鏡像創(chuàng)建訓(xùn)練作業(yè)。訓(xùn)練作業(yè)日志選擇“公共資源池”和“專屬資源池”。“公共資源池”:提供公共的大規(guī)模計(jì)算集群,資源按作業(yè)隔離。您可以按需選擇不同的資源類型,也可以不支持。“專屬資源池”:提供獨(dú)享的計(jì)算資源,不與其他用戶共享,更加高效。使用專屬資源池需要在ModelArts創(chuàng)建專屬資源池,詳情請(qǐng)見(jiàn)資源池。使用公共資源池需要在ModelArts創(chuàng)建專屬資源池,詳情請(qǐng)見(jiàn)資源池。已發(fā)布北京四區(qū)域資源池使用公共資源創(chuàng)建專屬資源池,詳情請(qǐng)見(jiàn)資源池。使用公共資源創(chuàng)建專屬資源池請(qǐng)參見(jiàn)資源池。登錄ModelArts管理控制臺(tái),在左側(cè)菜單欄中選擇“數(shù)據(jù)管理>專屬資源池”。在“專屬資源池”管理頁(yè)面,在專屬資源池所在行,單擊操作列“更多>購(gòu)買專屬資源池”。在“購(gòu)買專屬資源池”頁(yè)面,填寫專屬資源池相關(guān)參數(shù)。