選擇算法的實(shí)現(xiàn)方式

ModelArts提供如下方式實(shí)現(xiàn)模型訓(xùn)練前的算法準(zhǔn)備。

• 使用訂閱算法

  ModelArts的AI Gallery提供了可以直接訂閱的算法，不需要進(jìn)行代碼開發(fā)，即可使用現(xiàn)成的算法進(jìn)行模型構(gòu)建。

• 使用預(yù)置框架

  如果您需要使用自己開發(fā)的算法，可以選擇使用ModelArts預(yù)置框架。ModelArts支持了大多數(shù)主流的AI引擎，詳細(xì)請參見預(yù)置訓(xùn)練引擎。這些預(yù)置引擎預(yù)加載了一些額外的python包，例如numpy等；也支持您通過在代碼目錄中使用“requirements.txt”文件安裝依賴包。使用預(yù)置框架創(chuàng)建訓(xùn)練作業(yè)請參考開發(fā)用于預(yù)置框架訓(xùn)練的代碼指導(dǎo)。

• 使用預(yù)置框架 + 自定義 鏡像 ：

  如果先前基于預(yù)置框架且通過指定代碼目錄和啟動文件的方式來創(chuàng)建的算法；但是隨著業(yè)務(wù)邏輯的逐漸復(fù)雜，您期望可以基于預(yù)置框架修改或增加一些軟件依賴的時候，此時您可以使用預(yù)置框架 + 自定義鏡像的功能，即選擇預(yù)置框架名稱后，在預(yù)置框架版本下拉列表中選擇“自定義”。

  此功能與直接基于預(yù)置框架創(chuàng)建算法的區(qū)別僅在于，鏡像是由用戶自行選擇的。用戶可以基于預(yù)置框架制作自定義鏡像?；陬A(yù)置框架制作自定義鏡像代碼可參考使用預(yù)置鏡像制作自定義鏡像用于訓(xùn)練模型章節(jié)。

• 完全自定義鏡像：

  訂閱算法和預(yù)置框架涵蓋了大部分的訓(xùn)練場景。針對特殊場景，ModelArts支持用戶構(gòu)建自定義鏡像用于模型訓(xùn)練。用戶遵循ModelArts鏡像的規(guī)范要求制作鏡像，選擇自己的鏡像，并且通過指定代碼目錄（可選）和啟動命令的方式來創(chuàng)建的訓(xùn)練作業(yè)。

  自定義鏡像需上傳至 容器鏡像服務(wù) （ SWR ），才能用于ModelArts上訓(xùn)練，請參考使用自定義鏡像訓(xùn)練模型。由于自定義鏡像的制作要求用戶對容器相關(guān)知識有比較深刻的了解，除非訂閱算法和預(yù)置引擎無法滿足需求，否則不推薦使用。

  

  當(dāng)使用完全自定義鏡像創(chuàng)建訓(xùn)練作業(yè)時，“啟動命令”必須在“/home/ma-user”目錄下執(zhí)行，否則訓(xùn)練作業(yè)可能會運(yùn)行異常。

創(chuàng)建算法

您在本地或使用其他工具開發(fā)的算法，支持上傳至ModelArts中統(tǒng)一管理。

1. 創(chuàng)建算法的準(zhǔn)備工作。
   • 完成數(shù)據(jù)準(zhǔn)備：已在ModelArts中創(chuàng)建可用的數(shù)據(jù)集，或者您已將用于訓(xùn)練的數(shù)據(jù)集上傳至 OBS 目錄。
   • 準(zhǔn)備訓(xùn)練腳本，并上傳至OBS目錄。訓(xùn)練腳本開發(fā)指導(dǎo)參見開發(fā)用于預(yù)置框架訓(xùn)練的代碼或開發(fā)用于自定義鏡像訓(xùn)練的代碼。
   • 在OBS創(chuàng)建至少1個空的文件夾，用于存儲訓(xùn)練輸出的內(nèi)容。
   • 確保您使用的OBS目錄與ModelArts在同一區(qū)域。
2. 進(jìn)入算法創(chuàng)建頁面。
   1. 登錄ModelArts管理控制臺，單擊左側(cè)菜單欄的“資產(chǎn)管理 > 算法管理”。
   2. 在“我的算法”管理頁面，單擊“創(chuàng)建”，進(jìn)入“創(chuàng)建算法”頁面。填寫算法的基本信息，包含“名稱”和“描述”。
3. 設(shè)置算法啟動方式，有以下三種方式可以選擇。
   • 設(shè)置算法啟動方式（預(yù)置框架）
     圖1 使用預(yù)置框架創(chuàng)建算法
     
     需根據(jù)實(shí)際算法代碼情況設(shè)置“代碼目錄”和“啟動文件”。選擇的預(yù)置框架和編寫算法代碼時選擇的框架必須一致。例如編寫算法代碼使用的是TensorFlow，則在創(chuàng)建算法時也要選擇TensorFlow。

     表1 使用預(yù)置框架創(chuàng)建算法

     參數(shù)	說明
     “啟動方式”	選擇“預(yù)置框架”。 選擇算法使用的預(yù)置框架引擎和引擎版本。
     “代碼目錄”	算法代碼存儲的OBS路徑。訓(xùn)練代碼、依賴安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。 請注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大，訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動后會下載至后臺，可能會有下載失敗的風(fēng)險。 訓(xùn)練作業(yè)創(chuàng)建完成后，ModelArts會將代碼目錄及其子目錄下載至訓(xùn)練后臺容器中。 例如：OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄，OBS路徑下的內(nèi)容會被自動下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中，demo-code為OBS存放代碼路徑的最后一級目錄，用戶可以根據(jù)實(shí)際修改。 說明： 編程語言不限。 文件數(shù)（含文件、文件夾數(shù)量）小于或等于1000個。 文件總大小小于或等于5GB。
     “啟動文件”	必須為“代碼目錄”下的文件，且以“.py”結(jié)尾，即ModelArts目前只支持使用Python語言編寫的啟動文件。 代碼目錄路徑中的啟動文件為訓(xùn)練啟動的入口。

   • 設(shè)置算法啟動方式（預(yù)置框架+自定義）
     圖2 使用預(yù)置框架+自定義鏡像創(chuàng)建算法
     
     需根據(jù)實(shí)際算法代碼情況設(shè)置“鏡像”、“代碼目錄”和“啟動文件”。選擇的預(yù)置框架和編寫算法代碼時選擇的框架必須一致。例如編寫算法代碼使用的是TensorFlow，則在創(chuàng)建算法時也要選擇TensorFlow。

     表2 使用預(yù)置框架+自定義鏡像創(chuàng)建算法

     參數(shù)	說明
     “啟動方式”	選擇“預(yù)置框架”。 預(yù)置框架的引擎版本選擇“自定義”。
     “鏡像”	用戶制作的鏡像需要提前上傳到SWR，才可以在這里選擇。制作鏡像的方式請參見訓(xùn)練作業(yè)的自定義鏡像制作流程。
     “代碼目錄”	算法代碼存儲的OBS路徑。訓(xùn)練代碼、依賴安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。 請注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大，訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動后會下載至后臺，可能會有下載失敗的風(fēng)險。 訓(xùn)練作業(yè)啟動時，ModelArts會將訓(xùn)練代碼目錄及其子目錄下載至訓(xùn)練后臺容器中。 例如：OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄，OBS路徑下的內(nèi)容會被自動下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中，demo-code為OBS存放代碼路徑的最后一級目錄，用戶可以根據(jù)實(shí)際修改。 說明： 訓(xùn)練代碼編程語言不限。訓(xùn)練啟動文件必須為Python語言。 文件數(shù)（含文件、文件夾數(shù)量）小于或等于1000個。 文件總大小要小于或等于5GB。 文件深度要小于或等于32
     “啟動文件”	必須為“代碼目錄”下的文件，且以“.py”結(jié)尾，即ModelArts目前只支持使用Python語言編寫的啟動文件。 代碼目錄路徑中的啟動文件為訓(xùn)練啟動的入口。

     選擇預(yù)置框架+自定義時，該功能的后臺行為與直接基于預(yù)置框架運(yùn)行訓(xùn)練作業(yè)相同，例如：

     • 系統(tǒng)將會自動注入一系列環(huán)境變量。

       PATH=${MA_HOME}/anaconda/bin:${PATH}
       LD_LIBRARY_PATH=${MA_HOME}/anaconda/lib:${LD_LIBRARY_PATH}
       PYTHONPATH=${MA_JOB_DIR}:${PYTHONPATH}

     • 您選擇的啟動文件將會被系統(tǒng)自動以python命令直接啟動，因此請確保鏡像中的Python命令為您預(yù)期的Python環(huán)境。注意到系統(tǒng)自動注入的PATH環(huán)境變量，您可以參考下述命令確認(rèn)訓(xùn)練作業(yè)最終使用的Python版本：

       export MA_HOME=/home/ma-user; docker run --rm {image} ${MA_HOME}/anaconda/bin/python -V
       docker run --rm {image} $(which python) -V

     • 系統(tǒng)將會自動添加預(yù)置框架關(guān)聯(lián)的超參。
   • 設(shè)置算法啟動方式（自定義）
     圖3 完全使用自定義鏡像創(chuàng)建算法
     

     表3 完全使用自定義鏡像創(chuàng)建算法

     參數(shù)	說明
     “啟動方式”	選擇“自定義”。
     “鏡像”	用戶制作的鏡像需要提前上傳到SWR，才可以在這里選擇。制作鏡像的方式請參見訓(xùn)練作業(yè)的自定義鏡像制作流程。
     “代碼目錄”	算法代碼存儲的OBS路徑。訓(xùn)練代碼、依賴安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。如果自定義鏡像中不含訓(xùn)練代碼則需要配置該參數(shù)，如果自定義鏡像中已包含訓(xùn)練代碼則不需要配置。 請注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大，訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動后會下載至后臺，可能會有下載失敗的風(fēng)險。 訓(xùn)練作業(yè)啟動時，ModelArts會將訓(xùn)練代碼目錄及其子目錄下載至訓(xùn)練后臺容器中。 例如：OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄，OBS路徑下的內(nèi)容會被自動下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中，demo-code為OBS存放代碼路徑的最后一級目錄，用戶可以根據(jù)實(shí)際修改。 說明： 訓(xùn)練代碼編程語言不限。訓(xùn)練啟動文件必須為Python語言。 文件數(shù)（含文件、文件夾數(shù)量）小于或等于1000個。 文件總大小要小于或等于5GB。 文件深度要小于或等于32
     “啟動命令”	必填，鏡像的啟動命令。 運(yùn)行訓(xùn)練作業(yè)時，當(dāng)“代碼目錄”下載完成后，“啟動命令”會被自動執(zhí)行。 如果訓(xùn)練啟動腳本用的是py文件，例如“train.py”，則啟動命令如下所示。 python ${MA_JOB_DIR}/demo-code/train.py 如果訓(xùn)練啟動腳本用的是sh文件，例如“main.sh”，則啟動命令如下所示。 bash ${MA_JOB_DIR}/demo-code/main.sh 啟動命令支持使用“;”和“&&”拼接多條命令，命令中的“demo-code”為存放代碼目錄的最后一級OBS目錄，以實(shí)際情況為準(zhǔn)。 當(dāng)存在輸入管道、輸出管道、或是超參的情況下，請保證啟動命令的最后一條命令是運(yùn)行訓(xùn)練腳本。 原因：系統(tǒng)會將輸入管道、輸出管道、以及超參添加到啟動命令的末尾，如果最后一條命令不是運(yùn)行訓(xùn)練腳本則會報錯。 例如：啟動命令的最后一條是python train.py，且存在--data_url超參，系統(tǒng)正常運(yùn)行會執(zhí)行python train.py --data_url=/input。但是當(dāng)啟動命令python train.py后面有其他命令時，如下所示： python train.py pwd #反例，啟動命令的最后一條命令不是運(yùn)行訓(xùn)練腳本，而是pwd 此時，如果拼接了輸入管道、輸出管道、以及超參，系統(tǒng)運(yùn)行實(shí)際執(zhí)行的是python train.py pwd --data_url=/input，就會報錯。

     訓(xùn)練支持的自定義鏡像使用說明請參考自定義鏡像的啟動命令規(guī)范。

4. 輸入輸出管道設(shè)置。

   訓(xùn)練過程中，算法需要從OBS桶或者數(shù)據(jù)集中獲取數(shù)據(jù)進(jìn)行模型訓(xùn)練，訓(xùn)練產(chǎn)生的輸出結(jié)果也需要存儲至OBS桶中。用戶的算法代碼中需解析輸入輸出參數(shù)實(shí)現(xiàn)ModelArts后臺與OBS的數(shù)據(jù)交互，用戶可以參考準(zhǔn)備模型訓(xùn)練代碼完成適配ModelArts訓(xùn)練的代碼開發(fā)。

   • 輸入配置

     表4 輸入配置

     參數(shù)	參數(shù)說明
     參數(shù)名稱	根據(jù)實(shí)際代碼中的輸入數(shù)據(jù)參數(shù)定義此處的名稱。此處設(shè)置的代碼路徑參數(shù)必須與算法代碼中解析的訓(xùn)練輸入數(shù)據(jù)參數(shù)保持一致，否則您的算法代碼無法獲取正確的輸入數(shù)據(jù)。 例如，算法代碼中使用argparse解析的data_url作為輸入數(shù)據(jù)的參數(shù)，那么創(chuàng)建算法時就需要配置輸入數(shù)據(jù)的參數(shù)名稱為“data_url”。
     描述	輸入?yún)?shù)的說明，用戶可以自定義描述。
     獲取方式	輸入?yún)?shù)的獲取方式，默認(rèn)使用“超參”，也可以選擇“環(huán)境變量”。
     輸入約束	開啟后，用戶可以根據(jù)實(shí)際情況限制數(shù)據(jù)輸入來源。輸入來源可以選擇“數(shù)據(jù)存儲位置”或者“ModelArts數(shù)據(jù)集”。 如果用戶選擇數(shù)據(jù)來源為ModelArts數(shù)據(jù)集，還可以約束以下三種： 標(biāo)注類型。數(shù)據(jù)類型請參考標(biāo)注數(shù)據(jù)。 數(shù)據(jù)格式。可選“Default”和“CarbonData”，支持多選。其中“Default”代表Manifest格式。 數(shù)據(jù)切分。僅“圖像分類”、“物體檢測”、“文本分類”和“聲音分類”類型數(shù)據(jù)集支持進(jìn)行數(shù)據(jù)切分功能。 可選“僅支持切分的數(shù)據(jù)集”、“僅支持未切分?jǐn)?shù)據(jù)集”和“無限制”。數(shù)據(jù)切分詳細(xì)內(nèi)容可參考發(fā)布數(shù)據(jù)版本。
     添加	用戶可以根據(jù)實(shí)際算法添加多個輸入數(shù)據(jù)來源。

   • 輸出配置

     表5 輸出配置

     參數(shù)	參數(shù)說明
     參數(shù)名稱	根據(jù)實(shí)際代碼中的訓(xùn)練輸出參數(shù)定義此處的名稱。此處設(shè)置的代碼路徑參數(shù)必須與算法代碼中解析的訓(xùn)練輸出參數(shù)保持一致，否則您的算法代碼無法獲取正確的輸出路徑。 例如，算法代碼中使用argparse解析的train_url作為訓(xùn)練輸出數(shù)據(jù)的參數(shù)，那么創(chuàng)建算法時就需要配置輸出數(shù)據(jù)的參數(shù)名稱為“train_url”。
     描述	輸出參數(shù)的說明，用戶可以自定義描述。
     獲取方式	輸出參數(shù)的獲取方式，默認(rèn)使用“超參”，也可以選擇“環(huán)境變量”。
     添加	用戶可以根據(jù)實(shí)際算法添加多個輸出數(shù)據(jù)路徑。

5. 定義超參。

   創(chuàng)建算法時，ModelArts支持用戶自定義超參，方便用戶查閱或修改。定義超參后會體現(xiàn)在啟動命令中，以命令行參數(shù)的形式傳入您的啟動文件中。

   1. 單擊“增加超參”手動添加超參。

   2. 編輯超參。
      

      為保證數(shù)據(jù)安全，請勿輸入敏感信息，例如明文密碼。

      表6 編輯超參數(shù)

      參數(shù)	說明
      名稱	填入超參名稱。 超參名稱支持64個以內(nèi)字符，僅支持大小寫字母、數(shù)字、下劃線和中劃線。
      類型	填入超參的數(shù)據(jù)類型。支持String、Integer、Float和Boolean。
      默認(rèn)值	填入超參的默認(rèn)值。創(chuàng)建訓(xùn)練作業(yè)時，默認(rèn)使用該值進(jìn)行訓(xùn)練。
      約束	單擊“約束”。在彈出對話框中，支持用戶設(shè)置默認(rèn)值的取值范圍或者枚舉值范圍。
      必須	選擇是或否。 選擇否，則在使用該算法創(chuàng)建訓(xùn)練作業(yè)時，支持在創(chuàng)建訓(xùn)練作業(yè)頁面刪除該超參。 選擇是，則在使用該算法創(chuàng)建訓(xùn)練作業(yè)時，不支持在創(chuàng)建訓(xùn)練作業(yè)頁面刪除該超參。
      描述	填入超參的描述說明。 超參描述支持大小寫字母、中文、數(shù)字、空格、中劃線、下劃線、中英文逗號和中英文句號。

6. 支持的策略。

   ModelArts Standard支持用戶使用自動化搜索功能。自動化搜索功能在零代碼修改的前提下，自動找到最合適的超參，有助于提高模型精度和收斂速度。詳細(xì)的參數(shù)配置請參考創(chuàng)建自動模型優(yōu)化的訓(xùn)練作業(yè)。

   自動搜索目前僅支持“tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64”和“pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64”鏡像

7. 添加訓(xùn)練約束。

   用戶可以根據(jù)實(shí)際情況定義此算法的訓(xùn)練約束。

   • 資源類型：選擇適用的資源類型，支持多選。
   • 多卡訓(xùn)練：選擇是否支持多卡訓(xùn)練。
   • 分布式訓(xùn)練：選擇是否支持分布式訓(xùn)練。
8. 當(dāng)創(chuàng)建算法的參數(shù)配置完成后，單擊“提交”，返回算法管理列表。

   在“我的算法”列表，單擊算法名稱進(jìn)入詳情頁，可以查看算法詳細(xì)信息。

   • 選擇“基本信息”頁簽可以查看算法信息。

     “基本信息”頁簽，單擊“編輯”，支持修改除名稱和ID之外的算法信息。修改完成，單擊“保存”即可完成修改。

   • 選擇“訓(xùn)練列表”頁簽可以查看使用該算法的訓(xùn)練作業(yè)信息，例如訓(xùn)練作業(yè)名稱、狀態(tài)。

運(yùn)行環(huán)境預(yù)覽

創(chuàng)建算法時，可以打開創(chuàng)建頁面右下方的運(yùn)行環(huán)境預(yù)覽窗口，輔助您了解代碼目錄、啟動文件、輸入輸出等數(shù)據(jù)配置在訓(xùn)練容器中的路徑。

發(fā)布算法到AI gallery

發(fā)布算法：創(chuàng)建完成的算法，支持發(fā)布到AI Gallery，并分享給其他用戶使用。

登錄ModelArts管理控制臺，在“資產(chǎn)管理 > 算法管理 > 我的算法”頁面，單擊算法名稱進(jìn)入詳情頁，單擊“發(fā)布”，在發(fā)布資產(chǎn)到AI Gallery頁面，輸入發(fā)布參數(shù)后，再次單擊“發(fā)布”。

• 如果首次發(fā)布算法，則“發(fā)布方式”選擇“創(chuàng)建新資產(chǎn)”，填寫“資產(chǎn)標(biāo)題”、選擇發(fā)布區(qū)域等信息。
• 如果是為了更新已發(fā)布的算法版本，則“發(fā)布方式”選擇“添加資產(chǎn)版本”，在“資產(chǎn)標(biāo)題”下拉框中選擇已有資產(chǎn)標(biāo)題，填寫“資產(chǎn)版本”。

如果是首次在AI Gallery發(fā)布資產(chǎn)則此處會出現(xiàn)勾選“我已閱讀并同意《華為云AI Gallery百模千態(tài)社區(qū)服務(wù)聲明》和《華為云AI Gallery服務(wù)協(xié)議》”選項(xiàng)，需要閱讀并勾選同意才能正常發(fā)布資產(chǎn)。

提交資產(chǎn)發(fā)布申請后，AI Gallery側(cè)會自動托管上架，可以前往AI Gallery查看資產(chǎn)上架情況。

刪除算法

刪除后，創(chuàng)建的算法資產(chǎn)會被刪除，且無法恢復(fù)，請謹(jǐn)慎操作。

刪除我的算法：在“資產(chǎn)管理 > 算法管理 > 我的算法”頁面，“刪除”運(yùn)行結(jié)束的訓(xùn)練作業(yè)。您可以單擊“操作”列的“刪除”，在彈出的提示框中，輸入DELETE，單擊“確定”，刪除對應(yīng)的算法。

刪除訂閱算法：前往AI Gallery，在“我的資產(chǎn) > 算法”中，單擊我的訂閱，對需要刪除的算法單擊“取消訂閱”，在彈出的提示框中單擊“確定”即可。