數(shù)據(jù)準備
AI人工智能三要素包括數(shù)據(jù)、算法和算力。數(shù)據(jù)的質量會影響模型的精度,大量高質量的數(shù)據(jù)更有可能訓練出高精度AI模型??蓞⒖?a rel="noopener noreferrer" target="_blank" class="por-link">數(shù)據(jù)準備與分析準備數(shù)據(jù)。
ModelArts數(shù)據(jù)準備全流程:
數(shù)據(jù)標注
模型訓練過程中需要大量已標注的數(shù)據(jù),因此在模型訓練之前需要進行數(shù)據(jù)標注作業(yè)。ModelArts為用戶提供了標注數(shù)據(jù)的能力:
- 人工標注:對于不同類型(圖片、音頻、文本和視頻)的數(shù)據(jù),用戶可以選擇不同的標注類型。
- 智能標注:智能標注是指基于當前標注階段的標簽及圖片學習訓練,選中系統(tǒng)中已有的模型進行智能標注,快速完成剩余圖片的標注操作。目前只有“圖像分類”和“物體檢測”類型的數(shù)據(jù)集支持智能標注功能。
- 團隊標注:ModelArts提供了團隊標注功能,可以由多人組成一個標注團隊,針對同一個數(shù)據(jù)集進行標注管理。團隊標注功能當前僅支持“圖像分類”、“物體檢測”、“文本分類”、“命名實體”、“文本三元組”、“語音分割”類型的數(shù)據(jù)集。
模型開發(fā)
數(shù)據(jù)準備完成后,可進行AI模型開發(fā)。AI模型開發(fā)的過程,稱之為Modeling,一般包含兩個階段:開發(fā)階段和實驗階段。兩個過程可以相互轉換。如開發(fā)階段代碼穩(wěn)定后,則會進入實驗階段,通過不斷嘗試調整超參來迭代模型;或在實驗階段,有一個可以優(yōu)化訓練的性能的想法,則會回到開發(fā)階段,重新優(yōu)化代碼。模型開發(fā)部分過程可見下圖。
- 開發(fā)階段:準備并配置環(huán)境,調試代碼,使代碼能夠開始進行深度學習訓練,推薦在ModelArts開發(fā)環(huán)境中調試。
- 實驗階段:調整數(shù)據(jù)集、調整超參等,通過多輪實驗,訓練出理想的模型,推薦在ModelArts訓練中進行實驗。
ModelArts提供了模型訓練的功能,方便您查看訓練情況并不斷調整您的模型參數(shù)。您還可以基于不同的數(shù)據(jù),選擇不同規(guī)格的資源池用于模型訓練。除支持用戶自己開發(fā)的模型外,ModelArts還提供了從AI Gallery訂閱算法,您可以不關注模型開發(fā),直接使用AI Gallery的算法,通過算法參數(shù)的調整,得到一個滿意的模型。
請參考以下指導在ModelArts上訓練模型:
1、您可以將訓練數(shù)據(jù)導入至數(shù)據(jù)管理模塊進行數(shù)據(jù)標注或者數(shù)據(jù)預處理,也支持將已標注的數(shù)據(jù)上傳至OBS服務使用。
2、訓練模型的算法實現(xiàn)與指導請參考準備算法章節(jié)。
3、使用控制臺創(chuàng)建訓練作業(yè)請參考創(chuàng)建訓練作業(yè)章節(jié)。
4、關于訓練作業(yè)日志、訓練資源占用等詳情請參考查看訓練作業(yè)日志。
5、停止或刪除模型訓練作業(yè),請參考停止、重建或查找作業(yè)。
6、如果您在訓練過程中遇到問題,文檔中提供了部分故障案例供參考,請參考訓練故障排查。
推理部署
AI模型開發(fā)完成后,在ModelArts服務中可以將AI模型創(chuàng)建為AI應用,將AI應用快速部署為推理服務,您可以通過調用API的方式把AI推理能力集成到自己的IT平臺。
1、開發(fā)模型:模型開發(fā)可以在ModelArts服務中進行,也可以在您的本地開發(fā)環(huán)境進行,本地開發(fā)的模型需要上傳到華為云OBS服務。制作模型包可參見模型包規(guī)范介紹。
2、創(chuàng)建AI應用:把模型文件和推理文件導入到ModelArts的模型倉庫中,進行版本化管理,并構建為可運行的AI應用。
3、部署服務:把AI應用在資源池中部署為容器實例,注冊外部可訪問的推理API。
4、推理:在您的應用中增加對推理API的調用,在業(yè)務流程中集成AI推理能力。
ModelArts操作指導
為什么需要云上AI開發(fā)
06:30
云上AI開發(fā)-調試代碼
23:43
云上AI開發(fā)-運行訓練作業(yè)
16:08