Workflow的兩種形態(tài)
什么是Workflow
Workflow（也稱工作流）本質(zhì)是開(kāi)發(fā)者基于實(shí)際業(yè)務(wù)場(chǎng)景開(kāi)發(fā)用于部署模型或應(yīng)用的流水線工具。在機(jī)器學(xué)習(xí)的場(chǎng)景中，流水線可能會(huì)覆蓋數(shù)據(jù)標(biāo)注、數(shù)據(jù)處理、模型開(kāi)發(fā)/訓(xùn)練、模型評(píng)估、應(yīng)用開(kāi)發(fā)、應(yīng)用評(píng)估等步驟。
一條流水線由多個(gè)節(jié)點(diǎn)組成，Workflow SDK提供了流水線需要覆蓋的功能以及功能需要的參數(shù)描述。總的來(lái)說(shuō)，Workflow有兩種形態(tài)：
開(kāi)發(fā)態(tài)
用戶在開(kāi)發(fā)流水線的時(shí)候，使用SDK對(duì)節(jié)點(diǎn)以及節(jié)點(diǎn)之間串聯(lián)的關(guān)系進(jìn)行描述。對(duì)流水線的開(kāi)發(fā)操作在Workflow中統(tǒng)稱為Workflow的開(kāi)發(fā)態(tài)。開(kāi)發(fā)者結(jié)合實(shí)際業(yè)務(wù)的需求，通過(guò)Workflow提供的Python SDK，將ModelArts模塊的能力封裝成流水線中的一個(gè)個(gè)步驟。對(duì)于AI開(kāi)發(fā)者來(lái)說(shuō)是非常熟悉的開(kāi)發(fā)模式，而且靈活度極高。Python SDK主要提供以下能力。
調(diào)測(cè)：部分運(yùn)行、全部運(yùn)行、debug。
發(fā)布：發(fā)布到運(yùn)行態(tài)。
實(shí)驗(yàn)記錄：實(shí)驗(yàn)的持久化及管理。
運(yùn)行態(tài)
當(dāng)確定好整條流水線后，開(kāi)發(fā)者可以將流水線固化下來(lái)，提供給其他人使用。使用者無(wú)需關(guān)注流水線中包含什么算法，也不需要關(guān)注流水線是如何實(shí)現(xiàn)的。使用者只需要關(guān)注流水線生產(chǎn)出來(lái)的模型或者應(yīng)用是否符合上線要求，如果不符合，是否需要調(diào)整數(shù)據(jù)和參數(shù)重新迭代。這種使用固化下來(lái)的流水線的狀態(tài)，在Workflow中統(tǒng)稱為運(yùn)行態(tài)。Workflow提供了可視化的工作流運(yùn)行方式。使用者只需要關(guān)注一些簡(jiǎn)單的參數(shù)配置，模型是否需要重新訓(xùn)練和模型當(dāng)前的部署情況。運(yùn)行態(tài)工作流的來(lái)源為：通過(guò)開(kāi)發(fā)態(tài)發(fā)布或者通過(guò)AI Gallery訂閱。運(yùn)行態(tài)主要提供以下能力。
統(tǒng)一配置管理：管理工作流需要配置的參數(shù)及使用的資源等。
操作工作流：?jiǎn)?dòng)、停止、復(fù)制、刪除工作流。
運(yùn)行記錄：工作流歷史運(yùn)行的參數(shù)以及狀態(tài)記錄。
運(yùn)行第一條Workflow
從AI Gallery訂閱的Workflow如何使用
- 1.登錄AI Gallery的Workflow案例庫(kù)。
- 2.從AI Gallery選擇并訂閱一個(gè)Workflow。
- 3.訂閱完成后，單擊“運(yùn)行”后跳轉(zhuǎn)到ModelArts控制臺(tái)界面，選擇資產(chǎn)版本和云服務(wù)區(qū)域，單擊“導(dǎo)入”，進(jìn)入該Workflow的詳情頁(yè)面。
- 4.單擊右上角的“配置”后進(jìn)入配置頁(yè)面，根據(jù)您所訂閱的工作流，配置Workflow需要的部分輸入項(xiàng)和參數(shù)，單擊右上角的“保存配置”。
- 5.保存成功后，單擊右上角的“啟動(dòng)”，啟動(dòng)Workflow。
- 6.Workflow進(jìn)入運(yùn)行頁(yè)面，等待Workflow運(yùn)行。
- 7.每一個(gè)節(jié)點(diǎn)運(yùn)行狀況頁(yè)面的“狀態(tài)”為此節(jié)點(diǎn)的運(yùn)行狀態(tài)，運(yùn)行成功會(huì)自動(dòng)執(zhí)行下一個(gè)節(jié)點(diǎn)的運(yùn)行，直至所有節(jié)點(diǎn)運(yùn)行成功，代表Workflow完成運(yùn)行。