計(jì)費(fèi)說(shuō)明

在ModelArts進(jìn)行服務(wù)部署時(shí)，會(huì)產(chǎn)生計(jì)算資源和存儲(chǔ)資源的累計(jì)值計(jì)費(fèi)。計(jì)算資源為運(yùn)行推理服務(wù)的費(fèi)用。存儲(chǔ)資源包括數(shù)據(jù)存儲(chǔ)到 OBS 的計(jì)費(fèi)。具體內(nèi)容如表1所示。

約束與限制

單個(gè)用戶最多可創(chuàng)建20個(gè)在線服務(wù)。

前提條件

• 數(shù)據(jù)已完成準(zhǔn)備：已在ModelArts中創(chuàng)建狀態(tài)“正?！?/span>可用的模型，模型創(chuàng)建請(qǐng)見創(chuàng)建模型。
• 由于在線運(yùn)行需消耗資源，確保賬戶未欠費(fèi)。
• 在線服務(wù)使用 SFS Turbo掛載時(shí)需要?jiǎng)?chuàng)建并關(guān)聯(lián)SFS Turbo，具體操作如下。
  1. 創(chuàng)建SFS Turbo，詳情請(qǐng)見創(chuàng)建SFS Turbo。
  2. 在“標(biāo)準(zhǔn)算力集群（Standard Cluster）”頁(yè)面單擊資源池名稱，查看部署服務(wù)需要選擇的資源池詳情，復(fù)制“網(wǎng)絡(luò)”字段對(duì)應(yīng)的值。
  3. 退出詳情后，單擊“網(wǎng)絡(luò)管理”頁(yè)面，按剛復(fù)制的網(wǎng)絡(luò)信息搜索，單擊“打通 VPC ”選擇自己SFS Turbo所在的VPC以及子網(wǎng)后單擊“確定”。

     或者通過(guò)單擊“更多”頁(yè)簽后選擇“關(guān)聯(lián)SFS Turbo”選擇自己需要掛載的SFS Turbo，該步驟存在規(guī)格要求需要SFS Turbo的 ECS 規(guī)格支持多個(gè)網(wǎng)卡，否則會(huì)提示掛網(wǎng)卡失敗。

部署在線服務(wù)（同步請(qǐng)求）

1. 登錄ModelArts管理控制臺(tái)，在左側(cè)導(dǎo)航欄中選擇“模型部署 > 在線服務(wù)”，默認(rèn)進(jìn)入“在線服務(wù)”列表。
2. 在“在線服務(wù)”列表中，單擊左上角“部署”，進(jìn)入“部署”頁(yè)面。
3. 在“部署”頁(yè)面，填寫在線服務(wù)相關(guān)參數(shù)。
   1. 填寫基本信息，詳細(xì)參數(shù)說(shuō)明請(qǐng)參見表2。

      表2 基本信息參數(shù)說(shuō)明

      參數(shù)名稱	說(shuō)明
      “名稱”	在線服務(wù)的名稱，請(qǐng)按照界面提示規(guī)則填寫。
      “是否自動(dòng)停止”	啟用該參數(shù)并設(shè)置時(shí)間后，服務(wù)將在指定時(shí)間后自動(dòng)停止。如果不啟用此參數(shù)，在線服務(wù)將一直運(yùn)行，同時(shí)一直收費(fèi)，自動(dòng)停止功能可以幫您避免產(chǎn)生不必要的費(fèi)用。默認(rèn)開啟自動(dòng)停止功能，且默認(rèn)值為“1小時(shí)”。 目前支持設(shè)置為“1小時(shí)”、“2小時(shí)”、“4小時(shí)”、“6小時(shí)”、“自定義”。如果選擇“自定義”的模式，可在右側(cè)輸入框中輸入1~24范圍內(nèi)的任意整數(shù)。
      “描述”	在線服務(wù)的簡(jiǎn)要說(shuō)明。

   2. 填寫資源池和模型配置等關(guān)鍵信息，詳情請(qǐng)參見表3。

      表3 參數(shù)說(shuō)明

      參數(shù)名稱	子參數(shù)	說(shuō)明
      “資源池”	“公共資源池”	部署在線服務(wù)使用公共資源池。公共資源池提供公共的大規(guī)模計(jì)算集群，根據(jù)用戶作業(yè)參數(shù)分配使用，資源按作業(yè)隔離。 公共資源池有CPU或GPU兩種規(guī)格，不同規(guī)格的資源池，其收費(fèi)標(biāo)準(zhǔn)不同，詳情請(qǐng)參見價(jià)格詳情說(shuō)明。當(dāng)前僅支持按需付費(fèi)模式。
      	“專屬資源池”	部署在線服務(wù)使用專屬資源池。專屬資源池不與其他用戶共享，資源更可控。 在專屬資源池規(guī)格中選擇對(duì)應(yīng)的規(guī)格進(jìn)行使用。暫不支持選擇創(chuàng)建了邏輯子池的物理池。
      “選擇模型及配置”	“模型來(lái)源”	部署在線服務(wù)的模型來(lái)源。根據(jù)您的實(shí)際情況選擇“自定義模型”或者“訂閱模型”。 “自定義模型”：在ModelArts自行訓(xùn)練或本地開發(fā)并導(dǎo)入ModelArts的模型。 “訂閱模型”：從AI Gallery中訂閱官方發(fā)布或者他人分享的模型。
      	“模型及版本”	選擇狀態(tài)“正?！?/span>的模型及版本。
      	“分流”	設(shè)置當(dāng)前模型版本的流量占比，服務(wù)調(diào)用請(qǐng)求根據(jù)該比例分配到當(dāng)前版本上 如您僅部署一個(gè)版本的模型，請(qǐng)?jiān)O(shè)置為100%。如您添加多個(gè)版本進(jìn)行灰度發(fā)布，多個(gè)版本分流之和設(shè)置為100%。
      	“實(shí)例規(guī)格”	選擇部署在線服務(wù)的實(shí)例規(guī)格，確保在線服務(wù)能夠正常運(yùn)行。 請(qǐng)根據(jù)界面顯示的列表，選擇可用的規(guī)格，置灰的規(guī)格表示當(dāng)前環(huán)境無(wú)法使用。 如果公共資源池下規(guī)格為空數(shù)據(jù)，表示當(dāng)前環(huán)境無(wú)公共資源。建議使用專屬資源池。 使用所選規(guī)格部署服務(wù)時(shí)，會(huì)產(chǎn)生必要的系統(tǒng)消耗，因此服務(wù)實(shí)際占用的資源會(huì)略大于該規(guī)格。
      	“實(shí)例數(shù)”	設(shè)置當(dāng)前版本模型的實(shí)例個(gè)數(shù)。如果實(shí)例數(shù)設(shè)置為1，表示后臺(tái)的計(jì)算模式是單機(jī)模式；如果實(shí)例數(shù)設(shè)置大于1，表示后臺(tái)的計(jì)算模式為分布式的。請(qǐng)根據(jù)實(shí)際編碼情況選擇計(jì)算模式。
      	“環(huán)境變量”	設(shè)置環(huán)境變量，注入環(huán)境變量到容器實(shí)例。 為確保您的數(shù)據(jù)安全，在環(huán)境變量中，請(qǐng)勿輸入敏感信息，如明文密碼。
      	“部署超時(shí)時(shí)間”	用于設(shè)置單個(gè)模型實(shí)例的超時(shí)時(shí)間，包括部署和啟動(dòng)時(shí)間。默認(rèn)值為20分鐘，輸入值必須在3到120之間。
      	“添加模型版本進(jìn)行灰度發(fā)布”	當(dāng)選擇的模型有多個(gè)版本時(shí)，您可以添加多個(gè)模型版本，并通過(guò)配置“分流”參數(shù)配置各模型版本的分流占比，完成多版本和靈活流量策略的灰度發(fā)布，實(shí)現(xiàn)模型版本的平滑過(guò)渡升級(jí)。 當(dāng)前免費(fèi)計(jì)算規(guī)格不支持多版本灰度發(fā)布。
      	“存儲(chǔ)掛載”	資源池為專屬資源池時(shí)顯示該參數(shù)。在服務(wù)運(yùn)行時(shí)將存儲(chǔ)卷以本地目錄的方式掛載到計(jì)算節(jié)點(diǎn)（計(jì)算實(shí)例），模型或輸入數(shù)據(jù)較大時(shí)建議使用。 SFS Turbo： 使用SFS Turbo掛載準(zhǔn)備工作如下： 使用專屬資源池部署服務(wù)才允許使用存儲(chǔ)掛載的能力，并且專屬資源池需要打通VPC或關(guān)聯(lián)SFS Turbo。 打通VPC為打通SFS Turbo所在VPC和專屬資源池網(wǎng)絡(luò)，打通步驟請(qǐng)見打通VPC章節(jié)。 關(guān)聯(lián)SFS Turbo：如果SFS Turbo為HPC型的文件系統(tǒng)，可使用關(guān)聯(lián)SFS Turbo功能，具體操作請(qǐng)參見配置ModelArts和SFS Turbo間網(wǎng)絡(luò)直通。 參數(shù)說(shuō)明如下： “文件系統(tǒng)名稱”：選擇對(duì)應(yīng)的SFS Turbo極速文件。不支持選擇跨區(qū)域（Region）的極速文件系統(tǒng)。 “掛載路徑”：指定容器內(nèi)部的掛載路徑，如“/sfs-turbo-mount/”。請(qǐng)選擇全新目錄，選擇存量目錄會(huì)覆蓋存量文件。 注意事項(xiàng)如下： 相同的文件系統(tǒng)只能掛載一次 ，且只能對(duì)應(yīng)一個(gè)掛載路徑，掛載路徑均不可重復(fù)。最多可以掛載8個(gè)盤。 選擇多掛載時(shí)請(qǐng)勿設(shè)置存在沖突的掛載路徑如相同路徑或相似路徑如/obs-mount/與/obs-mount/tmp/等。 選擇SFS Turbo存儲(chǔ)掛載后，請(qǐng)勿刪除已經(jīng)打通的VPC或解除SFS Turbo關(guān)聯(lián)，否則會(huì)導(dǎo)致掛載功能無(wú)法使用。掛載時(shí)默認(rèn)按客戶端umask權(quán)限設(shè)置，為確保正常使用須在SFS Turbo界面綁定后端OBS存儲(chǔ)后設(shè)置權(quán)限為777。
      優(yōu)先級(jí)	-	該功能僅在專屬資源池生效，包括邏輯資源池/新創(chuàng)建的物理資源池/邏輯子池，存量物理資源池不支持此功能。 用戶可以通過(guò)設(shè)置優(yōu)先級(jí)，優(yōu)先保障高優(yōu)先級(jí)的業(yè)務(wù)調(diào)度。 優(yōu)先級(jí)可選[1-3]，1為最低優(yōu)先級(jí)，3為最高優(yōu)先級(jí)。訓(xùn)推共池時(shí)，在創(chuàng)建訓(xùn)練作業(yè)界面開啟“允許被搶占”后（參考創(chuàng)建訓(xùn)練作業(yè)的創(chuàng)建生產(chǎn)訓(xùn)練作業(yè)（新版頁(yè)面）），高優(yōu)先級(jí)的推理任務(wù)可以搶占低優(yōu)先級(jí)的訓(xùn)練作業(yè)。
      “服務(wù)流量限制”	-	服務(wù)流量限制是指每秒內(nèi)一個(gè)服務(wù)能夠被訪問的次數(shù)上限。您可以根據(jù)實(shí)際需求設(shè)置每秒流量限制。
      “升級(jí)為WebSocket”	-	設(shè)置在線服務(wù)是否部署為WebSocket服務(wù)。將服務(wù)的通信協(xié)議從HTTP/HTTPS升級(jí)為WebSocket協(xié)議。 WebSocket協(xié)議支持客戶端和服務(wù)端之間的雙向?qū)崟r(shí)通信，適用于需要實(shí)時(shí)交互的場(chǎng)景，如實(shí)時(shí)預(yù)測(cè)、聊天機(jī)器人等。 升級(jí)為WebSocket后，服務(wù)的API接口公網(wǎng)地址將變?yōu)閃ebSocket協(xié)議地址，客戶端可以通過(guò)WebSocket客戶端進(jìn)行連接和數(shù)據(jù)交互。 約束限制如下： 要求模型的元模型來(lái)源為從 容器鏡像 中選擇，并且 鏡像 支持WebSocket。 設(shè)置“升級(jí)為WebSocket”后，不支持設(shè)置“服務(wù)流量限制”。 “升級(jí)為WebSocket”參數(shù)配置，在部署服務(wù)后不支持修改。 在線服務(wù)支持WebSocket更多了解請(qǐng)參考WebSocket在線服務(wù)全流程開發(fā)。
      “運(yùn)行日志輸出”	-	默認(rèn)關(guān)閉，在線服務(wù)的運(yùn)行日志僅存放在ModelArts日志系統(tǒng)，在服務(wù)詳情頁(yè)的“日志”支持簡(jiǎn)單查詢。 如果開啟此功能，在線服務(wù)的運(yùn)行日志會(huì)輸出存放到 云日志服務(wù)LTS 。LTS自動(dòng)創(chuàng)建日志組和日志流，默認(rèn)緩存7天內(nèi)的運(yùn)行日志。如需了解LTS專業(yè)日志管理功能，請(qǐng)參見云日志服務(wù)。 開啟此功能后約束限制如下： “運(yùn)行日志輸出”開啟后，在部署服務(wù)后不支持關(guān)閉。 請(qǐng)勿打印無(wú)用的audio日志文件，這會(huì)導(dǎo)致系統(tǒng)日志卡死，無(wú)法正常顯示日志，可能會(huì)出現(xiàn)“Failed to load audio”的報(bào)錯(cuò)。 注意： LTS服務(wù)提供的日志查詢和日志存儲(chǔ)功能涉及計(jì)費(fèi)，詳細(xì)請(qǐng)參見了解LTS的計(jì)費(fèi)規(guī)則。
      “支持APP認(rèn)證”	“APP授權(quán)配置”	在線服務(wù)是否支持通過(guò)APP認(rèn)證進(jìn)行訪問控制。 APP認(rèn)證是一種基于AppCode和AppSecret的認(rèn)證方式，用于驗(yàn)證客戶端的身份，確保只有授權(quán)的APP能夠調(diào)用服務(wù)的API。 通過(guò)APP認(rèn)證，可以實(shí)現(xiàn)更細(xì)粒度的訪問控制，提升服務(wù)的安全性。 默認(rèn)關(guān)閉。如需開啟此功能，請(qǐng)參見通過(guò)APP認(rèn)證的方式訪問在線服務(wù)了解詳情并根據(jù)實(shí)際情況進(jìn)行設(shè)置。
      “訂閱消息”	-	訂閱消息使用消息通知服務(wù)，在事件列表中選擇需要監(jiān)控的服務(wù)狀態(tài)，在事件發(fā)生時(shí)發(fā)送消息通知。

   3. 可選：配置高級(jí)選項(xiàng)。

      表4 高級(jí)選項(xiàng)參數(shù)說(shuō)明

      參數(shù)名稱	說(shuō)明
      故障自動(dòng)重啟	服務(wù)實(shí)例在發(fā)生故障時(shí)是否自動(dòng)重啟。 開啟該功能后，系統(tǒng)檢測(cè)到在線服務(wù)異常，會(huì)自動(dòng)重新部署在線服務(wù)。詳細(xì)請(qǐng)參見設(shè)置在線服務(wù)故障自動(dòng)重啟。 自動(dòng)重啟功能可以有效提升服務(wù)的可用性和穩(wěn)定性，減少因硬件故障導(dǎo)致的服務(wù)中斷時(shí)間。適用于對(duì)服務(wù)連續(xù)性和穩(wěn)定性要求較高的場(chǎng)景。
      “支持IPV6”	服務(wù)實(shí)例是否支持IPv6網(wǎng)絡(luò)通信。 默認(rèn)關(guān)閉。開啟該功能后，待在線服務(wù)部署完成，服務(wù)預(yù)測(cè)地址中的域名在公網(wǎng)解析時(shí)可解析為IPV6地址。 當(dāng)需要通過(guò)IPv6地址訪問服務(wù)實(shí)例時(shí)，開啟此字段以支持IPv6網(wǎng)絡(luò)通信。適用于需要在全球范圍內(nèi)提供服務(wù)，或需要與支持IPv6的網(wǎng)絡(luò)環(huán)境對(duì)接的場(chǎng)景。 該功能約束限制如下： 僅支持部署時(shí)開啟，開啟后不支持修改。 僅北京四支持該功能。
      “標(biāo)簽”	ModelArts支持對(duì)接標(biāo)簽管理服務(wù)TMS，在ModelArts中創(chuàng)建資源消耗性任務(wù)（例如：創(chuàng)建Notebook、訓(xùn)練作業(yè)、推理在線服務(wù)）時(shí)，可以為這些任務(wù)配置標(biāo)簽，通過(guò)標(biāo)簽實(shí)現(xiàn)資源的多維分組管理。 可以在標(biāo)簽輸入框下拉選擇TMS預(yù)定義標(biāo)簽，也可以自己輸入自定義標(biāo)簽。預(yù)定義標(biāo)簽對(duì)所有支持標(biāo)簽功能的服務(wù)資源可見。租戶自定義標(biāo)簽只對(duì)自己服務(wù)可見。 標(biāo)簽詳細(xì)用法請(qǐng)參見ModelArts如何通過(guò)標(biāo)簽實(shí)現(xiàn)資源分組管理。

4. 確認(rèn)填寫信息無(wú)誤后，根據(jù)界面提示完成在線服務(wù)的部署。部署服務(wù)一般需要運(yùn)行一段時(shí)間，根據(jù)您選擇的數(shù)據(jù)量和資源不同，部署時(shí)間將耗時(shí)幾分鐘到幾十分鐘不等。

   您可以前往在線服務(wù)列表，查看在線服務(wù)的基本情況。在線服務(wù)列表中，剛部署的服務(wù)“狀態(tài)”為“部署中”，當(dāng)在線服務(wù)的“狀態(tài)”變?yōu)?span id="9tlxrzz" class="parmname" id="ZH-CN_TOPIC_0000001986022709__zh-cn_topic_0165025304_parmname14442124095518">“運(yùn)行中”時(shí)，表示服務(wù)部署完成。

   在線服務(wù)部署完成后，將立即啟動(dòng)。服務(wù)為“運(yùn)行中”，“告警”狀態(tài)下正常運(yùn)行實(shí)例正在產(chǎn)生費(fèi)用，不使用時(shí)，請(qǐng)及時(shí)停止。

使用預(yù)測(cè)功能測(cè)試在線服務(wù)

模型部署為在線服務(wù)成功后，您可以在“預(yù)測(cè)”頁(yè)簽進(jìn)行代碼調(diào)試或添加文件測(cè)試。因APIG（API網(wǎng)關(guān)）的限制，單次預(yù)測(cè)的時(shí)間不能超過(guò)40S。

該功能為調(diào)測(cè)使用，實(shí)際生產(chǎn)建議使用API調(diào)用。根據(jù)鑒權(quán)方式的不同，可以根據(jù)實(shí)際情況選擇通過(guò)Token認(rèn)證的方式訪問在線服務(wù)、通過(guò)AK/SK認(rèn)證的方式訪問在線服務(wù)或者通過(guò)APP認(rèn)證的方式訪問在線服務(wù)。

根據(jù)模型定義的輸入請(qǐng)求不同（JSON文本或文件），測(cè)試服務(wù)包括如下兩種方式：

使用CloudShell調(diào)試在線服務(wù)實(shí)例容器

允許用戶使用ModelArts控制臺(tái)提供的CloudShell登錄運(yùn)行中在線服務(wù)實(shí)例容器。

約束限制：

• 只支持專屬資源池部署的在線服務(wù)使用CloudShell訪問容器。
• 在線服務(wù)必須處于“運(yùn)行中”狀態(tài)，才支持CloudShell訪問容器。

1. 登錄ModelArts管理控制臺(tái)，左側(cè)菜單選擇“模型部署 > 在線服務(wù)”。
2. 在線服務(wù)列表頁(yè)面單擊“名稱/ID”，進(jìn)入在線服務(wù)詳情頁(yè)面。
3. 單擊CloudShell頁(yè)簽，選擇模型版本和計(jì)算節(jié)點(diǎn)，當(dāng)連接狀態(tài)變?yōu)?span>時(shí)，即登錄實(shí)例容器成功。
   如果遇到異常情況服務(wù)器主動(dòng)斷開或超過(guò)10分鐘未操作自動(dòng)斷開，此時(shí)可單擊“重新連接”重新登錄實(shí)例容器。

   圖5 CloudShell界面
   
   部分用戶登錄Cloud Shell界面時(shí)，可能會(huì)出現(xiàn)路徑顯示異常情況，此時(shí)在Cloud Shell中單擊回車鍵即可恢復(fù)正常。

   圖6 路徑異常
   

4. 登錄實(shí)例容器成功后，在容器的終端環(huán)境執(zhí)行所需的調(diào)試命令。例如：

   查看日志：

   tail -f /var/log/app.log

   檢查服務(wù)狀態(tài)：

   systemctl status app

   執(zhí)行自定義腳本：

   ./debug_script.sh

5. 完成調(diào)試后，使用以下命令退出容器：

   exit

   返回CloudShell終端后，您可以查看調(diào)試結(jié)果或日志文件。

常見問題

• 服務(wù)部署失敗

  部署的在線服務(wù)狀態(tài)為告警

  自定義鏡像模型部署為在線服務(wù)時(shí)出現(xiàn)異常

  服務(wù)狀態(tài)一直處于“部署中”

• 服務(wù)預(yù)測(cè)失敗

  服務(wù)預(yù)測(cè)失敗

  服務(wù)預(yù)測(cè)失敗，報(bào)錯(cuò)APIG.XXXX