五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

該解決方案有何用途?

該解決方案基于ModelArts Standard資源模式適配PyTorch NPU推理技術(shù),將主流的開源大模型與硬件相結(jié)合,實現(xiàn)高速、高效的模型推理。幫助用戶快速一鍵部署AI應(yīng)用、在線推理,主要適用于自然語言處理 LLM應(yīng)用場景,為用戶提供更加高效、便捷的服務(wù)。

方案架構(gòu)

該解決方案使用函數(shù)工作流 FunctionGraph,幫助用戶基于PyTorch NPU快速在AI開發(fā)平臺ModelArts上部署開源大模型推理服務(wù)。

基于PyTorch NPU快速部署開源大模型

版本:1.0.0????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

上次更新日期:2024年11月

來源:由華為云構(gòu)建

部署:預(yù)計30分鐘

卸載:預(yù)計10分鐘

架構(gòu)描述

架構(gòu)描述

  • 使用函數(shù)工作流 FunctionGraph創(chuàng)建一個函數(shù),用于調(diào)用AI應(yīng)用、在線服務(wù)接口,實現(xiàn)在AI開發(fā)平臺ModelArts上快速部署推理服務(wù)

  • 使用AI開發(fā)平臺ModelArts,創(chuàng)建AI應(yīng)用,部署在線服務(wù)、用于獲取推理結(jié)果

  • 統(tǒng)一身份認證服務(wù) IAM上創(chuàng)建一個委托,用于授權(quán)FunctionGraph獲取IAM用戶Token,訪問ModelArts在線服務(wù)和OBS桶

展開內(nèi)容
收起內(nèi)容