AI訓(xùn)練數(shù)據(jù)的方法有哪些
DAYU 數(shù)據(jù)治理 方法論是華為 數(shù)據(jù)管理 方法論的精華總結(jié),旨在幫助客戶(hù)持續(xù)完善數(shù)據(jù)管理體系,沿企業(yè)主業(yè)務(wù)流打通信息鏈和數(shù)據(jù)流,提升數(shù)據(jù)質(zhì)量,實(shí)現(xiàn)數(shù)據(jù)“清潔”,以支撐運(yùn)營(yíng)效率提升和經(jīng)營(yíng)結(jié)果的真實(shí)呈現(xiàn),實(shí)現(xiàn)智慧數(shù)據(jù)驅(qū)動(dòng)有效增長(zhǎng),充分實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值。
文本識(shí)別精度高 借助大模型(LLM/多模態(tài)大模型)對(duì)數(shù)據(jù)有效的意圖理解能力,可以提高對(duì)圖片或文本中敏感內(nèi)容的精確識(shí)別,提高審核的準(zhǔn)確率,減少漏殺/誤殺。 圖像識(shí)別準(zhǔn)確率高 基于預(yù)訓(xùn)練模型(視覺(jué)大模型),提高目標(biāo)檢測(cè)、圖像分類(lèi)任務(wù)中敏感元素的識(shí)別準(zhǔn)確率。 為什么選擇華為云ModelArts
排和插件化的形式支持AI應(yīng)用的開(kāi)發(fā),支持的數(shù)據(jù)有視頻,音頻,語(yǔ)音,文本,通用數(shù)據(jù)的編排處理。 相比直接調(diào)用底層API開(kāi)發(fā)AI業(yè)務(wù),ModelBox有什么優(yōu)勢(shì)? ModelBox主要聚焦解決AI應(yīng)用開(kāi)發(fā)的問(wèn)題,相比直接調(diào)用底層API,開(kāi)發(fā)者需要關(guān)注每個(gè)底層的API使用方法,關(guān)注并發(fā)
該案例是使用華為云一站式AI開(kāi)發(fā)平臺(tái)ModelArts的新版“自動(dòng)學(xué)習(xí)”功能,基于華為云AI開(kāi)發(fā)者社區(qū)AI Gallery中的數(shù)據(jù)集資產(chǎn),讓零AI基礎(chǔ)的開(kāi)發(fā)者完成“物體檢測(cè)”的AI模型的訓(xùn)練和部署。 一鍵完成商超商品識(shí)別模型部署 本教程以“商超商品識(shí)別”模型為例,完成從AI Gallery訂閱模型,到ModelArts一鍵部署為在線服務(wù)的全流程體驗(yàn)過(guò)程。
CloudPond 將云基礎(chǔ)設(shè)施和云服務(wù)部署到用戶(hù)本地,適合對(duì)應(yīng)用低時(shí)延訪問(wèn)、數(shù)據(jù)本地化留存及業(yè)務(wù)系統(tǒng)本地交互等有要求的業(yè)務(wù)場(chǎng)景 將云基礎(chǔ)設(shè)施和云服務(wù)部署到用戶(hù)本地,適合對(duì)應(yīng)用低時(shí)延訪問(wèn)、數(shù)據(jù)本地化留存及業(yè)務(wù)系統(tǒng)本地交互等有要求的業(yè)務(wù)場(chǎng)景 購(gòu)買(mǎi) 控制臺(tái) 文檔 1柜起步 1-32柜,低配置起步,按需擴(kuò)容
擁有業(yè)界有競(jìng)爭(zhēng)力的跨領(lǐng)域語(yǔ)義匹配、意圖理解,支持通過(guò)可視化的界面進(jìn)行業(yè)務(wù)場(chǎng)景的配置,一鍵化訓(xùn)練部署 擁有業(yè)界有競(jìng)爭(zhēng)力的跨領(lǐng)域語(yǔ)義匹配、意圖理解,支持通過(guò)可視化的界面進(jìn)行業(yè)務(wù)場(chǎng)景的配置,一鍵化訓(xùn)練部署 多輪對(duì)話 多輪對(duì)話 具有上下文理解能力,能夠?qū)崟r(shí)跟蹤用戶(hù)的意圖,保持用戶(hù)的狀態(tài)。通過(guò)上下文信息對(duì)用戶(hù)問(wèn)題進(jìn)行理解,支持進(jìn)一步引導(dǎo)用戶(hù)
提供高性能、高可靠、低時(shí)延、低成本的海量存儲(chǔ)系統(tǒng),與華為云的大數(shù)據(jù)服務(wù)組合使用,可大幅降低成本,幫助企業(yè)簡(jiǎn)單便捷的管理大數(shù)據(jù) 分布式SQL引擎 DataArtsFabric提供分布式SQL引擎,實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)、計(jì)算、緩存和存儲(chǔ)的分層解耦和彈性,讓每一層動(dòng)態(tài)分配資源而不會(huì)影響另一層的性能或可用性。語(yǔ)
基于政企知識(shí)進(jìn)行模型訓(xùn)練,通過(guò)對(duì)話交互,精準(zhǔn)獲取用戶(hù)需求的信息,提高知識(shí)獲取效率,帶來(lái)有溫度的人工智能服務(wù)體驗(yàn)。 智能創(chuàng)意營(yíng)銷(xiāo) 輕松完成多種風(fēng)格類(lèi)型的寫(xiě)作,提供創(chuàng)意的商業(yè)文案,幫助產(chǎn)品吸引更多的潛在客戶(hù),釋放無(wú)窮創(chuàng)作活力。 行業(yè)API助手 輕松集成和調(diào)用接口,打通應(yīng)用的最后一公里,提升整個(gè)業(yè)務(wù)系統(tǒng)的性能和效率。
支持本地或使用其他工具開(kāi)發(fā)的算法上傳至ModelArts中統(tǒng)一管理;支持訂閱AI Gallery中的算法構(gòu)建模型 訓(xùn)練管理 支持基于不同的數(shù)據(jù),選擇不同規(guī)格的資源池用于模型訓(xùn)練;支持使用以下三種方式開(kāi)發(fā)模型:訂閱算法、自定義算法、自定義鏡像 AI應(yīng)用管理 支持將訓(xùn)練作業(yè)中得到的模型、本地開(kāi)發(fā)的模型部
“未來(lái),我們希望繼續(xù)深化與華為云的合作。通過(guò)華為云的全球化布局,推動(dòng)我們的出海業(yè)務(wù),進(jìn)一步拓展我們的發(fā)展空間。” ——夢(mèng)餉集團(tuán)CEO 冷靜 了解詳情 T3 出行 “T3 出行Lakehouse 整體技術(shù)架構(gòu)的特點(diǎn)就是存算分離,基于開(kāi)源的Hudi 框架,使得它能夠同時(shí)支撐BI 和AI 的場(chǎng)景,目前我們托管于華為云FusionInsight
注效率低,只需人工提供極少量的標(biāo)注數(shù)據(jù),通過(guò)平臺(tái)的自動(dòng)標(biāo)注功能,能夠提升50%的標(biāo)注效率,節(jié)省人力及時(shí)間成本;3、解決模型訓(xùn)練門(mén)檻高問(wèn)題,可視化的模型訓(xùn)練界面,自動(dòng)推薦訓(xùn)練參數(shù),5分鐘快速上手,模型訓(xùn)練成本降低70%;4、克服算法只能解決單一業(yè)務(wù)場(chǎng)景問(wèn)題,通過(guò)拖拽的方式將多個(gè)模型
產(chǎn)品利用移動(dòng)5G通訊,結(jié)合AI視覺(jué)算法的先進(jìn)技術(shù),與戰(zhàn)訓(xùn)環(huán)節(jié)深度融合,實(shí)現(xiàn)比武考試、體能訓(xùn)練、日常訓(xùn)練等全場(chǎng)景應(yīng)用 實(shí)時(shí)查看訓(xùn)練考核數(shù)據(jù)
快速生成票據(jù)證件類(lèi)數(shù)據(jù),單核CPU生成帶標(biāo)注數(shù)據(jù)每小時(shí)8萬(wàn)張,可模擬各類(lèi)真實(shí)場(chǎng)景效果,內(nèi)置上千萬(wàn)條語(yǔ)料,輕松獲得百萬(wàn)張模型訓(xùn)練數(shù)據(jù) 靈活度高!數(shù)十種參數(shù)和靈活的閾值調(diào)配,數(shù)據(jù)真!可模擬多種真實(shí)場(chǎng)景效果,內(nèi)置上千萬(wàn)條語(yǔ)料,速度快!單核CPU每小時(shí)可生成80000張票證,自帶標(biāo)注信息
試場(chǎng)的數(shù)據(jù)所抽幀生成,共采集了約7.38萬(wàn)張的高清圖片數(shù)據(jù),覆蓋高速,城鎮(zhèn),測(cè)試區(qū)(鄉(xiāng)村道路)、測(cè)試區(qū)(越野道路)等場(chǎng)景集(數(shù)據(jù)抽幀時(shí)間為3秒/幀),很大程度上避免了數(shù)據(jù)冗余,提供了更豐富的場(chǎng)景,提升客戶(hù)訓(xùn)練算法模型的精確度。數(shù)據(jù)標(biāo)注更多標(biāo)注需求,以及標(biāo)注數(shù)據(jù)請(qǐng)聯(lián)系客服數(shù)據(jù)標(biāo)注官網(wǎng):iticdata
戶(hù)提升線上營(yíng)銷(xiāo)的潛力,并且將挖掘到的用戶(hù)需求和消費(fèi)行為,以數(shù)據(jù)形式反饋給商戶(hù),幫助零售商家線上線下融合,實(shí)現(xiàn)零售數(shù)字化升級(jí)。同城云店:核心生意在門(mén)店,云店作為門(mén)店的經(jīng)營(yíng)渠道拓寬,增加門(mén)店的經(jīng)營(yíng)半徑和經(jīng)營(yíng)時(shí)長(zhǎng),主要適配蛋糕烘焙、輕餐茶飲行業(yè)、生鮮果蔬等同城零售屬性的行業(yè)。套餐包含1
和通話質(zhì)量的功能。l 5G通信模塊,是一款專(zhuān)為 IoT/eMBB 應(yīng)用而設(shè)計(jì)的5G Sub-6 GHz工規(guī)級(jí)模塊。采用M.2封裝,幾乎覆蓋全球所有主流運(yùn)營(yíng)商。集成多星座高精度定位 GNSS(支持 GPS、GLONASS、BeiDou 和Galileo)接收機(jī),內(nèi)置豐富的網(wǎng)絡(luò)協(xié)議,
有贊微商城是面向全行業(yè)全場(chǎng)景的的電商開(kāi)店解決方案,幫助商家快速搭建線上商城。近百種營(yíng)銷(xiāo)工具,幫助拓展和運(yùn)營(yíng)全渠道流量,輕松線上經(jīng)營(yíng)。有贊微商城基于SaaS系統(tǒng)打造全渠道搭建線上商城,精細(xì)化運(yùn)營(yíng)會(huì)員,獲取社交電商生意增量,為不同行業(yè)、場(chǎng)景商家匹配更合適的解決方案,不止系統(tǒng)工具,全方
有客營(yíng)銷(xiāo)云,服務(wù)企業(yè)營(yíng)銷(xiāo)的人工智能投放平臺(tái)。有客營(yíng)銷(xiāo)云,以物聯(lián)網(wǎng)+AI機(jī)器智能為技術(shù)核心的營(yíng)銷(xiāo)云平臺(tái)。目前媒體庫(kù)擁有超過(guò)90%全國(guó)媒體,人群庫(kù)有超過(guò)5億的標(biāo)簽提供給合作伙伴使用。 平臺(tái)目前已經(jīng)打通了6大產(chǎn)品線,連接超1400萬(wàn)線下智能大屏,80萬(wàn)線上媒體,600多萬(wàn)家庭智能電視和700多萬(wàn)帶有媒體屬性的物聯(lián)網(wǎng)終端。
,提供快速的近似解,是優(yōu)化設(shè)計(jì)和實(shí)時(shí)控制的重要工具。 不確定性量化(Uncertainty Quantification, UQ)是在系統(tǒng)中存在諸多不確定性因素時(shí)向決策者提供高置信度的系統(tǒng)行為預(yù)測(cè)的過(guò)程。UQ通過(guò)量化實(shí)際問(wèn)題模型背后的不確定因素以評(píng)估和減少不確定性帶來(lái)的風(fēng)險(xiǎn),包含
拽即可完成對(duì)原始數(shù)據(jù)的清洗。物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)提供的資產(chǎn)建模能力,將幫助用戶(hù)實(shí)現(xiàn)對(duì)企業(yè)的各種物理資產(chǎn)的建模,規(guī)范數(shù)據(jù)格式和交互的語(yǔ)義接口;物聯(lián)網(wǎng)數(shù)據(jù)分析內(nèi)置高性能流計(jì)算引擎,滿足毫秒級(jí)實(shí)時(shí)處理性能要求 智能交通下的數(shù)據(jù)分析 智能交通下的數(shù)據(jù)分析: 業(yè)務(wù)挑戰(zhàn) 智能交通場(chǎng)景下,往往涉
架構(gòu)需要使用到大規(guī)模的計(jì)算集群(GPU/NPU服務(wù)器),集群中的服務(wù)器訪問(wèn)的數(shù)據(jù)來(lái)自一個(gè)統(tǒng)一的數(shù)據(jù)源,即一個(gè)共享的存儲(chǔ)空間。這種共享訪問(wèn)的數(shù)據(jù)有諸多好處,它可以保證不同服務(wù)器上訪問(wèn)數(shù)據(jù)的一致性,減少不同服務(wù)器上分別保留數(shù)據(jù)帶來(lái)的數(shù)據(jù)冗余等。另外以 AI 生態(tài)中非常流行的開(kāi)源深度學(xué)習(xí)框架Py
運(yùn)維、彈性伸縮的華為云數(shù)據(jù)庫(kù)服務(wù)。 優(yōu)質(zhì)的硬件基礎(chǔ) 華為云關(guān)系型數(shù)據(jù)庫(kù)使用的是華為經(jīng)過(guò)多年的研究、創(chuàng)新和開(kāi)發(fā),通過(guò)多重考驗(yàn)的服務(wù)器硬件,為用戶(hù)帶來(lái)穩(wěn)定的、高性能數(shù)據(jù)庫(kù)服務(wù)。 SQL優(yōu)化方案 華為云關(guān)系型數(shù)據(jù)庫(kù)提供慢SQL檢測(cè),用戶(hù)可以根據(jù)華為云關(guān)系型數(shù)據(jù)庫(kù)服務(wù)提出的優(yōu)化建議進(jìn)行代碼優(yōu)化。
構(gòu),能夠提供更強(qiáng)的應(yīng)用聯(lián)動(dòng)能力,使不同模塊之間的數(shù)據(jù)和功能能夠無(wú)縫集成,提高工作效率。3. 高占比的低代碼交互操作:IFS智能財(cái)務(wù)商城采用低代碼交互操作,用戶(hù)無(wú)需編寫(xiě)復(fù)雜的代碼,只需通過(guò)簡(jiǎn)單的操作即可完成復(fù)雜的任務(wù),提高了用戶(hù)的操作效率和易用性。4. 輕接入的智能化效果快速呈現(xiàn):
表、設(shè)置報(bào)表的執(zhí)行任務(wù) 數(shù)據(jù)庫(kù)常見(jiàn)的安全問(wèn)題有哪些 數(shù)據(jù)庫(kù)常見(jiàn)的安全問(wèn)題有哪些 數(shù)據(jù)庫(kù)安全審計(jì)可以跨區(qū)域使用嗎? 數(shù)據(jù)庫(kù)安全審計(jì)不支持跨區(qū)域(Region)使用。待審計(jì)的數(shù)據(jù)庫(kù)和購(gòu)買(mǎi)的數(shù)據(jù)庫(kù)安全審計(jì)實(shí)例必須在同一區(qū)域,您才能使用數(shù)據(jù)庫(kù)安全審計(jì)功能。 如果您購(gòu)買(mǎi)的數(shù)據(jù)庫(kù)安全審計(jì)實(shí)例
什么是數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)是云服務(wù)中非常關(guān)鍵的一環(huán),數(shù)據(jù)庫(kù)包含關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)等,為您打造更高可用、更高可靠、更高安全、更高性能、即開(kāi)即用、便捷運(yùn)維、彈性伸縮的數(shù)據(jù)庫(kù)服務(wù),本文為您介紹什么是數(shù)據(jù)庫(kù),以及常見(jiàn)的數(shù)據(jù)庫(kù)介紹。 云數(shù)據(jù)庫(kù)產(chǎn)品總覽 數(shù)據(jù)庫(kù)遷移指南 常見(jiàn)的數(shù)據(jù)庫(kù)介紹 什么是云數(shù)據(jù)庫(kù)RDS
不同區(qū)域和行業(yè)的完善云服務(wù)安全保障體系。 安全性是華為云與您的共同責(zé)任,如圖1所示。 華為云:負(fù)責(zé)云服務(wù)自身的安全,提供安全的云。華為云的安全責(zé)任在于保障其所提供的 IaaS、PaaS 和 SaaS 類(lèi)云服務(wù)自身的安全,涵蓋華為云數(shù)據(jù)中心的物理環(huán)境設(shè)施和運(yùn)行其上的基礎(chǔ)服務(wù)、平臺(tái)服
運(yùn)維、彈性伸縮的華為云數(shù)據(jù)庫(kù)服務(wù)。 優(yōu)質(zhì)的硬件基礎(chǔ) 華為云關(guān)系型數(shù)據(jù)庫(kù)使用的是華為經(jīng)過(guò)多年的研究、創(chuàng)新和開(kāi)發(fā),通過(guò)多重考驗(yàn)的服務(wù)器硬件,為用戶(hù)帶來(lái)穩(wěn)定的、高性能數(shù)據(jù)庫(kù)服務(wù)。 SQL優(yōu)化方案 華為云關(guān)系型數(shù)據(jù)庫(kù)提供慢SQL檢測(cè),用戶(hù)可以根據(jù)華為云關(guān)系型數(shù)據(jù)庫(kù)服務(wù)提出的優(yōu)化建議進(jìn)行代碼優(yōu)化。
地址段。云數(shù)據(jù)庫(kù)RDS實(shí)例運(yùn)行在租戶(hù)獨(dú)立的虛擬私有云內(nèi),可提升云數(shù)據(jù)庫(kù)RDS實(shí)例的安全性。 數(shù)據(jù)庫(kù)-數(shù)據(jù)刪除 刪除云數(shù)據(jù)庫(kù)RDS實(shí)例時(shí),存儲(chǔ)在數(shù)據(jù)庫(kù)實(shí)例中的數(shù)據(jù)都會(huì)被刪除。安全刪除不僅包括數(shù)據(jù)庫(kù)實(shí)例所掛載的磁盤(pán),也包括自動(dòng)備份數(shù)據(jù)的存儲(chǔ)空間。刪除的實(shí)例可以通過(guò)保留的手動(dòng)備份恢復(fù)實(shí)
AI訓(xùn)練數(shù)據(jù)的方法有哪些
機(jī)器學(xué)習(xí)從有限的觀測(cè)數(shù)據(jù)中學(xué)習(xí)一般性的規(guī)律,并利用這些規(guī)律對(duì)未知的數(shù)據(jù)進(jìn)行預(yù)測(cè)。為了獲取更準(zhǔn)確的預(yù)測(cè)結(jié)果,用戶(hù)需要選擇一個(gè)合適的算法來(lái)訓(xùn)練模型。針對(duì)不同的場(chǎng)景, ModelArts 提供大量的算法樣例。以下章節(jié)提供了關(guān)于業(yè)務(wù)場(chǎng)景、算法學(xué)習(xí)方式、算法實(shí)現(xiàn)方式的指導(dǎo)。
選擇算法的實(shí)現(xiàn)方式
ModelArts提供如下方式實(shí)現(xiàn)模型訓(xùn)練前的算法準(zhǔn)備。
- 使用訂閱算法
ModelArts的AI Gallery提供了可以直接訂閱的算法,不需要進(jìn)行代碼開(kāi)發(fā),即可使用現(xiàn)成的算法進(jìn)行模型構(gòu)建。
- 使用預(yù)置框架
如果您需要使用自己開(kāi)發(fā)的算法,可以選擇使用ModelArts預(yù)置框架。ModelArts支持了大多數(shù)主流的AI引擎,詳細(xì)請(qǐng)參見(jiàn)預(yù)置訓(xùn)練引擎。這些預(yù)置引擎預(yù)加載了一些額外的python包,例如numpy等;也支持您通過(guò)在代碼目錄中使用“requirements.txt”文件安裝依賴(lài)包。使用預(yù)置框架創(chuàng)建訓(xùn)練作業(yè)請(qǐng)參考開(kāi)發(fā)用于預(yù)置框架訓(xùn)練的代碼指導(dǎo)。
- 使用預(yù)置框架 + 自定義 鏡像 :
如果先前基于預(yù)置框架且通過(guò)指定代碼目錄和啟動(dòng)文件的方式來(lái)創(chuàng)建的算法;但是隨著業(yè)務(wù)邏輯的逐漸復(fù)雜,您期望可以基于預(yù)置框架修改或增加一些軟件依賴(lài)的時(shí)候,此時(shí)您可以使用預(yù)置框架 + 自定義鏡像的功能,即選擇預(yù)置框架名稱(chēng)后,在預(yù)置框架版本下拉列表中選擇“自定義”。
此功能與直接基于預(yù)置框架創(chuàng)建算法的區(qū)別僅在于,鏡像是由用戶(hù)自行選擇的。用戶(hù)可以基于預(yù)置框架制作自定義鏡像?;陬A(yù)置框架制作自定義鏡像代碼可參考使用預(yù)置鏡像制作自定義鏡像用于訓(xùn)練模型章節(jié)。
- 完全自定義鏡像:
訂閱算法和預(yù)置框架涵蓋了大部分的訓(xùn)練場(chǎng)景。針對(duì)特殊場(chǎng)景,ModelArts支持用戶(hù)構(gòu)建自定義鏡像用于模型訓(xùn)練。用戶(hù)遵循ModelArts鏡像的規(guī)范要求制作鏡像,選擇自己的鏡像,并且通過(guò)指定代碼目錄(可選)和啟動(dòng)命令的方式來(lái)創(chuàng)建的訓(xùn)練作業(yè)。
自定義鏡像需上傳至 容器鏡像服務(wù) ( SWR ),才能用于ModelArts上訓(xùn)練,請(qǐng)參考使用自定義鏡像訓(xùn)練模型。由于自定義鏡像的制作要求用戶(hù)對(duì)容器相關(guān)知識(shí)有比較深刻的了解,除非訂閱算法和預(yù)置引擎無(wú)法滿足需求,否則不推薦使用。
當(dāng)使用完全自定義鏡像創(chuàng)建訓(xùn)練作業(yè)時(shí),“啟動(dòng)命令”必須在“/home/ma-user”目錄下執(zhí)行,否則訓(xùn)練作業(yè)可能會(huì)運(yùn)行異常。
創(chuàng)建算法
您在本地或使用其他工具開(kāi)發(fā)的算法,支持上傳至ModelArts中統(tǒng)一管理。
- 創(chuàng)建算法的準(zhǔn)備工作。
- 完成數(shù)據(jù)準(zhǔn)備:已在ModelArts中創(chuàng)建可用的數(shù)據(jù)集,或者您已將用于訓(xùn)練的數(shù)據(jù)集上傳至 OBS 目錄。
- 準(zhǔn)備訓(xùn)練腳本,并上傳至OBS目錄。訓(xùn)練腳本開(kāi)發(fā)指導(dǎo)參見(jiàn)開(kāi)發(fā)用于預(yù)置框架訓(xùn)練的代碼或開(kāi)發(fā)用于自定義鏡像訓(xùn)練的代碼。
- 在OBS創(chuàng)建至少1個(gè)空的文件夾,用于存儲(chǔ)訓(xùn)練輸出的內(nèi)容。
- 確保您使用的OBS目錄與ModelArts在同一區(qū)域。
- 進(jìn)入算法創(chuàng)建頁(yè)面。
- 登錄ModelArts管理控制臺(tái),單擊左側(cè)菜單欄的“資產(chǎn)管理 > 算法管理”。
- 在“我的算法”管理頁(yè)面,單擊“創(chuàng)建”,進(jìn)入“創(chuàng)建算法”頁(yè)面。填寫(xiě)算法的基本信息,包含“名稱(chēng)”和“描述”。
- 設(shè)置算法啟動(dòng)方式,有以下三種方式可以選擇。
- 設(shè)置算法啟動(dòng)方式(預(yù)置框架)
圖1 使用預(yù)置框架創(chuàng)建算法
需根據(jù)實(shí)際算法代碼情況設(shè)置“代碼目錄”和“啟動(dòng)文件”。選擇的預(yù)置框架和編寫(xiě)算法代碼時(shí)選擇的框架必須一致。例如編寫(xiě)算法代碼使用的是TensorFlow,則在創(chuàng)建算法時(shí)也要選擇TensorFlow。表1 使用預(yù)置框架創(chuàng)建算法 參數(shù)
說(shuō)明
“啟動(dòng)方式”
選擇“預(yù)置框架”。
選擇算法使用的預(yù)置框架引擎和引擎版本。
“代碼目錄”
算法代碼存儲(chǔ)的OBS路徑。訓(xùn)練代碼、依賴(lài)安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。
請(qǐng)注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大,訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動(dòng)后會(huì)下載至后臺(tái),可能會(huì)有下載失敗的風(fēng)險(xiǎn)。
訓(xùn)練作業(yè)創(chuàng)建完成后,ModelArts會(huì)將代碼目錄及其子目錄下載至訓(xùn)練后臺(tái)容器中。
例如:OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄,OBS路徑下的內(nèi)容會(huì)被自動(dòng)下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中,demo-code為OBS存放代碼路徑的最后一級(jí)目錄,用戶(hù)可以根據(jù)實(shí)際修改。
說(shuō)明:- 編程語(yǔ)言不限。
- 文件數(shù)(含文件、文件夾數(shù)量)小于或等于1000個(gè)。
- 文件總大小小于或等于5GB。
“啟動(dòng)文件”
必須為“代碼目錄”下的文件,且以“.py”結(jié)尾,即ModelArts目前只支持使用Python語(yǔ)言編寫(xiě)的啟動(dòng)文件。
代碼目錄路徑中的啟動(dòng)文件為訓(xùn)練啟動(dòng)的入口。
- 設(shè)置算法啟動(dòng)方式(預(yù)置框架+自定義)
圖2 使用預(yù)置框架+自定義鏡像創(chuàng)建算法
需根據(jù)實(shí)際算法代碼情況設(shè)置“鏡像”、“代碼目錄”和“啟動(dòng)文件”。選擇的預(yù)置框架和編寫(xiě)算法代碼時(shí)選擇的框架必須一致。例如編寫(xiě)算法代碼使用的是TensorFlow,則在創(chuàng)建算法時(shí)也要選擇TensorFlow。表2 使用預(yù)置框架+自定義鏡像創(chuàng)建算法 參數(shù)
說(shuō)明
“啟動(dòng)方式”
選擇“預(yù)置框架”。
預(yù)置框架的引擎版本選擇“自定義”。
“鏡像”
用戶(hù)制作的鏡像需要提前上傳到SWR,才可以在這里選擇。制作鏡像的方式請(qǐng)參見(jiàn)訓(xùn)練作業(yè)的自定義鏡像制作流程。
“代碼目錄”
算法代碼存儲(chǔ)的OBS路徑。訓(xùn)練代碼、依賴(lài)安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。
請(qǐng)注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大,訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動(dòng)后會(huì)下載至后臺(tái),可能會(huì)有下載失敗的風(fēng)險(xiǎn)。
訓(xùn)練作業(yè)啟動(dòng)時(shí),ModelArts會(huì)將訓(xùn)練代碼目錄及其子目錄下載至訓(xùn)練后臺(tái)容器中。
例如:OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄,OBS路徑下的內(nèi)容會(huì)被自動(dòng)下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中,demo-code為OBS存放代碼路徑的最后一級(jí)目錄,用戶(hù)可以根據(jù)實(shí)際修改。
說(shuō)明:- 訓(xùn)練代碼編程語(yǔ)言不限。訓(xùn)練啟動(dòng)文件必須為Python語(yǔ)言。
- 文件數(shù)(含文件、文件夾數(shù)量)小于或等于1000個(gè)。
- 文件總大小要小于或等于5GB。
- 文件深度要小于或等于32
“啟動(dòng)文件”
必須為“代碼目錄”下的文件,且以“.py”結(jié)尾,即ModelArts目前只支持使用Python語(yǔ)言編寫(xiě)的啟動(dòng)文件。
代碼目錄路徑中的啟動(dòng)文件為訓(xùn)練啟動(dòng)的入口。
選擇預(yù)置框架+自定義時(shí),該功能的后臺(tái)行為與直接基于預(yù)置框架運(yùn)行訓(xùn)練作業(yè)相同,例如:- 系統(tǒng)將會(huì)自動(dòng)注入一系列環(huán)境變量。
PATH=${MA_HOME}/anaconda/bin:${PATH} LD_LIBRARY_PATH=${MA_HOME}/anaconda/lib:${LD_LIBRARY_PATH} PYTHONPATH=${MA_JOB_DIR}:${PYTHONPATH} - 您選擇的啟動(dòng)文件將會(huì)被系統(tǒng)自動(dòng)以python命令直接啟動(dòng),因此請(qǐng)確保鏡像中的Python命令為您預(yù)期的Python環(huán)境。注意到系統(tǒng)自動(dòng)注入的PATH環(huán)境變量,您可以參考下述命令確認(rèn)訓(xùn)練作業(yè)最終使用的Python版本:
export MA_HOME=/home/ma-user; docker run --rm {image} ${MA_HOME}/anaconda/bin/python -V docker run --rm {image} $(which python) -V - 系統(tǒng)將會(huì)自動(dòng)添加預(yù)置框架關(guān)聯(lián)的超參。
- 設(shè)置算法啟動(dòng)方式(自定義)
圖3 完全使用自定義鏡像創(chuàng)建算法
表3 完全使用自定義鏡像創(chuàng)建算法 參數(shù)
說(shuō)明
“啟動(dòng)方式”
選擇“自定義”。
“鏡像”
用戶(hù)制作的鏡像需要提前上傳到SWR,才可以在這里選擇。制作鏡像的方式請(qǐng)參見(jiàn)訓(xùn)練作業(yè)的自定義鏡像制作流程。
“代碼目錄”
算法代碼存儲(chǔ)的OBS路徑。訓(xùn)練代碼、依賴(lài)安裝包或者預(yù)生成模型等訓(xùn)練所需文件上傳至該代碼目錄下。如果自定義鏡像中不含訓(xùn)練代碼則需要配置該參數(shù),如果自定義鏡像中已包含訓(xùn)練代碼則不需要配置。
請(qǐng)注意不要將訓(xùn)練數(shù)據(jù)放在代碼目錄路徑下。訓(xùn)練數(shù)據(jù)比較大,訓(xùn)練代碼目錄在訓(xùn)練作業(yè)啟動(dòng)后會(huì)下載至后臺(tái),可能會(huì)有下載失敗的風(fēng)險(xiǎn)。
訓(xùn)練作業(yè)啟動(dòng)時(shí),ModelArts會(huì)將訓(xùn)練代碼目錄及其子目錄下載至訓(xùn)練后臺(tái)容器中。
例如:OBS路徑“obs://obs-bucket/training-test/demo-code”作為代碼目錄,OBS路徑下的內(nèi)容會(huì)被自動(dòng)下載至訓(xùn)練容器的“${MA_JOB_DIR}/demo-code”目錄中,demo-code為OBS存放代碼路徑的最后一級(jí)目錄,用戶(hù)可以根據(jù)實(shí)際修改。
說(shuō)明:- 訓(xùn)練代碼編程語(yǔ)言不限。訓(xùn)練啟動(dòng)文件必須為Python語(yǔ)言。
- 文件數(shù)(含文件、文件夾數(shù)量)小于或等于1000個(gè)。
- 文件總大小要小于或等于5GB。
- 文件深度要小于或等于32
“啟動(dòng)命令”
必填,鏡像的啟動(dòng)命令。
運(yùn)行訓(xùn)練作業(yè)時(shí),當(dāng)“代碼目錄”下載完成后,“啟動(dòng)命令”會(huì)被自動(dòng)執(zhí)行。- 如果訓(xùn)練啟動(dòng)腳本用的是py文件,例如“train.py”,則啟動(dòng)命令如下所示。
python ${MA_JOB_DIR}/demo-code/train.py - 如果訓(xùn)練啟動(dòng)腳本用的是sh文件,例如“main.sh”,則啟動(dòng)命令如下所示。
bash ${MA_JOB_DIR}/demo-code/main.sh
啟動(dòng)命令支持使用“;”和“&&”拼接多條命令,命令中的“demo-code”為存放代碼目錄的最后一級(jí)OBS目錄,以實(shí)際情況為準(zhǔn)。
當(dāng)存在輸入管道、輸出管道、或是超參的情況下,請(qǐng)保證啟動(dòng)命令的最后一條命令是運(yùn)行訓(xùn)練腳本。
原因:系統(tǒng)會(huì)將輸入管道、輸出管道、以及超參添加到啟動(dòng)命令的末尾,如果最后一條命令不是運(yùn)行訓(xùn)練腳本則會(huì)報(bào)錯(cuò)。
例如:?jiǎn)?dòng)命令的最后一條是python train.py,且存在--data_url超參,系統(tǒng)正常運(yùn)行會(huì)執(zhí)行python train.py --data_url=/input。但是當(dāng)啟動(dòng)命令python train.py后面有其他命令時(shí),如下所示:
python train.py pwd #反例,啟動(dòng)命令的最后一條命令不是運(yùn)行訓(xùn)練腳本,而是pwd
此時(shí),如果拼接了輸入管道、輸出管道、以及超參,系統(tǒng)運(yùn)行實(shí)際執(zhí)行的是python train.py pwd --data_url=/input,就會(huì)報(bào)錯(cuò)。
訓(xùn)練支持的自定義鏡像使用說(shuō)明請(qǐng)參考自定義鏡像的啟動(dòng)命令規(guī)范。
- 設(shè)置算法啟動(dòng)方式(預(yù)置框架)
- 輸入輸出管道設(shè)置。
訓(xùn)練過(guò)程中,算法需要從OBS桶或者數(shù)據(jù)集中獲取數(shù)據(jù)進(jìn)行模型訓(xùn)練,訓(xùn)練產(chǎn)生的輸出結(jié)果也需要存儲(chǔ)至OBS桶中。用戶(hù)的算法代碼中需解析輸入輸出參數(shù)實(shí)現(xiàn)ModelArts后臺(tái)與OBS的數(shù)據(jù)交互,用戶(hù)可以參考準(zhǔn)備模型訓(xùn)練代碼完成適配ModelArts訓(xùn)練的代碼開(kāi)發(fā)。
- 輸入配置
表4 輸入配置 參數(shù)
參數(shù)說(shuō)明
參數(shù)名稱(chēng)
根據(jù)實(shí)際代碼中的輸入數(shù)據(jù)參數(shù)定義此處的名稱(chēng)。此處設(shè)置的代碼路徑參數(shù)必須與算法代碼中解析的訓(xùn)練輸入數(shù)據(jù)參數(shù)保持一致,否則您的算法代碼無(wú)法獲取正確的輸入數(shù)據(jù)。
例如,算法代碼中使用argparse解析的data_url作為輸入數(shù)據(jù)的參數(shù),那么創(chuàng)建算法時(shí)就需要配置輸入數(shù)據(jù)的參數(shù)名稱(chēng)為“data_url”。
描述
輸入?yún)?shù)的說(shuō)明,用戶(hù)可以自定義描述。
獲取方式
輸入?yún)?shù)的獲取方式,默認(rèn)使用“超參”,也可以選擇“環(huán)境變量”。
輸入約束
開(kāi)啟后,用戶(hù)可以根據(jù)實(shí)際情況限制數(shù)據(jù)輸入來(lái)源。輸入來(lái)源可以選擇“數(shù)據(jù)存儲(chǔ)位置”或者“ModelArts數(shù)據(jù)集”。
如果用戶(hù)選擇數(shù)據(jù)來(lái)源為ModelArts數(shù)據(jù)集,還可以約束以下三種:- 標(biāo)注類(lèi)型。數(shù)據(jù)類(lèi)型請(qǐng)參考標(biāo)注數(shù)據(jù)。
- 數(shù)據(jù)格式。可選“Default”和“CarbonData”,支持多選。其中“Default”代表Manifest格式。
- 數(shù)據(jù)切分。僅“圖像分類(lèi)”、“物體檢測(cè)”、“文本分類(lèi)”和“聲音分類(lèi)”類(lèi)型數(shù)據(jù)集支持進(jìn)行數(shù)據(jù)切分功能。
可選“僅支持切分的數(shù)據(jù)集”、“僅支持未切分?jǐn)?shù)據(jù)集”和“無(wú)限制”。數(shù)據(jù)切分詳細(xì)內(nèi)容可參考發(fā)布數(shù)據(jù)版本。
添加
用戶(hù)可以根據(jù)實(shí)際算法添加多個(gè)輸入數(shù)據(jù)來(lái)源。
- 輸出配置
表5 輸出配置 參數(shù)
參數(shù)說(shuō)明
參數(shù)名稱(chēng)
根據(jù)實(shí)際代碼中的訓(xùn)練輸出參數(shù)定義此處的名稱(chēng)。此處設(shè)置的代碼路徑參數(shù)必須與算法代碼中解析的訓(xùn)練輸出參數(shù)保持一致,否則您的算法代碼無(wú)法獲取正確的輸出路徑。
例如,算法代碼中使用argparse解析的train_url作為訓(xùn)練輸出數(shù)據(jù)的參數(shù),那么創(chuàng)建算法時(shí)就需要配置輸出數(shù)據(jù)的參數(shù)名稱(chēng)為“train_url”。
描述
輸出參數(shù)的說(shuō)明,用戶(hù)可以自定義描述。
獲取方式
輸出參數(shù)的獲取方式,默認(rèn)使用“超參”,也可以選擇“環(huán)境變量”。
添加
用戶(hù)可以根據(jù)實(shí)際算法添加多個(gè)輸出數(shù)據(jù)路徑。
- 輸入配置
- 定義超參。
創(chuàng)建算法時(shí),ModelArts支持用戶(hù)自定義超參,方便用戶(hù)查閱或修改。定義超參后會(huì)體現(xiàn)在啟動(dòng)命令中,以命令行參數(shù)的形式傳入您的啟動(dòng)文件中。
- 編輯超參。
為保證數(shù)據(jù)安全,請(qǐng)勿輸入敏感信息,例如明文密碼。
表6 編輯超參數(shù) 參數(shù)
說(shuō)明
名稱(chēng)
填入超參名稱(chēng)。
超參名稱(chēng)支持64個(gè)以?xún)?nèi)字符,僅支持大小寫(xiě)字母、數(shù)字、下劃線和中劃線。
類(lèi)型
填入超參的數(shù)據(jù)類(lèi)型。支持String、Integer、Float和Boolean。
默認(rèn)值
填入超參的默認(rèn)值。創(chuàng)建訓(xùn)練作業(yè)時(shí),默認(rèn)使用該值進(jìn)行訓(xùn)練。
約束
單擊“約束”。在彈出對(duì)話框中,支持用戶(hù)設(shè)置默認(rèn)值的取值范圍或者枚舉值范圍。
必須
選擇是或否。
- 選擇否,則在使用該算法創(chuàng)建訓(xùn)練作業(yè)時(shí),支持在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面刪除該超參。
- 選擇是,則在使用該算法創(chuàng)建訓(xùn)練作業(yè)時(shí),不支持在創(chuàng)建訓(xùn)練作業(yè)頁(yè)面刪除該超參。
描述
填入超參的描述說(shuō)明。
超參描述支持大小寫(xiě)字母、中文、數(shù)字、空格、中劃線、下劃線、中英文逗號(hào)和中英文句號(hào)。
- 支持的策略。
ModelArts Standard支持用戶(hù)使用自動(dòng)化搜索功能。自動(dòng)化搜索功能在零代碼修改的前提下,自動(dòng)找到最合適的超參,有助于提高模型精度和收斂速度。詳細(xì)的參數(shù)配置請(qǐng)參考創(chuàng)建自動(dòng)模型優(yōu)化的訓(xùn)練作業(yè)。
自動(dòng)搜索目前僅支持“tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64”和“pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64”鏡像
- 添加訓(xùn)練約束。
用戶(hù)可以根據(jù)實(shí)際情況定義此算法的訓(xùn)練約束。
- 資源類(lèi)型:選擇適用的資源類(lèi)型,支持多選。
- 多卡訓(xùn)練:選擇是否支持多卡訓(xùn)練。
- 分布式訓(xùn)練:選擇是否支持分布式訓(xùn)練。
- 當(dāng)創(chuàng)建算法的參數(shù)配置完成后,單擊“提交”,返回算法管理列表。
運(yùn)行環(huán)境預(yù)覽
創(chuàng)建算法時(shí),可以打開(kāi)創(chuàng)建頁(yè)面右下方的運(yùn)行環(huán)境預(yù)覽窗口
,輔助您了解代碼目錄、啟動(dòng)文件、輸入輸出等數(shù)據(jù)配置在訓(xùn)練容器中的路徑。
發(fā)布算法到AI gallery
發(fā)布算法:創(chuàng)建完成的算法,支持發(fā)布到AI Gallery,并分享給其他用戶(hù)使用。
- 如果首次發(fā)布算法,則“發(fā)布方式”選擇“創(chuàng)建新資產(chǎn)”,填寫(xiě)“資產(chǎn)標(biāo)題”、選擇發(fā)布區(qū)域等信息。
- 如果是為了更新已發(fā)布的算法版本,則“發(fā)布方式”選擇“添加資產(chǎn)版本”,在“資產(chǎn)標(biāo)題”下拉框中選擇已有資產(chǎn)標(biāo)題,填寫(xiě)“資產(chǎn)版本”。
如果是首次在AI Gallery發(fā)布資產(chǎn)則此處會(huì)出現(xiàn)勾選“我已閱讀并同意《華為云AI Gallery百模千態(tài)社區(qū)服務(wù)聲明》和《華為云AI Gallery服務(wù)協(xié)議》”選項(xiàng),需要閱讀并勾選同意才能正常發(fā)布資產(chǎn)。
提交資產(chǎn)發(fā)布申請(qǐng)后,AI Gallery側(cè)會(huì)自動(dòng)托管上架,可以前往AI Gallery查看資產(chǎn)上架情況。
刪除算法
刪除后,創(chuàng)建的算法資產(chǎn)會(huì)被刪除,且無(wú)法恢復(fù),請(qǐng)謹(jǐn)慎操作。
刪除我的算法:在“資產(chǎn)管理 > 算法管理 > 我的算法”頁(yè)面,“刪除”運(yùn)行結(jié)束的訓(xùn)練作業(yè)。您可以單擊“操作”列的“刪除”,在彈出的提示框中,輸入DELETE,單擊“確定”,刪除對(duì)應(yīng)的算法。
刪除訂閱算法:前往AI Gallery,在“我的資產(chǎn) > 算法”中,單擊我的訂閱,對(duì)需要?jiǎng)h除的算法單擊“取消訂閱”,在彈出的提示框中單擊“確定”即可。
AI訓(xùn)練數(shù)據(jù)的方法有哪些常見(jiàn)問(wèn)題
更多常見(jiàn)問(wèn)題 >>-
我們生活中的很多領(lǐng)域都需要用到數(shù)據(jù)分析,數(shù)據(jù)分析可以有助于我們作出更為準(zhǔn)確的判。華為云物聯(lián)網(wǎng)邊緣計(jì)算服務(wù)(IoT Edge),在靠近物或數(shù)據(jù)源頭的邊緣側(cè),融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的開(kāi)放平臺(tái),就近提供計(jì)算和智能服務(wù),滿足行業(yè)在實(shí)時(shí)業(yè)務(wù)、應(yīng)用智能、安全與隱私保護(hù)等方面的基本需求。
-
云專(zhuān)線常見(jiàn)問(wèn)題匯總解答。
-
云監(jiān)控服務(wù)支持的5種聚合方法介紹。
-
提供安全穩(wěn)定、性能領(lǐng)先、無(wú)限彈性擴(kuò)展的存儲(chǔ)能力,降低使用成本,驅(qū)動(dòng)千行百業(yè)數(shù)據(jù)價(jià)值變現(xiàn)
-
新奧爾良方法的概念和來(lái)源介紹。
-
審計(jì)可以幫助數(shù)據(jù)庫(kù)管理員發(fā)現(xiàn)現(xiàn)存架構(gòu)和使用中的漏洞。數(shù)據(jù)庫(kù)審計(jì)的層次分為訪問(wèn)及身份驗(yàn)證審計(jì)、 用戶(hù)與管理員審計(jì)、安全活動(dòng)監(jiān)控、漏洞與威脅審計(jì)。
AI訓(xùn)練數(shù)據(jù)的方法有哪些教程視頻
最佳實(shí)踐視頻幫助您快速了解搭建流程 了解更多
更多相關(guān)專(zhuān)題
- 熱門(mén)產(chǎn)品
- 大模型即服務(wù)平臺(tái) MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤(pán)古大模型
- SSL證書(shū)
- 華為云WeLink
- 支持與服務(wù)
- 自助服務(wù)
- 服務(wù)公告
- 支持計(jì)劃
- 盤(pán)古Doer
- 聯(lián)系我們
- 舉報(bào)中心
- 實(shí)用工具
- 文字識(shí)別
- 漏洞掃描
- 華為云會(huì)議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:B1.B2-20200593 | 域名注冊(cè)服務(wù)機(jī)構(gòu)許可:黔D3-20230001 | 代理域名注冊(cè)服務(wù)機(jī)構(gòu):新網(wǎng)、西數(shù)