檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
15編寫(xiě)的LeNet網(wǎng)絡(luò)的minist手寫(xiě)數(shù)字識(shí)別”的程序； 2、模型遷移，將原代碼遷移成能在昇騰AI處理器上進(jìn)行訓(xùn)練的代碼； 3、將遷移后的代碼跑在ModelArts平臺(tái)上。 一、本地跑通基于LeNet網(wǎng)絡(luò)的minist手寫(xiě)數(shù)字識(shí)別代碼 目前昇騰支持的遷移模型是Tensorflow1.15，所以本地需要在Tensorflow1
計(jì)算大模型微調(diào)訓(xùn)練任務(wù)創(chuàng)建。 創(chuàng)建好訓(xùn)練任務(wù)后，頁(yè)面將返回“模型訓(xùn)練”頁(yè)面，可隨時(shí)查看當(dāng)前任務(wù)的狀態(tài)。單擊模型名稱，可在“訓(xùn)練結(jié)果”頁(yè)簽中查看模型訓(xùn)練指標(biāo)，以評(píng)估模型訓(xùn)練效果，各指標(biāo)說(shuō)明見(jiàn)表2。 表2 模型效果評(píng)估指標(biāo)說(shuō)明 指標(biāo)名稱 說(shuō)明 Loss 訓(xùn)練損失值是一種衡量模型預(yù)測(cè)結(jié)
預(yù)測(cè)大模型預(yù)訓(xùn)練參數(shù)說(shuō)明 參數(shù)分類 訓(xùn)練參數(shù) 說(shuō)明 訓(xùn)練配置 選擇模型 可以修改如下信息： 來(lái)源：選擇“模型廣場(chǎng)”。 類型：選擇“預(yù)測(cè)大模型”，并選擇訓(xùn)練所用的基礎(chǔ)模型和版本。 訓(xùn)練類型 選擇“預(yù)訓(xùn)練”。 訓(xùn)練參數(shù) 訓(xùn)練參數(shù) 模型訓(xùn)練參數(shù)，參考表2。 資源配置 計(jì)費(fèi)模式 選擇訓(xùn)練當(dāng)前任務(wù)的計(jì)費(fèi)模式。
查看預(yù)測(cè)大模型訓(xùn)練狀態(tài)與指標(biāo) 模型啟動(dòng)訓(xùn)練后，可以在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，單擊任務(wù)名稱可以進(jìn)入詳情頁(yè)查看訓(xùn)練結(jié)果、訓(xùn)練任務(wù)詳情和訓(xùn)練日志。 查看模型訓(xùn)練狀態(tài) 在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，各狀態(tài)說(shuō)明詳見(jiàn)表1。 表1 訓(xùn)練狀態(tài)說(shuō)明 訓(xùn)練狀態(tài) 訓(xùn)練狀態(tài)含義 初始化
互聯(lián)網(wǎng)、安防、醫(yī)療等領(lǐng)域。隨著深度學(xué)習(xí)模型越來(lái)越大，所需數(shù)據(jù)量越來(lái)越多，所需的AI算力資源和訓(xùn)練時(shí)間越來(lái)越長(zhǎng)，深度學(xué)習(xí)的訓(xùn)練和推理性能將是重中之重。 斯坦福大學(xué)DAWNBench是全球人工智能領(lǐng)域最權(quán)威的競(jìng)賽之一，是用來(lái)衡量端到端的深度學(xué)習(xí)模型訓(xùn)練和推理性能的國(guó)際權(quán)威基準(zhǔn)測(cè)試平臺(tái)
基本信息 名稱 訓(xùn)練任務(wù)名稱。 描述 訓(xùn)練任務(wù)描述。 表格中展示了本案例所需的微調(diào)訓(xùn)練參數(shù)，不同模型訓(xùn)練參數(shù)存在一定差異，請(qǐng)以前端頁(yè)面展示為準(zhǔn) 查看訓(xùn)練任務(wù)詳情 模型啟動(dòng)訓(xùn)練后，可以在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，單擊任務(wù)名稱可以進(jìn)入詳情頁(yè)查看訓(xùn)練結(jié)果、訓(xùn)練任務(wù)詳情和訓(xùn)練日志等。
模型訓(xùn)練類型說(shuō)明 當(dāng)前 ModelArts Studio 通過(guò)預(yù)置鏡像支持的三方模型訓(xùn)練方式支持情況如下。 表1 三方模型訓(xùn)練方式、訓(xùn)練單元類型 模型名稱 預(yù)訓(xùn)練 微調(diào) LoRA 強(qiáng)化學(xué)習(xí) DeepSeek-R1-distill-Qwen-32B 支持 16訓(xùn)練單元-8K 支持 16訓(xùn)練單元-8K
圖2 訓(xùn)練結(jié)果頁(yè)面 填寫(xiě)資產(chǎn)名稱、描述，選擇對(duì)應(yīng)的可見(jiàn)性，單擊“確定”發(fā)布模型。 發(fā)布后的模型會(huì)作為模型資產(chǎn)同步顯示在“空間資產(chǎn) > 模型”列表中。 通過(guò)預(yù)訓(xùn)練發(fā)布的模型，支持再次進(jìn)行訓(xùn)練、模型部署。 通過(guò)微調(diào)發(fā)布的模型，支持再次微調(diào)、強(qiáng)化學(xué)習(xí)及部署。 父主題： 訓(xùn)練NLP大模型
發(fā)布訓(xùn)練后的CV大模型 CV大模型訓(xùn)練完成后，需要執(zhí)行發(fā)布操作，操作步驟如下： 登錄ModelArts Studio大模型開(kāi)發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開(kāi)發(fā) > 模型訓(xùn)練”，單擊模型名稱進(jìn)入任務(wù)詳情頁(yè)。 單擊進(jìn)入“訓(xùn)練結(jié)果”頁(yè)簽，單擊“發(fā)布”。
發(fā)布訓(xùn)練后的預(yù)測(cè)大模型 預(yù)測(cè)大模型訓(xùn)練完成后，需要執(zhí)行發(fā)布操作，操作步驟如下： 登錄ModelArts Studio大模型開(kāi)發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開(kāi)發(fā) > 模型訓(xùn)練”，單擊模型名稱進(jìn)入任務(wù)詳情頁(yè)。 單擊進(jìn)入“訓(xùn)練結(jié)果”頁(yè)簽，單擊“發(fā)布”。
訓(xùn)練預(yù)測(cè)分析模型 創(chuàng)建自動(dòng)學(xué)習(xí)后，將會(huì)進(jìn)行模型的訓(xùn)練，得到預(yù)測(cè)分析的模型。模型部署步驟將使用預(yù)測(cè)模型發(fā)布在線預(yù)測(cè)服務(wù)。 操作步驟 在新版自動(dòng)學(xué)習(xí)頁(yè)面，單擊創(chuàng)建成功的項(xiàng)目名稱，查看當(dāng)前工作流的執(zhí)行情況。 在“預(yù)測(cè)分析”節(jié)點(diǎn)中，待節(jié)點(diǎn)狀態(tài)由“運(yùn)行中”變?yōu)?ldquo;運(yùn)行成功”，即完成了模型的自動(dòng)訓(xùn)練。
針對(duì)預(yù)訓(xùn)練階段，還可以繼續(xù)進(jìn)行訓(xùn)練，這一過(guò)程稱為增量預(yù)訓(xùn)練。增量預(yù)訓(xùn)練是在已經(jīng)完成的預(yù)訓(xùn)練的基礎(chǔ)上繼續(xù)訓(xùn)練模型。增量預(yù)訓(xùn)練旨在使模型能夠適應(yīng)新的領(lǐng)域或數(shù)據(jù)需求，保持其長(zhǎng)期的有效性和準(zhǔn)確性。 微調(diào)階段：基于預(yù)訓(xùn)練的成果，微調(diào)階段通過(guò)在特定領(lǐng)域的數(shù)據(jù)集上進(jìn)一步訓(xùn)練，使模型能夠更有效
濾，快速查找訓(xùn)練作業(yè)。 在“訓(xùn)練作業(yè)”列表中，單擊作業(yè)名稱，進(jìn)入訓(xùn)練作業(yè)詳情頁(yè)。 在訓(xùn)練作業(yè)詳情頁(yè)的左側(cè)，可以查看此次訓(xùn)練作業(yè)的基本信息和算法配置的相關(guān)信息。 訓(xùn)練作業(yè)基本信息 表1 訓(xùn)練作業(yè)基本信息 參數(shù) 說(shuō)明 “作業(yè)ID” 訓(xùn)練作業(yè)唯一標(biāo)識(shí)。 “作業(yè)狀態(tài)” 訓(xùn)練作業(yè)狀態(tài)。 說(shuō)明：
盤(pán)古NLP大模型增量預(yù)訓(xùn)練實(shí)踐 增量預(yù)訓(xùn)練場(chǎng)景介紹 構(gòu)建增量預(yù)訓(xùn)練數(shù)據(jù)集 構(gòu)建增量預(yù)訓(xùn)練任務(wù) 構(gòu)建部署任務(wù) 構(gòu)建模型評(píng)測(cè)任務(wù) 分析評(píng)測(cè)結(jié)果并優(yōu)化模型 增量預(yù)訓(xùn)練典型問(wèn)題 父主題： 模型訓(xùn)練實(shí)踐
模型訓(xùn)練 企業(yè)A在完成特征選擇后，可以單擊右下角的“啟動(dòng)訓(xùn)練”按鈕，配置訓(xùn)練的超參數(shù)并開(kāi)始訓(xùn)練。 等待訓(xùn)練完成后就可以看到訓(xùn)練出的模型指標(biāo)。 模型訓(xùn)練完成后如果指標(biāo)不理想可以重復(fù)調(diào)整7、8兩步的所選特征和超參數(shù)，直至訓(xùn)練出滿意的模型。 父主題： 使用TICS可信聯(lián)邦學(xué)習(xí)進(jìn)行聯(lián)邦建模
參數(shù)填寫(xiě)完成后，單擊“立即創(chuàng)建”。 創(chuàng)建好訓(xùn)練任務(wù)后，頁(yè)面將返回“模型訓(xùn)練”頁(yè)面，可隨時(shí)查看當(dāng)前任務(wù)的狀態(tài)。 創(chuàng)建NLP大模型增量預(yù)訓(xùn)練任務(wù) 在模型完成創(chuàng)建NLP大模型預(yù)訓(xùn)練任務(wù)預(yù)訓(xùn)練后，可以對(duì)訓(xùn)練后的模型繼續(xù)訓(xùn)練，該過(guò)程稱為“增量預(yù)訓(xùn)練”。 創(chuàng)建NLP大模型增量預(yù)訓(xùn)練任務(wù)前，請(qǐng)確保有已完成預(yù)訓(xùn)練的NLP大模型。
創(chuàng)建多機(jī)多卡的分布式訓(xùn)練（DistributedDataParallel） 在深度學(xué)習(xí)領(lǐng)域，隨著模型復(fù)雜度的不斷提升和訓(xùn)練規(guī)模的不斷擴(kuò)大，傳統(tǒng)的單機(jī)訓(xùn)練方式已難以滿足實(shí)際需求。在這一背景下，如何在多機(jī)多卡環(huán)境下實(shí)現(xiàn)高效的分布式訓(xùn)練成為了亟待解決的關(guān)鍵問(wèn)題。 針對(duì)這一問(wèn)題，本章節(jié)將
管理NLP大模型訓(xùn)練任務(wù) 在訓(xùn)練任務(wù)列表中，任務(wù)創(chuàng)建者可以對(duì)任務(wù)進(jìn)行編輯、克?。◤?fù)制訓(xùn)練任務(wù)）、重試（重新訓(xùn)練任務(wù)）和刪除操作。 登錄ModelArts Studio大模型開(kāi)發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開(kāi)發(fā) > 模型訓(xùn)練”，可進(jìn)行如下操作：
管理CV大模型訓(xùn)練任務(wù) 在訓(xùn)練任務(wù)列表中，任務(wù)創(chuàng)建者可以對(duì)任務(wù)進(jìn)行編輯、啟動(dòng)、克?。◤?fù)制訓(xùn)練任務(wù)）、重試（重新訓(xùn)練任務(wù)）和刪除操作。 登錄ModelArts Studio大模型開(kāi)發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開(kāi)發(fā) > 模型訓(xùn)練”，可進(jìn)行如下操作：
管理預(yù)測(cè)大模型訓(xùn)練任務(wù) 在訓(xùn)練任務(wù)列表中，任務(wù)創(chuàng)建者可以對(duì)任務(wù)進(jìn)行編輯、啟動(dòng)、克?。◤?fù)制訓(xùn)練任務(wù)）、重試（重新訓(xùn)練任務(wù)）和刪除操作。 登錄ModelArts Studio大模型開(kāi)發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開(kāi)發(fā) > 模型訓(xùn)練”，可進(jìn)行如下操作：
