檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
管理預(yù)測大模型訓(xùn)練任務(wù) 在訓(xùn)練任務(wù)列表中，任務(wù)創(chuàng)建者可以對任務(wù)進(jìn)行編輯、啟動、克隆（復(fù)制訓(xùn)練任務(wù)）、重試（重新訓(xùn)練任務(wù)）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開發(fā) > 模型訓(xùn)練”，可進(jìn)行如下操作：
模型訓(xùn)練任務(wù)正在進(jìn)行初始化配置，準(zhǔn)備開始訓(xùn)練。 排隊(duì)中 模型訓(xùn)練任務(wù)正在排隊(duì)，請稍等。 運(yùn)行中 模型正在訓(xùn)練中，訓(xùn)練過程尚未結(jié)束。 停止中 模型訓(xùn)練正在停止中。 已停止 模型訓(xùn)練已被用戶手動停止。 失敗 模型訓(xùn)練過程中出現(xiàn)錯誤，需查看日志定位訓(xùn)練失敗原因。 已完成 模型訓(xùn)練已完成。
也對金融領(lǐng)域大模型的訓(xùn)練提出挑戰(zhàn)。 增量預(yù)訓(xùn)練的作用 金融領(lǐng)域有其自身的專業(yè)知識體系，包括金融理論、行業(yè)規(guī)則、法律法規(guī)等。在不同的金融子領(lǐng)域，如銀行、證券、保險等，知識結(jié)構(gòu)也有所差異。從其他領(lǐng)域預(yù)訓(xùn)練得到的大模型可能無法很好地理解和應(yīng)用這些金融專業(yè)知識。增量預(yù)訓(xùn)練可以將金融領(lǐng)域的
分析評測結(jié)果并優(yōu)化模型 根據(jù)模型評測結(jié)果優(yōu)化 微調(diào)的核心目標(biāo)是在一個已經(jīng)訓(xùn)練好的基座模型上，使用特定的數(shù)據(jù)提升模型在某個特定的任務(wù)或領(lǐng)域的表現(xiàn)，期望模型能夠吸收新知識的同時，不遺忘原有的通用能力。 因此，評價一個模型好壞的核心思想是：“收益有多大，代價有多高？” 首先針對模型的領(lǐng)域能力，
查看CV大模型訓(xùn)練狀態(tài)與指標(biāo) 模型啟動訓(xùn)練后，可以在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，單擊任務(wù)名稱可以進(jìn)入詳情頁查看訓(xùn)練結(jié)果、訓(xùn)練任務(wù)詳情和訓(xùn)練日志。 查看模型訓(xùn)練狀態(tài) 在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，各狀態(tài)說明詳見表1。 表1 訓(xùn)練狀態(tài)說明 訓(xùn)練狀態(tài) 訓(xùn)練狀態(tài)含義 初始化
分析評測結(jié)果并優(yōu)化模型 根據(jù)模型評測結(jié)果優(yōu)化： 增量預(yù)訓(xùn)練的核心目標(biāo)是在一個已經(jīng)訓(xùn)練好的基座模型上，使用新的、特定的數(shù)據(jù)（例如特定領(lǐng)域知識、新的時間段的知識）進(jìn)行繼續(xù)訓(xùn)練，期望模型能夠吸收新知識的同時，不遺忘原有的通用能力 因此，評價一個模型好壞的核心思想是：“收益有多大，代價有多高？”
主導(dǎo)的過擬合。正則化的目標(biāo)是使模型從第三種情況轉(zhuǎn)化為第二種情況。在實(shí)踐中，過于復(fù)雜的模型族不一定包括目標(biāo)函數(shù)或真實(shí)數(shù)據(jù)生成過程，甚至也不包括近似過程。我們幾乎從未知曉真實(shí)數(shù)據(jù)的生成過程，所以我們永遠(yuǎn)不知道被估計(jì)的模型族是否包括生成過程。然而，深度學(xué)習(xí)算法的大多數(shù)應(yīng)用都是針對這樣的
訓(xùn)練異常定位方法 1. 在訓(xùn)練任務(wù)列表查看任務(wù)失敗原因。 模型啟動訓(xùn)練后，可以在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，當(dāng)任務(wù)狀態(tài)為“失敗”時，可將鼠標(biāo)放置在“失敗”上，可以查看到任務(wù)失敗的概要信息。 2. 在任務(wù)詳情頁查看訓(xùn)練任務(wù)運(yùn)行關(guān)鍵事件信息。 單擊任務(wù)名，進(jìn)入任務(wù)詳情頁面再單擊
訓(xùn)練參數(shù)優(yōu)化 科學(xué)計(jì)算大模型的訓(xùn)練參數(shù)調(diào)優(yōu)可以考慮學(xué)習(xí)率參數(shù)，學(xué)習(xí)率（Learning Rate）是模型訓(xùn)練中最重要的超參數(shù)之一，它直接影響模型的收斂速度和最終性能： 學(xué)習(xí)率過高，會導(dǎo)致?lián)p失在訓(xùn)練初期快速下降，但隨后波動較大，甚至出現(xiàn)NaN（梯度爆炸）的問題。 學(xué)習(xí)率過低，會導(dǎo)致
構(gòu)建模型評測任務(wù) 大模型評測是測試和衡量大模型在現(xiàn)實(shí)世界情境中表現(xiàn)如何的過程，是了解大模型性能的關(guān)鍵。能夠幫助用戶識別模型的優(yōu)缺點(diǎn)，確保其在實(shí)際應(yīng)用中的有效性，能夠勝任特定任務(wù)并滿足相關(guān)要求。在對訓(xùn)練好的NLP大模型進(jìn)行評測時，首先需要構(gòu)建評測集。 評測數(shù)據(jù)集要求： 主要考驗(yàn)模型的
構(gòu)建模型評測任務(wù) 大模型評測是測試和衡量大模型在現(xiàn)實(shí)世界情境中表現(xiàn)如何的過程，是了解大模型性能的關(guān)鍵。能夠幫助用戶識別模型的優(yōu)缺點(diǎn)，確保其在實(shí)際應(yīng)用中的有效性，能夠勝任特定任務(wù)并滿足相關(guān)要求。在對訓(xùn)練好的NLP大模型進(jìn)行評測時，首先需要構(gòu)建評測集。 評測數(shù)據(jù)集要求： 主要考驗(yàn)模型的
預(yù)測大模型訓(xùn)練流程與選擇建議 預(yù)測大模型訓(xùn)練流程介紹 目前，預(yù)測大模型支持微調(diào)訓(xùn)練、預(yù)訓(xùn)練。 微調(diào)階段：微調(diào)階段通過在特定領(lǐng)域的數(shù)據(jù)集上進(jìn)一步訓(xùn)練，使模型能夠更有效地應(yīng)對具體的任務(wù)需求。在微調(diào)過程中，通過設(shè)定訓(xùn)練指標(biāo)來監(jiān)控模型的表現(xiàn)，確保其達(dá)到預(yù)期的效果。完成微調(diào)后，將對用戶模型進(jìn)行
查看科學(xué)計(jì)算大模型訓(xùn)練狀態(tài)與指標(biāo) 模型啟動訓(xùn)練后，可以在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，單擊任務(wù)名稱可以進(jìn)入詳情頁查看訓(xùn)練結(jié)果、訓(xùn)練任務(wù)詳情和訓(xùn)練日志。 查看模型訓(xùn)練狀態(tài) 在模型訓(xùn)練列表中查看訓(xùn)練任務(wù)的狀態(tài)，各狀態(tài)說明詳見表1。 表1 訓(xùn)練狀態(tài)說明 訓(xùn)練狀態(tài) 訓(xùn)練狀態(tài)含義 初始化
發(fā)布訓(xùn)練后的科學(xué)計(jì)算大模型 科學(xué)計(jì)算大模型訓(xùn)練完成后，需要執(zhí)行發(fā)布操作，操作步驟如下： 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“模型開發(fā) > 模型訓(xùn)練”，單擊模型名稱進(jìn)入任務(wù)詳情頁。 單擊進(jìn)入“訓(xùn)練結(jié)果”頁簽，單擊“發(fā)布”。
盤古NLP大模型微調(diào)訓(xùn)練實(shí)踐 微調(diào)場景介紹 構(gòu)建微調(diào)訓(xùn)練任務(wù)數(shù)據(jù)集 構(gòu)建微調(diào)訓(xùn)練任務(wù) 構(gòu)建部署任務(wù) 構(gòu)建模型評測任務(wù) 分析評測結(jié)果并優(yōu)化模型 微調(diào)典型問題 父主題： 模型訓(xùn)練實(shí)踐
增量模型訓(xùn)練 什么是增量訓(xùn)練 增量訓(xùn)練（Incremental Learning）是機(jī)器學(xué)習(xí)領(lǐng)域中的一種訓(xùn)練方法，它允許人工智能（AI）模型在已經(jīng)學(xué)習(xí)了一定知識的基礎(chǔ)上，增加新的訓(xùn)練數(shù)據(jù)到當(dāng)前訓(xùn)練流程中，擴(kuò)展當(dāng)前模型的知識和能力，而不需要從頭開始。 增量訓(xùn)練不需要一次性存儲所有的
構(gòu)建微調(diào)訓(xùn)練任務(wù)數(shù)據(jù)集 獲取源數(shù)據(jù) 本案例使用開源通用中文指令微調(diào)數(shù)據(jù)集： 中文 SmolTalk 數(shù)據(jù)集 smoltalk-chinese是一個參照SmolTalk數(shù)據(jù)集構(gòu)建的中文微調(diào)數(shù)據(jù)集。它旨在為訓(xùn)練大型語言模型（LLMs）提供高質(zhì)量的合成數(shù)據(jù)支持。該數(shù)據(jù)集完全由合成數(shù)據(jù)組
平臺支持部署訓(xùn)練后的模型或預(yù)置模型，操作步驟如下： 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進(jìn)入所需空間。 在左側(cè)導(dǎo)航欄中選擇“模型開發(fā) > 模型部署”，單擊界面右上角“創(chuàng)建部署”。 在“選擇模型”頁面，選擇“我的資產(chǎn) > 大語言模型 > 模型”，單擊“確認(rèn)”進(jìn)入“創(chuàng)建部署”頁面。
構(gòu)建微調(diào)訓(xùn)練任務(wù)數(shù)據(jù)集 獲取源數(shù)據(jù) 科學(xué)計(jì)算大模型微調(diào)訓(xùn)練所需的數(shù)據(jù)為氣象再分析數(shù)據(jù)。 氣象再分析數(shù)據(jù)集是利用現(xiàn)代數(shù)值天氣預(yù)報(bào)模型和數(shù)據(jù)同化系統(tǒng)，對過去的觀測數(shù)據(jù)進(jìn)行重新處理后得到的。這些數(shù)據(jù)集可以是全球范圍的，也可以是特定區(qū)域的。再分析數(shù)據(jù)集的目的是通過整合歷史觀測數(shù)據(jù)和現(xiàn)代計(jì)
像和啟動命令來優(yōu)化PyTorch DDP訓(xùn)練流程，從而在Ascend加速卡上實(shí)現(xiàn)高效的分布式訓(xùn)練。 前提條件 需要有Ascend加速卡資源池。 創(chuàng)建訓(xùn)練作業(yè) 本案例創(chuàng)建訓(xùn)練作業(yè)時，需要配置如下參數(shù)。 表1 創(chuàng)建訓(xùn)練作業(yè)的配置說明 參數(shù)名稱 說明 “創(chuàng)建方式” 選擇“自定義算法”。
