檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
用于想自定義自己的區(qū)域模型的場景，需預先準備好區(qū)域高精度數(shù)據(jù)。 微調：在已有模型的基礎上添加新數(shù)據(jù)，它適用于不改變模型結構參數(shù)和引入新要素的情況，添加最新數(shù)據(jù)的場景。 本實踐將以平臺預置的區(qū)域海洋要素基模型為例，介紹盤古科學計算大模型的微調訓練過程，該模型的基本信息詳見表1。 表1
預測大模型訓練流程與選擇建議 預測大模型訓練流程介紹 目前，預測大模型支持微調訓練、預訓練。 微調階段：微調階段通過在特定領域的數(shù)據(jù)集上進一步訓練，使模型能夠更有效地應對具體的任務需求。在微調過程中，通過設定訓練指標來監(jiān)控模型的表現(xiàn)，確保其達到預期的效果。完成微調后，將對用戶模型進行
區(qū)域中期海洋智能預測模型部署參數(shù)說明 參數(shù)分類 部署參數(shù) 參數(shù)說明 部署配置 模型來源 選擇“盤古大模型” 模型類型 選擇“科學計算大模型”。 場景 本案例中選擇“區(qū)域中期海洋智能預測”。 部署模型 從資產中選擇需要部署的模型。 部署區(qū)域中期海洋智能預測服務需要同時選擇“區(qū)域中期海洋智能預測”和“全球中期海洋智能預測”兩個模型。
盤古NLP大模型微調訓練實踐 微調場景介紹 構建微調訓練任務數(shù)據(jù)集 構建微調訓練任務 構建部署任務 構建模型評測任務 分析評測結果并優(yōu)化模型 微調典型問題 父主題： 模型訓練實踐
增量模型訓練 什么是增量訓練 增量訓練（Incremental Learning）是機器學習領域中的一種訓練方法，它允許人工智能（AI）模型在已經學習了一定知識的基礎上，增加新的訓練數(shù)據(jù)到當前訓練流程中，擴展當前模型的知識和能力，而不需要從頭開始。 增量訓練不需要一次性存儲所有的
填寫基本信息，創(chuàng)建 查看訓練任務并發(fā)布模型 在“模型開發(fā) >模型訓練”頁面，單擊訓練任務名稱，可進入詳情頁查看訓練結果、任務詳情、日志等信息。 圖7 訓練結果 圖8 任務詳情 圖9 訓練日志 在“訓練結果”頁簽可查詢到訓練產出模型，單擊“發(fā)布”按鈕可進行模型發(fā)布操作。 圖10 發(fā)布模型 在“發(fā)布
理這些專業(yè)內容。通過對模型進行微調，可以讓其更好地適應金融領域的特點。 數(shù)據(jù)分布差異：實際應用中的數(shù)據(jù)分布可能與預訓練模型所基于的數(shù)據(jù)分布有很大不同。例如，在催收場景下，某些詞匯或短語的出現(xiàn)頻率會顯著不同于通用文本。微調過程可以幫助模型學習到這些特定模式。 提高準確性：特別是在處
訓練CV大模型 CV大模型訓練流程與選擇建議 創(chuàng)建CV大模型訓練任務 查看CV大模型訓練狀態(tài)與指標 發(fā)布訓練后的CV大模型 管理CV大模型訓練任務 CV大模型訓練常見報錯與解決方案 父主題： 開發(fā)盤古CV大模型
訓練預測大模型 預測大模型訓練流程與選擇建議 創(chuàng)建預測大模型訓練任務 查看預測大模型訓練狀態(tài)與指標 發(fā)布訓練后的預測大模型 管理預測大模型訓練任務 預測大模型訓練常見報錯與解決方案 父主題： 開發(fā)盤古預測大模型
管理訓練實驗 訓練實驗 當訓練作業(yè)的數(shù)量較多時，可能會遇到難以快速定位作業(yè)或不便跟蹤的情況。為了便于管理訓練作業(yè)，我們引入了訓練實驗的概念，類似于對訓練作業(yè)進行分組管理。用戶可以根據(jù)需求將作業(yè)歸類到不同的訓練實驗中，實現(xiàn)分類管理。每個訓練實驗可以包含多個同類型的作業(yè)。 在管理訓練實
預測大模型訓練常見報錯與解決方案 預測大模型訓練常見報錯及解決方案請詳見表1。 表1 預測大模型訓練常見報錯與解決方案 常見報錯 問題現(xiàn)象 原因分析 解決方案 訓練后推理服務部署失敗，報錯“KeyError” 訓練后推理報錯“KeyError”: KeyError: '0.0' 訓練類別特征列選擇為數(shù)值類型列。
管理三方大模型訓練任務 在訓練任務列表中，任務創(chuàng)建者可以對任務進行編輯、克?。◤椭?span id="blnhzhh" class='cur'>訓練任務）、重試（重新訓練任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。 圖1 我的空間 在左側導航欄中選擇“模型開發(fā) > 模型訓練”，可進行如下操作：
表1 科學計算大模型中期天氣要素預測微調訓練參數(shù)說明 導航頁簽 參數(shù)分類 參數(shù)子類 參數(shù)名稱 參數(shù)說明 訓練數(shù)據(jù)配置 訓練配置 選擇模型 選擇模型 可以修改如下信息： 來源：選擇“模型廣場”。 類型：選擇“科學計算大模型”，并選擇訓練所用的基礎模型和版本。 訓練類型 訓練類型 選擇“微調”。
訓練輪數(shù)是指需要完成全量訓練數(shù)據(jù)集訓練的次數(shù)。訓練輪數(shù)越大，模型學習數(shù)據(jù)的迭代步數(shù)就越多，可以學得更深入，但過高會導致過擬合；訓練輪數(shù)越小，模型學習數(shù)據(jù)的迭代步數(shù)就越少，過低則會導致欠擬合。 您可根據(jù)任務難度和數(shù)據(jù)規(guī)模進行調整。一般來說，如果目標任務的難度較大或數(shù)據(jù)量級很小，可以使
盤古科學計算大模型微調訓練實踐 微調場景介紹 構建微調訓練任務數(shù)據(jù)集 構建微調訓練任務 構建部署任務 微調典型問題 父主題： 模型訓練實踐
NLP大模型訓練常見報錯與解決方案 NLP大模型訓練常見報錯及解決方案請詳見表1和表2。 表1 NLP大模型訓練常見報錯與解決方案 常見報錯 問題現(xiàn)象 原因分析 解決方案 創(chuàng)建訓練任務時，數(shù)據(jù)集列表為空。 創(chuàng)建訓練任務時，數(shù)據(jù)集選擇框中顯示為空，無可用的訓練數(shù)據(jù)集。 數(shù)據(jù)集未發(fā)布。
發(fā)布訓練后的圖像搜索模型 模型訓練完成后，需要執(zhí)行發(fā)布操作，操作步驟如下： 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”（詳見工作空間介紹）分頁，單擊進入所需空間。 在左側導航欄中選擇“模型開發(fā) > 模型訓練”，單擊模型名稱進入任務詳情頁。 單擊進入“訓練結果”頁簽，單擊“發(fā)布”。
常生活中的一大阻礙。 大多數(shù)的深度學習模型使用的是32位單精度浮點數(shù)（FP32）來進行訓練，而混合精度訓練的方法中則增加了通過16位浮點數(shù)（FP16）進行深度學習模型訓練，從而減少了訓練深度學習模型所需的內存，同時由于FP16的運算比FP32運算更快，從而也進一步提高了硬件效率。
各個模型訓練前文件替換 在訓練開始前，因模型權重文件可能與訓練框架不匹配或有優(yōu)化，因此需要針對模型的tokenizer文件進行修改或替換，不同模型的tokenizer文件修改內容如下。 falcon-11B模型 在訓練開始前，針對falcon-11B模型中的tokenizer文件
管理科學計算大模型訓練任務 在訓練任務列表中，任務創(chuàng)建者可以對創(chuàng)建好的任務進行編輯、啟動、克?。◤椭?span id="mjl7vqe" class='cur'>訓練任務）、重試（重新訓練任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，進入所需空間。 在左側導航欄中選擇“開發(fā) > 模型訓練”，進入模型訓練頁面，可進行如下操作：
