檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
主流開源大模型基于ModelArts Standard&Lite Server適配AscendFactory PyTorch NPU訓(xùn)練指導(dǎo)（6.5.905） 方案概述 支持的模型列表 版本說明和要求 準(zhǔn)備工作 執(zhí)行訓(xùn)練任務(wù) 訓(xùn)練結(jié)果輸出 訓(xùn)練服務(wù)評測 訓(xùn)練服務(wù)配置說明 常見錯誤原因和解決方法
完成超參搜索作業(yè)的創(chuàng)建后，訓(xùn)練作業(yè)需要運(yùn)行一段時間。 查看超參搜索作業(yè)詳情 訓(xùn)練作業(yè)運(yùn)行結(jié)束后，可以查看自動超參搜索結(jié)果判斷此訓(xùn)練作業(yè)是否滿意。 如果訓(xùn)練作業(yè)是超參搜索作業(yè)，進(jìn)入訓(xùn)練作業(yè)詳情頁，選擇“自動超參搜索結(jié)果”頁簽查看超參搜索結(jié)果。 圖3 超參搜索結(jié)果 父主題： 自動模型優(yōu)化（AutoSearch）
name}為pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 訓(xùn)練過程中，訓(xùn)練日志會在最后的Rank節(jié)點(diǎn)打印。 圖1 打印訓(xùn)練日志 查看性能 訓(xùn)練性能主要通過訓(xùn)練日志中的2個指標(biāo)查看，吞吐量和loss收斂情況。 吞吐量（tokens/s/p）：global
準(zhǔn)備工作 準(zhǔn)備資源 準(zhǔn)備數(shù)據(jù) 準(zhǔn)備權(quán)重 準(zhǔn)備代碼 準(zhǔn)備鏡像 父主題： Qwen-VL模型基于Standard+OBS適配PyTorch NPU訓(xùn)練指導(dǎo)（6.3.912）
訓(xùn)練管理 創(chuàng)建算法 查詢算法列表 查詢算法詳情 更新算法 刪除算法 獲取支持的超參搜索算法 創(chuàng)建訓(xùn)練實(shí)驗(yàn) 創(chuàng)建訓(xùn)練作業(yè) 查詢訓(xùn)練作業(yè)詳情 更新訓(xùn)練作業(yè)描述 刪除訓(xùn)練作業(yè) 終止訓(xùn)練作業(yè) 查詢訓(xùn)練作業(yè)指定任務(wù)的日志（預(yù)覽） 查詢訓(xùn)練作業(yè)指定任務(wù)的日志（OBS鏈接） 查詢訓(xùn)練作業(yè)指定任務(wù)的運(yùn)行指標(biāo)
e_segments:True" 將yaml文件中的per_device_train_batch_size調(diào)小，重新訓(xùn)練如未解決則執(zhí)行下一步。 替換深度學(xué)習(xí)訓(xùn)練加速的工具或增加zero等級，可參考模型NPU卡數(shù)、梯度累積值取值表，如原使用Accelerator可替換為Deepsp
訓(xùn)練腳本說明 訓(xùn)練腳本存放目錄說明 不同模型推薦的參數(shù)與NPU卡數(shù)設(shè)置 訓(xùn)練tokenizer文件說明 父主題： Qwen-VL模型基于Standard+OBS適配PyTorch NPU訓(xùn)練指導(dǎo)（6.3.912）
訓(xùn)練作業(yè)的監(jiān)控內(nèi)存指標(biāo)持續(xù)升高直至作業(yè)失敗 問題現(xiàn)象 訓(xùn)練作業(yè)的“狀態(tài)”為“運(yùn)行失敗”。 原因分析 訓(xùn)練作業(yè)的監(jiān)控內(nèi)存指標(biāo)持續(xù)升高，導(dǎo)致最后訓(xùn)練作業(yè)失敗。 處理步驟 查詢訓(xùn)練作業(yè)的日志和監(jiān)控信息，是否存在明確的OOM報錯信息。 是，訓(xùn)練作業(yè)的日志里存在OOM報錯，執(zhí)行2。 否，訓(xùn)
刪除訓(xùn)練作業(yè)參數(shù) 功能介紹 刪除訓(xùn)練作業(yè)參數(shù)。 URI DELETE /v1/{project_id}/training-job-configs/{config_name} 參數(shù)說明如表1所示。 表1 參數(shù)說明 參數(shù) 是否必選 參數(shù)類型 說明 project_id 是 String
engine_id 是 Long 訓(xùn)練作業(yè)選擇的引擎ID，默認(rèn)為“1”。請從查詢作業(yè)引擎規(guī)格接口獲取引擎規(guī)格ID。 train_url 否 String 訓(xùn)練作業(yè)的輸出文件OBS路徑URL，默認(rèn)為空，如“/usr/train/”。 log_url 否 String 訓(xùn)練作業(yè)的日志OBS輸出路徑
aux|grep scheduler”找到對應(yīng)的airflow進(jìn)程殺掉，重新啟動Airflow。重啟之后，可以在airflow webui看到對應(yīng)的DAG ID ”myairflow_execute_bash”。 7、執(zhí)行airflow 按照如下步驟執(zhí)行DAG，首先打開工作流，然后“Trigger
15編寫的LeNet網(wǎng)絡(luò)的minist手寫數(shù)字識別”的程序； 2、模型遷移，將原代碼遷移成能在昇騰AI處理器上進(jìn)行訓(xùn)練的代碼； 3、將遷移后的代碼跑在ModelArts平臺上。 一、本地跑通基于LeNet網(wǎng)絡(luò)的minist手寫數(shù)字識別代碼 目前昇騰支持的遷移模型是Tensorflow1.15，所以本地需要在Tensorflow1
AI平臺開發(fā)與實(shí)施服務(wù) 基于華為云AI平臺，結(jié)合業(yè)務(wù)場景，提供AI模型場景化建模、調(diào)優(yōu)、加速、性能提升等服務(wù) 立即購買 服務(wù)咨詢 產(chǎn)品介紹 您可以通過點(diǎn)擊“服務(wù)咨詢”后留言， 或撥打 4000-955-988 轉(zhuǎn)1 | 950808 轉(zhuǎn)1進(jìn)行快速申請 專業(yè)服務(wù) AI平臺開發(fā)與實(shí)施服務(wù)
Terminal日志信息的概覽建議。 包含Detail信息及修改示例的HTML信息。 按照建議信息做如下修改： 親和優(yōu)化器使能，在train.py中修改優(yōu)化器為apex混合精度模式下的DDP優(yōu)化方式（修改點(diǎn)：注釋第161和167行，增加第168~170行）。 二進(jìn)制調(diào)優(yōu)使能，減少算子編譯耗時，在train.py頭文件導(dǎo)入之后添加
訓(xùn)練評測 工具介紹及準(zhǔn)備工作 訓(xùn)練性能測試 訓(xùn)練精度測試 父主題： 主流開源大模型基于Lite Server適配MindSpeed-LLM PyTorch NPU訓(xùn)練指導(dǎo)（6.5.901）
log_dir/xx.log #保存訓(xùn)練日志 訓(xùn)練后的產(chǎn)物路徑說明如下。 # 日志路徑： 指定${log_dir} # 訓(xùn)練輸出權(quán)重路徑： {container_work_dir}/Qwen-VL/output_qwen 訓(xùn)練過程中，訓(xùn)練日志會在最后的Rank節(jié)點(diǎn)打印。 日志里
運(yùn)行訓(xùn)練作業(yè)時提示URL連接超時 問題現(xiàn)象 訓(xùn)練作業(yè)在運(yùn)行時提示URL連接超時，具體報錯如下： urllib.error.URLERROR:<urlopen error [Errno 110] Connection timed out> 原因分析 由于安全性問題在ModelArts上不能聯(lián)網(wǎng)下載。
它基于一個預(yù)先訓(xùn)練好的模型，通過調(diào)整模型的參數(shù)，使其能夠更好地擬合特定任務(wù)的數(shù)據(jù)分布。 與從頭開始訓(xùn)練模型相比，監(jiān)督式微調(diào)能夠充分利用預(yù)訓(xùn)練模型的知識和特征表示，從而加速訓(xùn)練過程并提高模型的性能。 訓(xùn)練階段下有不同的訓(xùn)練策略，分為全參數(shù)訓(xùn)練、部分參數(shù)訓(xùn)練、LoRA、QLoRA，本文檔主要支持全參數(shù)（Full）和LoRA、LoRA+。
介紹如何開發(fā)CANN AICPU自定義算子，以一個AICPU算子為示例進(jìn)行講解，分析+實(shí)現(xiàn)+測試驗(yàn)證一個端到端的完整開發(fā)流程。 概述 AI CPU算子，是運(yùn)行在昇騰AI處理器中AI CPU計算單元上的表達(dá)一個完整計算邏輯的運(yùn)算，如下情況下，開發(fā)者需要自定義AI CPU算子。 在NN模型訓(xùn)練或者
主流開源大模型基于ModelArts Standard&Lite Server適配AscendFactory PyTorch NPU訓(xùn)練指導(dǎo)（6.5.902） 方案概述 支持的模型列表 版本說明和要求 準(zhǔn)備工作 執(zhí)行訓(xùn)練任務(wù) 訓(xùn)練結(jié)果輸出 訓(xùn)練服務(wù)評測 訓(xùn)練服務(wù)配置說明 常見錯誤原因和解決方法
