檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
VeRL數(shù)據(jù)處理樣例腳本 VeRL框架中的樣例數(shù)據(jù)處理腳本分為大語言模型和多模態(tài)模型，樣例腳本如下，根據(jù)模型類型選擇： VeRL大語言模型gsm8k數(shù)據(jù)處理 多模態(tài)模型geometry3k數(shù)據(jù)處理 大語言模型gsm8k數(shù)據(jù)處理 import argparse import os import
${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash 參數(shù)說明： -v ${work_dir}:${container_work_dir}：
創(chuàng)建AI應(yīng)用 - CreateModel 功能介紹 導(dǎo)入元模型創(chuàng)建AI應(yīng)用。 執(zhí)行代碼、模型需先上傳至OBS（訓(xùn)練作業(yè)生成的模型已默認(rèn)存儲到OBS）。 接口約束 使用模板導(dǎo)入模型與不使用模板導(dǎo)入這兩類導(dǎo)入方式的Body參數(shù)要求不一樣。以下Body參數(shù)說明中以模板參數(shù)表示適合使用模
af_output_dir /home/ma-user/verl 【必修改】訓(xùn)練輸出結(jié)果 backend_config.data.train_files /data/geometry3k/train.parquet 【必修改】預(yù)處理完成后的訓(xùn)練集 backend_config.data.val_files
d-qwenvl-7b中創(chuàng)建文件夾training_data。 利用OBS Browser+工具將步驟1下載的數(shù)據(jù)集上傳至步驟2創(chuàng)建的文件夾目錄下。得到OBS下數(shù)據(jù)集結(jié)構(gòu)： obs://standard-qwenvl-7b └── training_data
創(chuàng)建導(dǎo)入導(dǎo)出任務(wù)實(shí)現(xiàn)數(shù)據(jù)同步。通過OBS與SFS Turbo存儲聯(lián)動，可以將最新的訓(xùn)練數(shù)據(jù)導(dǎo)入到SFS Turbo，然后在訓(xùn)練作業(yè)中掛載SFS Turbo到容器對應(yīng)ckpt目錄，實(shí)現(xiàn)分布式讀取訓(xùn)練數(shù)據(jù)文件。 創(chuàng)建SFS Turbo文件系統(tǒng)前提條件： 創(chuàng)建SFS Turbo文件系統(tǒng)前，確認(rèn)已有可用的VPC。
restartPolicy: OnFailure 參數(shù)說明： ${container_name} ：容器名稱，此處可以自己為container_name定義一個容器名稱，例如ascend-train。 ${image_name} ：為步驟五：修改并上傳鏡像至SWR中，上傳至SWR上的鏡像鏈接。
Wan系列視頻生成模型基于Lite Server的本地服務(wù)化部署(6.5.910) 方案概覽 在AI視頻生成領(lǐng)域，越來越多的企業(yè)開始探索使用先進(jìn)的視頻生成模型來提升內(nèi)容創(chuàng)作效率。然而，由于計算資源的限制，很多企業(yè)難以在本地環(huán)境中高效運(yùn)行這些模型。如何解決計算資源限制，高效運(yùn)行這些模型，通過使用ModelArts的Lite
aux|grep scheduler”找到對應(yīng)的airflow進(jìn)程殺掉，重新啟動Airflow。重啟之后，可以在airflow webui看到對應(yīng)的DAG ID ”myairflow_execute_bash”。 7、執(zhí)行airflow 按照如下步驟執(zhí)行DAG，首先打開工作流，然后“Trigger
install ./mindstudio_probe*.whl VL模型 FSDP采集update_citic數(shù)據(jù)時 #0'grad_out' 報錯 問題現(xiàn)象：當(dāng)使用VL模型調(diào)用FSDP后端訓(xùn)練且 critic_train_dump=True 時，出現(xiàn)如下報錯： 原因：msprobe
訓(xùn)練作業(yè)失敗，如何使用開發(fā)環(huán)境調(diào)試訓(xùn)練代碼？ 在創(chuàng)建訓(xùn)練作業(yè)前，推薦您先使用ModelArts開發(fā)環(huán)境調(diào)試訓(xùn)練代碼，避免代碼遷移過程中的錯誤。 直接使用線上notebook環(huán)境調(diào)試請參考使用JupyterLab開發(fā)模型。 配置本地IDE（Pycharm或者VsCode）聯(lián)接云上環(huán)境調(diào)試請參考使用本地IDE開發(fā)模型。
模型NPU卡數(shù)、梯度累積值取值表 不同模型推薦的訓(xùn)練參數(shù)和計算規(guī)格要求如表1所示。規(guī)格與節(jié)點(diǎn)數(shù)中的1*節(jié)點(diǎn) & 4*Ascend表示單機(jī)4卡，以此類推。 表1 NPU卡數(shù)、加速框架、梯度配置取值表 模型 Template 模型參數(shù)量 訓(xùn)練策略類型 序列長度cutoff_len 梯度累積值
模型最小卡數(shù)配置 模型訓(xùn)練時間、集群規(guī)模預(yù)測 針對不同模型、集群規(guī)格（Snt9B B3/B2/B1、Snt9B23）、數(shù)據(jù)集大小等不同導(dǎo)致訓(xùn)練時間、集群卡數(shù)規(guī)模不同，如訓(xùn)練過程中對卡數(shù)或訓(xùn)練時間有要求可根據(jù)以下公式計算預(yù)測： 訓(xùn)練時間(秒)：Time=Tok總/(TPS*N卡數(shù))，計算出訓(xùn)練時間為范圍值，僅參考。
各訓(xùn)練框架支持的模型和特性 LlamaFactory支持的模型和關(guān)鍵特性 表1 LlamaFactory支持的模型和關(guān)鍵特性 模型類型 模型系列 模型名稱 LlamaFactory 訓(xùn)練方法（PT、SFT、DPO） 長序列并行 （Ring Attention、Ulysses） 序
55 表3 模型鏡像版本 機(jī)型 模型 版本 Snt9B CANN cann_8.1.rc1 驅(qū)動 24.1.0.6 PyTorch 2.5.1 Snt9B23 CANN 8.1.RC1 驅(qū)動 24.1.RC3.5 PyTorch 2.5.1 父主題： 主流開源大模型基于ModelArts
算力資源規(guī)劃 針對不同模型，集群規(guī)格（Snt9b、Snt9b23）、數(shù)據(jù)集大小等均會導(dǎo)致訓(xùn)練時間、集群卡數(shù)規(guī)模不同，如訓(xùn)練過程中對卡數(shù)或訓(xùn)練時間有要求，可根據(jù)以下公式計算預(yù)測： 訓(xùn)練時間(秒)：Time=Token總/(TPS*N卡數(shù))*線性加速比，計算出的訓(xùn)練時間為范圍值，僅作參考。
準(zhǔn)備環(huán)境 本文檔中的模型運(yùn)行環(huán)境是ModelArts Lite Server。請參考本文檔要求準(zhǔn)備資源環(huán)境。 資源規(guī)格要求 計算規(guī)格：不同模型訓(xùn)練推薦的NPU卡數(shù)請參見表2。 硬盤空間：至少200GB。 Ascend資源規(guī)格： Ascend: 1*ascend-snt9b表示Ascend單卡。
訓(xùn)練作業(yè)使用MoXing復(fù)制數(shù)據(jù)較慢，重復(fù)打印日志 問題現(xiàn)象 ModelArts訓(xùn)練作業(yè)使用MoXing復(fù)制數(shù)據(jù)較慢。 重復(fù)打印日志“INFO:root:Listing OBS”。 原因分析 復(fù)制數(shù)據(jù)慢的可能原因如下： 直接從OBS上讀數(shù)據(jù)會造成讀數(shù)據(jù)變成訓(xùn)練的瓶頸，導(dǎo)致迭代緩慢。
介紹如何開發(fā)CANN AICPU自定義算子，以一個AICPU算子為示例進(jìn)行講解，分析+實(shí)現(xiàn)+測試驗(yàn)證一個端到端的完整開發(fā)流程。 概述 AI CPU算子，是運(yùn)行在昇騰AI處理器中AI CPU計算單元上的表達(dá)一個完整計算邏輯的運(yùn)算，如下情況下，開發(fā)者需要自定義AI CPU算子。 在NN模型訓(xùn)練或者
ma_node_container_space_used_percent 該指標(biāo)用于統(tǒng)計容器空間的使用率 ≥0 連續(xù)2個周期 原始值 > 90% 緊急 NPU AI處理器HBM內(nèi)存利用率 ma_node_npu_hbm_util 昇騰系列AI處理器HBM內(nèi)存利用率（昇騰910 AI處理器專屬）
