檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
name}為pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 訓(xùn)練過(guò)程中，訓(xùn)練日志會(huì)在最后的Rank節(jié)點(diǎn)打印。 圖1 打印訓(xùn)練日志 訓(xùn)練完成后，如果需要單獨(dú)獲取訓(xùn)練日志文件，可以在${SAVE_PATH}/logs路徑
--local-dir <模型下載路徑> 如果要下載指定版本的模型文件，則命令如下： huggingface-cli download --resume-download Qwen/Qwen-VL-Chat --revision <模型版本> --local-dir <模型下載路徑> 方法三：使用專用多線程下載器
準(zhǔn)備鏡像 鏡像方案說(shuō)明 ECS獲取基礎(chǔ)鏡像 ECS中構(gòu)建新鏡像 ECS中上傳新鏡像 父主題： 準(zhǔn)備工作
Standard支持的AI框架 ModelArts Standard的開(kāi)發(fā)環(huán)境Notebook、訓(xùn)練作業(yè)、模型推理（即模型管理和部署上線）支持的AI框架及其版本，請(qǐng)參見(jiàn)如下描述。 統(tǒng)一鏡像列表 ModelArts提供了ARM+Ascend規(guī)格的統(tǒng)一鏡像，包括MindSpore、P
set the train_url to an empty obs directory” 問(wèn)題現(xiàn)象 日志提示“Please set the train_url to an empty obs directory”。 原因分析 對(duì)于不支持?jǐn)帱c(diǎn)訓(xùn)練的模型，如果選擇訓(xùn)練輸出路徑不是空目錄，會(huì)出現(xiàn)該報(bào)錯(cuò)。
在ModelArts中創(chuàng)建訓(xùn)練作業(yè)如：SFT全參微調(diào)訓(xùn)練，執(zhí)行代碼包中例如：finetune/finetune_ds.sh 的腳本，開(kāi)始訓(xùn)練。 在訓(xùn)練中，程序會(huì)自動(dòng)執(zhí)行對(duì)數(shù)據(jù)集預(yù)處理、權(quán)重轉(zhuǎn)換、執(zhí)行訓(xùn)練等操作，具體可通過(guò)查看日志和性能查看日志和性能、訓(xùn)練腳本說(shuō)明 了解其中的操作。 訓(xùn)練完成后在SFS
數(shù)據(jù)可以用來(lái)對(duì)語(yǔ)言模型進(jìn)行指令調(diào)優(yōu)，使語(yǔ)言模型更好地遵循指令。 預(yù)訓(xùn)練使用的Alpaca數(shù)據(jù)集下載：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56
用來(lái)對(duì)語(yǔ)言模型進(jìn)行指令調(diào)優(yōu)，使語(yǔ)言模型更好地遵循指令。 預(yù)訓(xùn)練使用的Alpaca數(shù)據(jù)集下載：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56
平臺(tái)命令下發(fā) 功能介紹 用于平臺(tái)向設(shè)備下發(fā)設(shè)備控制命令。平臺(tái)下發(fā)命令后，需要設(shè)備及時(shí)將命令的執(zhí)行結(jié)果返回給平臺(tái)，如果設(shè)備沒(méi)回響應(yīng)，平臺(tái)會(huì)認(rèn)為命令執(zhí)行超時(shí)。命令下發(fā)和消息下發(fā)的區(qū)別，請(qǐng)查看消息通信說(shuō)明。
訓(xùn)練tokenizer文件說(shuō)明 在訓(xùn)練開(kāi)始前，有些模型需要對(duì)模型的tokenizer文件，或者模型的配置文件進(jìn)行修改，具體的修改如下： Qwen-VL 修改文件modeling_qwen.py： # 將36 37 兩行注釋部分 36 SUPPORT_BF16 = SUPPORT_CUDA
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主題： 主流開(kāi)源大模型基于Lite Server適配PyTorch NPU推理指導(dǎo)（6.3.911）
準(zhǔn)備代碼 本教程中用到的模型軟件包如下表所示，請(qǐng)?zhí)崆皽?zhǔn)備好。 獲取模型軟件包 本方案支持的模型對(duì)應(yīng)的軟件和依賴包獲取地址如表1所示。 表1 模型對(duì)應(yīng)的軟件包和依賴包獲取地址 代碼包名稱 代碼說(shuō)明 下載地址 AscendCloud-6.5.901-xxx.zip 說(shuō)明： 軟件包名稱中的xxx表示時(shí)間戳。
Wan2.1系列文/圖生視頻模型基于ModelArts Lite Server適配PyTorch NPU訓(xùn)練指導(dǎo)（6.5.906） 方案概覽 Wan2.1是一套全面而開(kāi)放的視頻基礎(chǔ)模型，它突破了視頻生成的界限，是一個(gè)能夠生成中英文文本的視頻模型，具有強(qiáng)大的視頻生成功能，可增強(qiáng)其實(shí)際應(yīng)用。
準(zhǔn)備代碼 本教程中用到的訓(xùn)練推理代碼和如下表所示，請(qǐng)?zhí)崆皽?zhǔn)備好。 獲取模型軟件包 本方案支持的模型對(duì)應(yīng)的軟件和依賴包獲取地址如表1所示，模型列表、對(duì)應(yīng)的開(kāi)源權(quán)重獲取地址如表1 支持的模型列表所示。 表1 模型對(duì)應(yīng)的軟件包和依賴包獲取地址 代碼包名稱 代碼說(shuō)明 下載地址 AscendCloud-6
數(shù)據(jù)可以用來(lái)對(duì)語(yǔ)言模型進(jìn)行指令調(diào)優(yōu)，使語(yǔ)言模型更好地遵循指令。 預(yù)訓(xùn)練使用的Alpaca數(shù)據(jù)集下載：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56
準(zhǔn)備工作 準(zhǔn)備環(huán)境 準(zhǔn)備代碼 準(zhǔn)備數(shù)據(jù) 準(zhǔn)備鏡像 父主題： 主流開(kāi)源大模型基于Lite Server適配MindSpeed-LLM PyTorch NPU訓(xùn)練指導(dǎo)（6.5.901）
--local-dir <模型下載路徑> 如果要下載指定版本的模型文件，則命令如下： huggingface-cli download --resume-download meta-llama/Llama-2-70b-chat-hf --revision <模型版本> --local-dir
準(zhǔn)備鏡像 鏡像方案說(shuō)明 ECS獲取和上傳基礎(chǔ)鏡像 使用基礎(chǔ)鏡像 ECS中構(gòu)建新鏡像 父主題： 準(zhǔn)備工作
準(zhǔn)備工作 準(zhǔn)備環(huán)境 準(zhǔn)備代碼、權(quán)重、數(shù)據(jù) 準(zhǔn)備鏡像 父主題： 主流開(kāi)源大模型基于Lite Cluster適配MindSpeed-LLM PyTorch NPU訓(xùn)練指導(dǎo)（6.5.902）
bash 步驟五：下載模型權(quán)重 下載權(quán)重文件至容器目錄，需要用到的模型地址如下。 Wan-AI/Wan2.1-T2V-14B-Diffusers，地址：https://huggingface.co/Wan-AI/Wan2.1-T2V-14B-Diffusers Wan-AI/Wan2.1-T2V-1
