穩(wěn)定安全的算力底座，極快至簡的模型訓練 穩(wěn)定安全的算力底座，極快至簡的模型訓練 支持萬節(jié)點計算集群管理 大規(guī)模分布式訓練能力，加速大模型研發(fā) 多應用場景全覆蓋，AI智能平臺助力業(yè)務成功 多應用場景全覆蓋，AI智能平臺助力業(yè)務成功 大模型 實現(xiàn)智能回答、聊天機器人、自動摘要、機器翻譯、文本分類等任務
支持三方開源大模型，加速客戶大模型業(yè)務上線 構(gòu)建大模型應用開發(fā)工具鏈，使能大模型開箱即用 構(gòu)建大模型應用開發(fā)工具鏈，完善云上數(shù)據(jù)清洗|模型微調(diào)|部署|Prompt|評測|Agent，大模型應用開發(fā)效率提升； 原生昇騰云組件Agent，構(gòu)建“大模型+云組件”組合競爭力，如搜索Agent，大數(shù)據(jù)Agent等,使能云上存量用戶零遷移構(gòu)建大模型應用；
什么是盤古大模型 盤古CV大模型能力與規(guī)格 盤古大模型用戶指南 如何調(diào)用盤古CV大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū) 優(yōu)質(zhì)昇騰云AI模型專區(qū) 幾行代碼自由部署AI應用 豐富多樣的AI訓練數(shù)據(jù)集 場景化AI案例，助力AI賦能千行百業(yè) 查看全部
文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古預測大模型能力與規(guī)格 盤古大模型快速入門 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū) 優(yōu)質(zhì)昇騰云AI模型專區(qū) 幾行代碼自由部署AI應用 豐富多樣的AI訓練數(shù)據(jù)集 場景化AI案例，助力AI賦能千行百業(yè)
化應用 大模型混合云十大創(chuàng)新技術(shù) 大模型混合云十大創(chuàng)新技術(shù) 了解詳情 十大創(chuàng)新技術(shù) 加速構(gòu)建企業(yè)專屬大模型 十大創(chuàng)新技術(shù) 加速構(gòu)建企業(yè)專屬大模型 圍繞企業(yè)大模型構(gòu)建關鍵過程，聚焦根技術(shù)，為AI原生系統(tǒng)性創(chuàng)新 圍繞企業(yè)大模型構(gòu)建關鍵過程，聚焦根技術(shù)，為AI原生系統(tǒng)性創(chuàng)新 多樣性算力調(diào)度
多語種內(nèi)容審核，平臺全面保護 一站式大模型開發(fā)平臺 一站式大模型開發(fā)平臺 ModelArts Studio大模型開發(fā)平臺是集數(shù)據(jù)管理、模型訓練、模型部署于一體的綜合平臺，專為開發(fā)和應用大模型而設計，旨在為開發(fā)者提供簡單、高效的大模型開發(fā)和部署方式 為什么選擇大模型開發(fā)平臺ModelArts
盤古大模型 PanguLargeModels 盤古大模型 PanguLargeModels 盤古大模型是面向B端行業(yè)的大模型，包含L0中5類基礎大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu) 盤古大模型是面向B端行業(yè)的大模型，包含L0中5類基礎大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu)
體驗 政企知識檢索 智能創(chuàng)意營銷 行業(yè)API助手 行業(yè)研發(fā)助手 政企會議助手 文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古NLP大模型能力與規(guī)格 盤古大模型快速入門 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū)
端到端生產(chǎn)工具鏈，一致性開發(fā)體驗 線上線下協(xié)同開發(fā)，開發(fā)訓練一體化架構(gòu)，支持大模型分布式部署及推理 AI工程化能力，支持AI全流程生命周期管理 AI工程化能力，支持AI全流程生命周期管理 支持MLOps能力，提供數(shù)據(jù)診斷、模型監(jiān)測等分析能力，訓練智能日志分析與診斷 容錯能力強，故障恢復快 容錯能力強，故障恢復快
《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》明確，具有輿論屬性或者社會動員能力的算法推薦服務提供者應當在提供服務之日起十個工作日內(nèi)通過互聯(lián)網(wǎng)信息服務算法備案系統(tǒng)填報服務提供者的名稱、服務形式、應用領域、算法類型、算法自評估報告、擬公示內(nèi)容等信息 方便
湘江鯤鵬目前在人工智能大模型領域擁有算力、數(shù)據(jù)、算法三大關鍵要素的經(jīng)驗積累，構(gòu)建了大模型三個方面的差異化競爭力，盤古大模型AI專業(yè)服務覆蓋從前期咨詢、規(guī)劃設計，到數(shù)據(jù)工程、模型訓練，再到應用工程及模型運維的完整流程?；谌A為盤古提供的AI專業(yè)服務包，致力于為企業(yè)提供一站式人工智能解決方案
angChain等流行的大模型開發(fā)框架，構(gòu)建企業(yè)級AI應用；團隊擁有成熟的軟件工程技術(shù)和管理能力。6. 大模型使用的技術(shù)支持，用戶使用大模型平臺，解答用戶使用過程遇到的問題；大模型與應用對接集成，以及進行日常巡檢、故障處理、模型升級等服務。4. 工業(yè)數(shù)據(jù)模型（CAD模型、CAE模
太杉天尊大模型AIGC場景解決方案是以AI場景解決方案為核心的全棧Maas綜合方案，助力政企客戶靈活部署(可公有可私有部署）。具備自研的行業(yè)模型能力，主要用于政府/公安/教育等行業(yè)的數(shù)據(jù)處理、文本處理以及多模態(tài)處理等多場景。太杉天尊大模型AIGC場景解決方案，是一款專為滿足政府企
公司集成了世界領先的底層大模型，具備打通跨模型和工具鏈的平臺，提供從需求分析、數(shù)據(jù)收集、模型設計、訓練優(yōu)化、評估、系統(tǒng)集成、用戶界面設計、部署維護、合規(guī)性檢查、技術(shù)支持、性能監(jiān)控、擴展性設計、定制服務到持續(xù)研發(fā)一站式AI大模型定制研發(fā)服務。光啟慧語是一家圍繞大模型全棧開展技術(shù)研發(fā)和產(chǎn)
&撰寫根據(jù)大模型微調(diào)數(shù)據(jù)標注規(guī)范，通過配套工具進行數(shù)據(jù)標注。 八、數(shù)據(jù)轉(zhuǎn)換與導入 完成數(shù)據(jù)格式的轉(zhuǎn)換，可進行跨網(wǎng)絡環(huán)境的數(shù)據(jù)導入。 九、調(diào)優(yōu)方案設計 根據(jù)大模型訓練及調(diào)優(yōu)工具和平臺，輸出大模型調(diào)優(yōu)方案。 十、模型訓練實施1. 基于大模型訓練所需的云服務，完成大模型訓練及微調(diào)。2.
數(shù)據(jù)質(zhì)量。4. 模型訓練：?設計調(diào)優(yōu)方案，實施模型訓練，并進行模型評測。?熟悉盤古大模型工作流和云服務操作，確保模型效果優(yōu)化。5. 應用工程：?提供基于大模型能力的Agent開發(fā)和應用對接服務。?具備良好的軟件開發(fā)和溝通能力，實現(xiàn)大模型與應用的無縫對接。6. 模型運維： ?提供技
，只需人工提供極少量的標注數(shù)據(jù)，通過平臺的自動標注功能，能夠提升50%的標注效率，節(jié)省人力及時間成本；3、解決模型訓練門檻高問題，可視化的模型訓練界面，自動推薦訓練參數(shù)，5分鐘快速上手，模型訓練成本降低70%；4、克服算法只能解決單一業(yè)務場景問題，通過拖拽的方式將多個模型串聯(lián)起來
出門問問大模型“序列猴子”是一款具備多模態(tài)生成能力的大語言模型，模型以語言為核心的能力體系涵蓋“知識、對話、數(shù)學、邏輯、推理、規(guī)劃”六個維度，能夠同時支持文字生成、圖片生成、3D內(nèi)容生成、語言生成和語音識別等不同任務。出門問問大模型“序列猴子”是一款具備多模態(tài)生成能力的大語言模型，模
主要介紹基于Pytorch引擎的單機多卡數(shù)據(jù)并行訓練、多機多卡數(shù)據(jù)并行訓練。同時，也提供了分布式訓練的適配教程和分布式調(diào)測的代碼示例，可在PyCharm/VSCode/JupyterLab等開發(fā)工具中調(diào)試分布式訓練。 了解更多 收起 展開 模型訓練加速 收起 展開 針對AI訓練場景中大模型Checkpoint
ModelArts訓練管理 ModelArts訓練管理 ModelArts訓練管理模塊用于創(chuàng)建訓練作業(yè)、查看訓練情況以及管理訓練版本。在訓練模塊的統(tǒng)一管理下，方便用戶試驗算法、數(shù)據(jù)和超參數(shù)的各種組合，便于追蹤最佳的模型與輸入配置，您可以通過不同版本間的評估指標比較，確定最佳訓練作業(yè)。 Mo
華為云盤古大模型 華為云盤古大模型 AI for Industries 大模型重塑千行百業(yè) AI for Industries 大模型重塑千行百業(yè) 盤古大模型致力于深耕行業(yè)，打造金融、政務、制造、礦山、氣象、鐵路等領域行業(yè)大模型和能力集，將行業(yè)知識know-how與大模型能力相結(jié)合
ModelArts分布式訓練 ModelArts分布式訓練 ModelArts提供了豐富的教程，幫助用戶快速適配分布式訓練，使用分布式訓練極大減少訓練時間。也提供了分布式訓練調(diào)測的能力，可在PyCharm/VSCode/JupyterLab等開發(fā)工具中調(diào)試分布式訓練。 ModelA
ModelArts訓練之超參搜索 ModelArts訓練之超參搜索 ModelArts訓練中新增了超參搜索功能，自動實現(xiàn)模型超參搜索，為您的模型匹配最優(yōu)的超參。ModelArts支持的超參搜索功能，在無需算法工程師介入的情況下，即可自動進行超參的調(diào)優(yōu)，在速度和精度上超過人工調(diào)優(yōu)。 Mo
源，包括高性能算力，高速存儲和網(wǎng)絡帶寬等基礎設施，即“大算力、大存力、大運力”的AI基礎大設施底座，讓算力發(fā)展不要偏斜。 從過去的經(jīng)典AI，到今天人人談論的大模型，自動駕駛，我們看到AI模型的參數(shù)及AI算力規(guī)模呈現(xiàn)出指數(shù)級的爆發(fā)增長，對存儲基礎設施也帶來全新的挑戰(zhàn)。 1、高吞吐的數(shù)據(jù)訪問挑戰(zhàn)：隨著企業(yè)使用
ModelArts支持本地準備模型包，編寫模型配置文件和模型推理代碼，將準備好的模型包上傳至對象存儲服務OBS，從OBS導入模型創(chuàng)建為AI應用。 制作模型包，則需要符合一定的模型包規(guī)范。模型包里面必需包含“model”文件夾，“model”文件夾下面放置模型文件，模型配置文件，模型推理代碼文件。
塊，允許使用者導入部門、角色、人員等信息，從而生成并調(diào)動Astro Flow工作流開發(fā)、Astro Canvas可視化大屏開發(fā)、Astro Zero輕應用開發(fā)三大子服務，據(jù)自身需求，回歸業(yè)務核心進行構(gòu)建。華為云Astro低代碼開發(fā)平臺覆蓋行業(yè)場景應用，全面促進企業(yè)數(shù)字化進程。 Astro
ModelArts是面向AI開發(fā)者的一站式開發(fā)平臺，提供海量數(shù)據(jù)預處理及半自動化標注、大規(guī)模分布式訓練、自動化模型生成及端-邊-云模型按需部署能力，幫助用戶快速創(chuàng)建和部署模型，管理全周期AI工作流。 “一站式”是指AI開發(fā)的各個環(huán)節(jié)，包括數(shù)據(jù)處理、算法開發(fā)、模型訓練、模型部署都可以在Mo
ai大模型訓練花費分布
場景描述
針對Snt9b23超節(jié)點下光模塊故障率高的問題，通過在HCCL通信算子級引入重執(zhí)行機制，提升系統(tǒng)的穩(wěn)定性和可靠性。
HCCL（Huawei Collective Communication Library，華為集合通信庫）是華為專為昇騰（Ascend）AI處理器設計的分布式通信庫，旨在優(yōu)化多設備間的高效協(xié)作，以加速深度學習模型的分布式訓練，適用于需要大規(guī)模算力的AI場景。在分布式訓練中，HCCL負責協(xié)調(diào)多個昇騰處理器之間的數(shù)據(jù)同步（如梯度聚合、參數(shù)更新），減少通信開銷，提升訓練效率。
約束限制
- 僅Snt9b23超節(jié)點支持。
- 開啟算子重執(zhí)行會對性能帶來輕微的影響。
- 重執(zhí)行依賴 VPC 平面（非參數(shù)面）網(wǎng)絡進行通信域內(nèi)狀態(tài)協(xié)商，如果VPC平面不同，則無法重執(zhí)行。
- 對于HC CS 平面，如果鏈路沒有恢復，路由未收斂，則無法重執(zhí)行。
- 重執(zhí)行依賴故障發(fā)生時一個通信域中所有卡都停在同一通信算子處，否則無法重執(zhí)行，成功率約為95%。
- 使用inplace方式的通信算子可能導致UserIn數(shù)據(jù)被污染，從而影響重執(zhí)行的可靠性。盡管重執(zhí)行支持約80%通信算子的inplace方式，但對于Torch框架中的all_reduce、all_gather和reduce_scatter等算子，重執(zhí)行仍不支持其inplace操作。
- RoH/RoCE平面因為閃斷或斷鏈觸發(fā)的借軌，在同一通信域只允許執(zhí)行一次，且不支持回切。借軌狀態(tài)下，業(yè)務可持續(xù)，但應盡快保存checkpoint，維修故障。
- 對于目前昇騰的執(zhí)行模式，HCCL重執(zhí)行的支持范圍如下：
表1 HCCL重執(zhí)行的支持范圍 模式
HCCL通信算子展開方式
是否支持
單算子
Stars
支持
Ffts+
支持
Aicpu展開
支持
通信計算融合(mc2)
不支持
圖模式
全下沉模式，通信算子以展開的tasks合入圖
不支持
全下沉模式，HCCL不參與圖執(zhí)行過程，無法進行重執(zhí)行
Aicpu展開
支持
原理說明
Snt9b23超節(jié)點的連接系統(tǒng)主要包含HCCS平面和RoH/RoCE平面兩個數(shù)據(jù)傳輸平面。
在HCCS平面中，L1-1520與L2-1520之間采用光互聯(lián)技術(shù)；在RoH/RoCE平面，超出NPU范圍的部分均使用光互聯(lián)。由于電互聯(lián)域的故障率相對較低，本機制主要針對光互聯(lián)域的光模塊故障進行處理。具體而言：
- HCCS平面L1-1520和L2-1520之間的光模塊故障。
- RoH/RoCE平面出Snt9b23超節(jié)點的光模塊故障。
HCCS平面
針對HCCS平面，L1和L2之間的光模塊如果發(fā)生閃斷或斷鏈，1520設備將自動完成路徑切換（前提是存在多路徑）。然而，斷鏈可能導致丟包，進而引發(fā)業(yè)務中斷。此時，框架層將回退至上一個checkpoint進行斷點續(xù)訓。通過引入HCCL重執(zhí)行機制，在1520完成路徑切換后，重執(zhí)行功能可有效降低回退至checkpoint進行斷點續(xù)訓的概率，從而進一步提升業(yè)務的連續(xù)性和可靠性。
RoH/RoCE平面
針對RoH/RoCE平面，協(xié)議內(nèi)置傳輸層重傳機制，可對丟包或閃斷提供一定的修復能力。然而，該機制的可靠性仍存在局限性。為提升整體可靠性，本功能在HCCL層面引入了一層重執(zhí)行機制：當檢測到閃斷持續(xù)超過30秒或發(fā)生斷鏈時，系統(tǒng)將通過建立新的傳輸路徑（借軌），在算子級啟動重執(zhí)行流程，進一步保障業(yè)務的穩(wěn)定運行。
參數(shù)配置（HCCL_OP_RETRY_ENABLE）
環(huán)境變量HCCL_OP_RETRY_ENABLE用于配置是否開啟HCCL算子的重執(zhí)行特性。重執(zhí)行是指當通信算子執(zhí)行報SDMA或RDMA CQE類型的錯誤時，HCCL會嘗試重新執(zhí)行此通信算子。通過此特性，可以有效避免硬件閃斷導致的通信中斷，提升通信穩(wěn)定性。
支持在以下三個物理層級的通信域中配置重執(zhí)行特性：
- L0：Server內(nèi)通信域
- L1：Server間通信域
- L2：超節(jié)點間通信域
配置方法：
在運行訓練任務前，在Server節(jié)點中執(zhí)行以下命令。
export HCCL_OP_RETRY_ENABLE="L0:0, L1:1, L2:1"
|
參數(shù) |
含義 |
取值范圍 |
默認值 |
建議取值 |
|---|---|---|---|---|
|
L0 |
Server內(nèi)通信域 |
|
0 |
0 |
|
L1 |
Server間通信域 |
|
0 |
1 |
|
L2 |
超節(jié)點間通信域 |
|
0 |
1 |
注意事項：
- 當L2配置為1時，超節(jié)點間通信支持在某一Device網(wǎng)卡故障時使用備用Device網(wǎng)卡進行通信。備用網(wǎng)卡為同一NPU中的另一個Die網(wǎng)卡。
- 如果通信域的創(chuàng)建方式為“基于ranktable”創(chuàng)建通信域，需要在ranktable文件中通過"backup device ip"參數(shù)配置備用網(wǎng)卡。
- 如果通信域的創(chuàng)建方式為“基于root廣播式”創(chuàng)建通信域，會自動將同一NPU下的兩個Die互為備用網(wǎng)卡，無需手動配置。
參數(shù)配置（HCCL_OP_RETRY_PA RAM S）
環(huán)境變量HCCL_OP_RETRY_ENABLE用于配置HCCL算子重執(zhí)行的具體參數(shù)，包括最大重執(zhí)行次數(shù)、第一次重執(zhí)行的等待時間以及兩次重執(zhí)行的間隔時間。
配置示例：
export HCCL_OP_RETRY_PARAMS="MaxCnt:3, HoldTime:5000, IntervalTime:1000"
|
參數(shù) |
含義 |
類型 |
取值范圍 |
默認值 |
單位 |
建議值 |
|---|---|---|---|---|---|---|
|
MaxCnt |
最大重執(zhí)行次數(shù) |
uint32 |
[1, 10] |
3 |
次 |
保持默認值3 |
|
HoldTime |
從檢測到通信算子執(zhí)行失敗到開始第一次重執(zhí)行的等待時間 |
uint32 |
[0, 60000] |
5000 |
ms |
保持默認值5000 |
|
IntervalTime |
兩次重執(zhí)行之間的間隔時間 |
uint32 |
[0, 60000] |
1000 |
ms |
保持默認值1000 |
使用約束：
僅當通過HCCL_OP_RETRY_ENABLE環(huán)境變量開啟了HCCL的重執(zhí)行特性（任一層級的重執(zhí)行特性開啟即可）時，此環(huán)境變量才生效。
ai大模型訓練花費分布常見問題
更多常見問題 >>-
在自然語言處理（NLP）領域中，使用語言模型預訓練方法在多項NLP任務上都獲得了不錯的提升，廣泛受到了各界的關注。本課程將簡單介紹一下預訓練的思想，幾個代表性模型和它們之間的關系。
-
ModelArts模型訓練旨在提升開發(fā)者模型訓練的開發(fā)效率及訓練性能。提供了可視化作業(yè)管理、資源管理、版本管理等功能，基于機器學習算法及強化學習的模型訓練自動超參調(diào)優(yōu)；預置和調(diào)優(yōu)常用模型，簡化模型開發(fā)和全流程訓練管理。
-
訓練管理模塊是ModelArts不可或缺的功能模塊，用于創(chuàng)建訓練作業(yè)、查看訓練情況以及管理訓練版本。模型訓練是一個不斷迭代和優(yōu)化的過程。在訓練模塊的統(tǒng)一管理下，方便用戶試驗算法、數(shù)據(jù)和超參數(shù)的各種組合，便于追蹤最佳的模型與輸入配置，您可以通過不同版本間的評估指標比較，確定最佳訓練作業(yè)。
-
盤古大模型致力于深耕行業(yè)，打造金融、政務、制造、礦山、氣象、鐵路等領域行業(yè)大模型和能力集，將行業(yè)知識know-how與大模型能力相結(jié)合，重塑千行百業(yè)，成為各組織、企業(yè)、個人的專家助手。
-
ModelArts提供了豐富的教程，幫助用戶快速適配分布式訓練，使用分布式訓練極大減少訓練時間。也提供了分布式訓練調(diào)測的能力，可在PyCharm/VSCode/JupyterLab等開發(fā)工具中調(diào)試分布式訓練。
-
模型轉(zhuǎn)換，即將開源框架的網(wǎng)絡模型（如Caffe、TensorFlow等），通過ATC（Ascend Tensor Compiler）模型轉(zhuǎn)換工具，將其轉(zhuǎn)換成昇騰AI處理器支持的離線模型。
