操作場景

在當今數(shù)字化時代，人工智能應用愈發(fā)廣泛。許多開發(fā)者和研究人員期望擁有個性化的大模型，用于各種特定場景，例如開發(fā)智能客服提升服務效率、輔助代碼寫作等。通常情況下，從頭訓練一個大模型需要大量的時間、計算資源和資金。多數(shù)開發(fā)者難以承擔從頭訓練大模型的高昂成本，且技術門檻極高，涉及復雜的算法優(yōu)化、海量數(shù)據(jù)處理等難題。

即使選擇對開源模型進行微調(diào)，實際操作過程中仍存在阻礙，例如模型權重文件格式兼容性問題頻發(fā)、本地訓練的PyTorch權重文件與云平臺不兼容，導致模型無法加載、不同模型的參數(shù)配置差異大等。

MaaS基于昇騰云算力適配開源大模型，推出預置模型+自定義權重的全流程方案：

• 極簡操作，快速適配：支持直接上傳Hugging Face標準格式的權重文件，平臺自動完成與昇騰芯片的算力適配，無需編寫額外適配代碼。
• 模板化配置，即開即用：內(nèi)置DeepSeek、通義千問、百川、ChatGLM、Llama等主流模型的配置模板，用戶無需手動調(diào)整復雜參數(shù)，大幅縮短模型開發(fā)周期。
• 彈性算力，高效運行：提供靈活的算力資源按需分配機制，可根據(jù)模型規(guī)模和業(yè)務需求動態(tài)調(diào)整算力，為業(yè)務高效運行提供強大保障。

為什么要創(chuàng)建我的模型

MaaS模型廣場提供了豐富的基礎模型，您可以直接使用這些模型進行在線體驗、部署模型服務等操作。當基礎模型無法滿足個性化需求時，您可以基于模型廣場的模型創(chuàng)建專屬的個性化模型，以實現(xiàn)更優(yōu)的效果，同時便于版本管理和持續(xù)優(yōu)化。

• 滿足個性化需求：MaaS支持結合自定義權重文件，基于昇騰云適配的開源模型創(chuàng)建個人專屬模型。模型廣場預置模型是通用的，難以契合所有用戶的特定需求，如企業(yè)需要將大模型應用于特定業(yè)務場景，預置模型因缺乏針對性難以滿足需求，自定義模型可以憑借定制化權重文件實現(xiàn)個性化功能。
• 實現(xiàn)更好的效果：在某些復雜場景中，模型廣場預置模型的表現(xiàn)可能不盡人意。例如在專業(yè)領域的對話問答、代碼生成等場景，通過創(chuàng)建個人模型并修改權重配置，能優(yōu)化模型運行效果，在專業(yè)任務處理上比預置模型更具優(yōu)勢。
• 便于版本管理和優(yōu)化：MaaS提供模型版本管理功能，一個模型最多可支持創(chuàng)建10個版本。創(chuàng)建個人模型后，您可以通過新增版本不斷優(yōu)化模型，提升可追溯性。

計費說明

創(chuàng)建模型本身不收費，但使用過程中涉及的 OBS 存儲、計算等資源會產(chǎn)生費用，詳情請參見ModelArts Studio（MaaS）模型推理計費項。

約束限制

前提條件

已注冊華為賬號并開通華為云，詳情請見注冊華為賬號并開通華為云。

步驟一：準備權重配置文件

參考Hugging Face官網(wǎng)，準備好用于生成專屬模型的模型權重文件。

如果Hugging Face網(wǎng)站打不開，請在互聯(lián)網(wǎng)上搜索解決方案。

（可選）步驟二：修改權重配置文件

當選擇ChatGLM3-6B、GLM-4-9B、Qwen-7B、Qwen-14B、Qwen-72B、Baichuan2-7B、Baichuan2-13B、Llama2-7B、Llama2-13B和Llama2-80B基礎模型（名字必須一致）創(chuàng)建模型時，建議對權重配置參數(shù)進行優(yōu)化調(diào)整，以提升模型的預測精度和輸出質(zhì)量，從而構建更貼合具體業(yè)務需求的定制化模型。修改后的權重文件要更新至OBS桶中。

Qwen2.5系列模型無需修改權重即可部署。關于如何部署模型服務，請參見使用ModelArts Studio（MaaS）部署模型服務。

• ChatGLM3-6B、GLM-4-9B

  修改文件“tokenization_chatglm.py”。

  • 第一處

    原內(nèi)容

    # Load from model defaults assert self.padding_side == "left"

    修改為

    # Load from model defaults # assert self.padding_side == "left"

  • 第二處

    原內(nèi)容

    if needs_to_be_padded:    
    difference = max_length - len(required_input)     
    if "attention_mask" in encoded_inputs:         
    encoded_inputs["attention_mask"] = [0] * difference + encoded_inputs["attention_mask"]    
    if "position_ids" in encoded_inputs:        
    encoded_inputs["position_ids"] = [0] * difference + encoded_inputs["position_ids"]    encoded_inputs[self.model_input_names[0]] = [self.pad_token_id] * difference + required_input

    修改為

    if needs_to_be_padded:    
    difference = max_length - len(required_input)     
    if "attention_mask" in encoded_inputs:         
    encoded_inputs["attention_mask"] = encoded_inputs["attention_mask"] + [0] * difference     
    if "position_ids" in encoded_inputs:        
    encoded_inputs["position_ids"] = encoded_inputs["position_ids"] + [0] * difference     encoded_inputs[self.model_input_names[0]] =  required_input + [self.pad_token_id] * difference

• Qwen-7B、Qwen-14B和Qwen-72B
  • 第一處，修改文件“modeling_qwen.py”。

    原內(nèi)容

    SUPPORT_BF16 = SUPPORT_CUDA and torch.cuda.is_bf16_supported() SUPPORT_FP16 = SUPPORT_CUDA and torch.cuda.get_device_capability(0)[0] >= 7

    修改為

    SUPPORT_BF16 = SUPPORT_CUDA and True SUPPORT_FP16 = SUPPORT_CUDA and True

  • 第二處，修改文件“tokenizer_config.json”。

    在文件中增加內(nèi)容

    chat_template = {% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

• Baichuan2-7B和Baichuan2-13B

  在文件“tokenizer_config.json”中增加如下內(nèi)容。

  chat_template = {% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

• Llama2-7B、Llama2-13B和Llama2-80B

  在文件“tokenizer_config.json”中增加如下內(nèi)容。

  chat_template = {% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% else %}{% set loop_messages = messages %}{% set system_message = false %}{% endif %}{% for message in loop_messages %}{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}{{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}{% endif %}{% if loop.index0 == 0 and system_message != false %}{% set content = '<<SYS>>\\n' + system_message + '\\n<</SYS>>\\n\\n' + message['content'] %}{% else %}{% set content = message['content'] %}{% endif %}{% if message['role'] == 'user' %}{{ bos_token + '[INST] ' + content.strip() + ' [/INST]' }}{% elif message['role'] == 'assistant' %}{{ ' '  + content.strip() + ' ' + eos_token }}{% endif %}{% endfor %}

步驟三：將權重配置文件上傳至OBS桶

關于如何將權重文件存儲到OBS桶，請參見上傳概述。

單次上傳本地文件到OBS的總大小不能超過5GB。如果需要上傳超過5GB的大對象，可以使用OBS Browser+、obsutil工具上傳，或使用OBS SDK及API的多段接口上傳，上限為48.8TB，詳情請參見如何上傳超過5GB的大對象。

步驟四：創(chuàng)建我的模型

1. 登錄ModelArts Studio（MaaS）控制臺，在頂部導航欄選擇目標區(qū)域。
2. 在左側導航欄，單擊“我的模型”。
3. 在“我的模型”頁面右上角，單擊“創(chuàng)建模型”。
4. 在“創(chuàng)建模型”頁面，配置相關參數(shù)。

   表1 創(chuàng)建模型參數(shù)說明

   參數(shù)	說明
   來源模型	MaaS提供基于昇騰云算力適配的開源大模型供您使用。單擊“選擇基礎模型”，在彈窗中選擇模型，單擊“確定”。 關于模型系列的詳細介紹，請參見在ModelArts Studio（MaaS）模型廣場查看預置模型。
   模型名稱	自定義模型名稱。支持1~64位，以中文、大小寫字母開頭，只包含中文、大小寫字母、數(shù)字、下劃線（_）、中劃線（-）和（.）。
   描述	自定義模型簡介。最大支持100字符。
   權重設置與詞表	默認選擇“自定義權重”。權重文件指的是模型的參數(shù)集合。
   自定義權重存儲路徑	單擊“自定義權重存儲路徑”右側的文件圖標，選擇步驟三存放模型權重文件的OBS路徑（必須選擇到模型文件夾），然后單擊“確定”。

5. 參數(shù)配置完成后，單擊“創(chuàng)建”，創(chuàng)建自定義模型。

   在模型列表，當模型“狀態(tài)”變成“創(chuàng)建成功”時，表示模型創(chuàng)建完成。

步驟五：查看我的模型詳情

模型創(chuàng)建完成后，您可以在“模型詳情”頁面查看模型的基本信息和版本信息。

在“我的模型”頁面，單擊目標模型名稱，進入模型詳情頁面，查看模型的“基本信息”和“我的版本”。

圖1 模型詳情

• 基本信息：可以查看模型名稱、模型ID、模型類型、來源模型、創(chuàng)建時間等信息。
• 我的版本：可以查看已創(chuàng)建的模型版本，單擊版本號進入“版本詳情”頁面，可以查看各個模型版本的詳細信息和任務記錄。
  圖2 版本詳情
  
  • 版本信息：可以查看模型名稱、狀態(tài)、創(chuàng)建時間、基本模型及版本、權重與詞表路徑等信息。
  • 任務記錄：可以查看任務名稱、作業(yè)類型、狀態(tài)、創(chuàng)建時間等信息。

（可選）步驟六：新增模型版本

為了提升模型的可追溯性和優(yōu)化效率，MaaS提供了模型版本管理功能。通過此功能，您能夠創(chuàng)建模型的新版本。一個模型最多支持創(chuàng)建10個版本。

1. 在ModelArts Studio（MaaS）控制臺左側導航欄，單擊“我的模型”進入模型列表。
2. 單擊目標模型名稱，進入模型詳情頁面。
3. 在“我的版本”區(qū)域，單擊“新增版本”。
4. 在“新增版本”頁面，配置模型新版本的參數(shù)。

   表2 新增模型版本參數(shù)說明

   參數(shù)	說明
   新版本號	系統(tǒng)自動編號，不可修改。
   版本描述	自定義模型版本簡介。最大支持100字符。
   選擇基礎模型版本	選擇基礎模型的版本。
   選擇權重路徑	單擊文件圖標，選擇步驟三存放模型權重文件的OBS路徑（必須選擇到模型文件夾），然后單擊“確定”。

5. 配置完成后，單擊“確定”，新增模型版本。

   在版本列表，當新增版本的“狀態(tài)”變成“創(chuàng)建成功”時，表示模型新版本創(chuàng)建完成。

（可選）步驟七：刪除我的模型

當不需要模型時，可以進行刪除操作。刪除操作無法恢復，請謹慎操作。

1. 在ModelArts Studio（MaaS）控制臺左側導航欄，選擇“我的模型”進入模型列表。
2. 在模型列表，單擊目標模型名稱，進入“模型詳情”頁面。
3. 在“我的版本”區(qū)域，單擊版本號，進入“版本詳情”頁面。查看該版本的模型“任務記錄”是否為空。
   • 是，表示模型未被用于訓推任務，可以直接刪除。則直接執(zhí)行下一步。
   • 否，表示模型已被用于訓推任務，需要先刪除所有任務，再執(zhí)行下一步。

     刪除任務：單擊操作列的“刪除”，在“刪除作業(yè)”對話框，輸入“DELETE”，單擊“確定”。

4. 確認該模型的各個版本的“任務記錄”都為空。

   當模型存在任務記錄會刪除失敗。

5. 在“模型詳情”頁面，單擊右上角的“刪除”，在彈窗中輸入“DELETE”，單擊“確定”，刪除模型。

   當模型列表未顯示該模型，表示刪除成功。

后續(xù)操作

• 當模型創(chuàng)建成功后，您可以對模型進行調(diào)優(yōu)或壓縮，獲得更合適的模型。具體操作，請參見使用ModelArts Studio（MaaS）調(diào)優(yōu)模型或使用ModelArts Studio（MaaS）壓縮模型。
• 您可以將創(chuàng)建成功的模型進行部署，并調(diào)用模型服務。具體操作，請參見調(diào)用ModelArts Studio（MaaS）部署的模型服務。

常見問題

創(chuàng)建模型時，報錯“Modelarts.6206:Key fields describing the model structure are missing from config.json, or their values are inconsistent with standard open source”如何處理？

您可以按照以下步驟進行排查：

1. 查看config.json文件是否存在。
2. 查看config.json文件格式是否符合要求。關于格式要求，請參見Hugging Face官網(wǎng)。