場(chǎng)景描述

模型微調(diào)是深度學(xué)習(xí)中的一種重要技術(shù)，它是指在預(yù)訓(xùn)練好的模型基礎(chǔ)上，通過(guò)調(diào)整部分參數(shù)，使其在特定任務(wù)上達(dá)到更好的性能。 在實(shí)際應(yīng)用中，預(yù)訓(xùn)練模型是在大規(guī)模通用數(shù)據(jù)集上訓(xùn)練得到的，而在特定任務(wù)上，這些模型的參數(shù)可能并不都是最合適的，因此需要進(jìn)行微調(diào)。

AI Gallery的模型微調(diào)，簡(jiǎn)單易用，用戶只需要選擇訓(xùn)練數(shù)據(jù)、創(chuàng)建微調(diào)任務(wù)，模型微調(diào)就會(huì)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，快速生成模型。

約束限制

• 如果模型的“任務(wù)類(lèi)型”是“文本問(wèn)答”或“文本生成”，則支持模型微調(diào)。如果模型的“任務(wù)類(lèi)型”是除“文本問(wèn)答”和“文本生成”之外的類(lèi)型（即自定義模型），則模型文件必須滿足自定義模型規(guī)范（訓(xùn)練）才支持模型自定義訓(xùn)練。
• 當(dāng)使用自定義 鏡像 進(jìn)行模型微調(diào)時(shí)，要確認(rèn)鏡像是否滿足自定義鏡像規(guī)范，否則無(wú)法成功完成自定義訓(xùn)練。

進(jìn)入模型微調(diào)

1. 登錄AI Gallery。
2. 單擊“模型”進(jìn)入模型列表。
3. 選擇需要進(jìn)行微調(diào)訓(xùn)練的模型，單擊模型名稱(chēng)進(jìn)入模型詳情頁(yè)。
4. 在模型詳情頁(yè)，選擇“訓(xùn)練 > 微調(diào)大師”進(jìn)入微調(diào)工作流頁(yè)面。

選擇訓(xùn)練任務(wù)類(lèi)型

選擇模型微調(diào)的訓(xùn)練任務(wù)類(lèi)型。

• 當(dāng)模型的“任務(wù)類(lèi)型”是“文本問(wèn)答”或“文本生成”時(shí)，“訓(xùn)練任務(wù)類(lèi)型”默認(rèn)和模型“任務(wù)類(lèi)型”一致。“訓(xùn)練任務(wù)類(lèi)型”支持修改，如果模型文件滿足自定義模型規(guī)范（訓(xùn)練），則“訓(xùn)練任務(wù)類(lèi)型”支持選擇“自定義”。
• 當(dāng)模型的“任務(wù)類(lèi)型”是除“文本問(wèn)答”和“文本生成”之外的類(lèi)型（即自定義模型）時(shí)，則“訓(xùn)練任務(wù)類(lèi)型”默認(rèn)為“自定義”，支持修改為“文本問(wèn)答”或“文本生成”。
• 當(dāng)使用自定義鏡像進(jìn)行模型微調(diào)時(shí)，“訓(xùn)練任務(wù)類(lèi)型”默認(rèn)為“自定義”，且不支持修改。

準(zhǔn)備數(shù)據(jù)

• 本地上傳數(shù)據(jù)需要確保數(shù)據(jù)已按照數(shù)據(jù)集要求完成編排。如果是自定義模型，此處的數(shù)據(jù)集要求即為模型文件“dataset_readme.md”里的內(nèi)容。
• 單個(gè)文件最大5GB，所有文件總大小不超過(guò)50G。

1. 在微調(diào)工作流的“數(shù)據(jù)準(zhǔn)備”環(huán)節(jié)選擇數(shù)據(jù)集。
   • 從本地上傳
     1. 在“從本地上傳”處，單擊“點(diǎn)擊上傳”，選擇本地編排好的訓(xùn)練數(shù)據(jù)。
     2. 數(shù)據(jù)上傳成功后，頁(yè)面會(huì)有提示信息。

        此時(shí)AI Gallery會(huì)自動(dòng)新建一個(gè)數(shù)據(jù)集，單擊提示信息處的“查看”可以進(jìn)入數(shù)據(jù)集詳情頁(yè)，也可以在“我的Gallery > 數(shù)據(jù)集 > 我創(chuàng)建的數(shù)據(jù)集”進(jìn)入數(shù)據(jù)集詳情頁(yè)查看。

   • 從AI Gallery中選
     1. 單擊“從AI Gallery中選擇”。
     2. 在彈窗中，從“我創(chuàng)建的”或“我收藏的”數(shù)據(jù)集中選擇所需要數(shù)據(jù)集。
     3. 選擇完成后，單擊“確定”。
2. 數(shù)據(jù)準(zhǔn)備完成后，單擊“下一步”進(jìn)入“作業(yè)設(shè)置”環(huán)節(jié)。

設(shè)置并啟動(dòng)作業(yè)

1. 在微調(diào)工作流的“作業(yè)設(shè)置”環(huán)節(jié)配置訓(xùn)練作業(yè)參數(shù)。
   1. 算法配置，會(huì)顯示已選模型的信息，基于已選模型選擇微調(diào)方式。
      • 當(dāng)“訓(xùn)練任務(wù)類(lèi)型”是“文本問(wèn)答”或“文本生成”時(shí)，AI Gallery支持的微調(diào)方式是LoRA。
      • 當(dāng)“訓(xùn)練任務(wù)類(lèi)型”是“自定義”時(shí)，微調(diào)方式來(lái)自于模型文件“train_params.json” 。
      

      低秩適應(yīng)（LoRA）是一種重參數(shù)化方法，旨在減少具有低秩表示的可訓(xùn)練參數(shù)的數(shù)量。權(quán)重矩陣被分解為經(jīng)過(guò)訓(xùn)練和更新的低秩矩陣。所有預(yù)訓(xùn)練的模型參數(shù)保持凍結(jié)。訓(xùn)練后，低秩矩陣被添加回原始權(quán)重。這使得存儲(chǔ)和訓(xùn)練LoRA模型更加高效，因?yàn)閰?shù)明顯減少。

   2. 超參數(shù)設(shè)置，基于訓(xùn)練作業(yè)配置超參。超參指的是模型訓(xùn)練時(shí)原始數(shù)據(jù)集中實(shí)際字段和算法需要字段之間的映射關(guān)系。
      • 當(dāng)“訓(xùn)練任務(wù)類(lèi)型”是“文本問(wèn)答”或“文本生成”時(shí)，則常見(jiàn)的超參說(shuō)明請(qǐng)參見(jiàn)表1。
      • 當(dāng)“訓(xùn)練任務(wù)類(lèi)型”是“自定義”時(shí)，超參信息來(lái)自于模型文件“train_params.json” 。如果不使用可選超參，建議單擊右側(cè)的刪除按鈕，刪除參數(shù)。

      表1 常見(jiàn)超參說(shuō)明

      參數(shù)名稱(chēng)	參數(shù)類(lèi)型	說(shuō)明
      data_url	String	數(shù)據(jù) OBS 存儲(chǔ)路徑。
      train_url	String	微調(diào)產(chǎn)物輸出OBS路徑。
      train_data_file	String	訓(xùn)練數(shù)據(jù)文件名。
      test_data_file	String	測(cè)試數(shù)據(jù)文件名。
      prompt_field	String	數(shù)據(jù)prompt列名。
      response_field	String	數(shù)據(jù)response列名。
      history_field	String	數(shù)據(jù)history列名。
      prefix	String	數(shù)據(jù)格式化時(shí)使用的前綴。
      instruction_template	String	數(shù)據(jù)格式化時(shí)使用的指令模板。
      response_template	String	數(shù)據(jù)格式化時(shí)使用的回答模板。
      lora_alpha	int	Lora scaling的alpha參數(shù)。
      lora_dropout	float	Lora dropout概率。
      lora_rank	int	Lora attention維度。
      per_device_train_batch_size	int	用于訓(xùn)練的每個(gè)GPU/TPU core/CPU的批處理大小。
      gradient_accumulation_steps	int	梯度累計(jì)步數(shù)。
      max_steps	int	訓(xùn)練最大步數(shù)，如果數(shù)據(jù)耗盡，訓(xùn)練將會(huì)在最大步數(shù)前停止。
      save_steps	int	checkpoint保存步數(shù)。
      logging_steps	int	日志輸出步數(shù)。
      learning_rate	float	初始學(xué)習(xí)率。
      max_grad_norm	float	梯度裁剪最大范數(shù)。
      warmup_ratio	float	熱身步數(shù)比。
      max_seq_length	int	數(shù)據(jù)最大序列長(zhǎng)度。
      finetuned_model	String	前序微調(diào)產(chǎn)物OBS路徑。
      bits	int	模型量化bit數(shù)，如4、8。
      max_eval_samples	int	最大測(cè)試數(shù)據(jù)數(shù)。

   3. 計(jì)算規(guī)格選擇，按需選擇計(jì)算規(guī)格。單擊“選擇”，在彈窗中選擇資源規(guī)格，單擊“確定”。
      • 在“所在區(qū)”選擇計(jì)算規(guī)格所在的區(qū)域。默認(rèn)顯示全部區(qū)域的計(jì)算規(guī)格。
      • 選擇計(jì)算規(guī)格不可用的資源會(huì)置灰。右側(cè)“配置信息”區(qū)域會(huì)顯示計(jì)算規(guī)格的詳細(xì)數(shù)據(jù)，AI Gallery會(huì)基于資產(chǎn)和資源情況分析該任務(wù)是否支持設(shè)置“商品數(shù)量”，用戶可以基于業(yè)務(wù)需要選擇任務(wù)所需的資源卡數(shù)。
      

      如果選擇付費(fèi)資源，則請(qǐng)確認(rèn)賬號(hào)未欠費(fèi)，且余額高于所選計(jì)算規(guī)格的收費(fèi)標(biāo)準(zhǔn)，否則可能會(huì)導(dǎo)致AI Gallery工具鏈服務(wù)異常中斷。AI Gallery的計(jì)算規(guī)格的計(jì)費(fèi)說(shuō)明請(qǐng)參見(jiàn)計(jì)算規(guī)格說(shuō)明。

2. 作業(yè)參數(shù)配置完成后，單擊“啟動(dòng)作業(yè)”。
3. 在“訂單信息確認(rèn)”頁(yè)面，確認(rèn)服務(wù)信息和費(fèi)用，單擊“確定”提交模型訓(xùn)練任務(wù)。

   單擊“返回模型訓(xùn)練”跳轉(zhuǎn)到微調(diào)大師頁(yè)面，可以查看訓(xùn)練作業(yè)狀態(tài)。當(dāng)“狀態(tài)”為“訓(xùn)練完成”時(shí)，表示微調(diào)任務(wù)完成。

   • 單擊操作列的“查看模型”跳轉(zhuǎn)到微調(diào)獲得的新模型的詳情頁(yè)面。
   • 單擊操作列的“任務(wù)詳情”可以在彈窗中查看“訓(xùn)練信息”、“訓(xùn)練日志”和“指標(biāo)效果”。
   • 單擊操作列的“更多 > 刪除任務(wù)”，可以刪除微調(diào)任務(wù)，但是微調(diào)獲得的新模型不會(huì)被刪除。

查看訓(xùn)練效果

啟動(dòng)模型微調(diào)任務(wù)后，在微調(diào)大師列表單擊操作列的“任務(wù)詳情”，在彈窗中選擇“指標(biāo)效果”頁(yè)簽，可以查看訓(xùn)練效果。

微調(diào)產(chǎn)物說(shuō)明

模型微調(diào)完成后，會(huì)得到一個(gè)新模型，即微調(diào)產(chǎn)物。

在微調(diào)大師頁(yè)面，單擊操作列的“查看模型”跳轉(zhuǎn)到微調(diào)獲得的新模型的詳情頁(yè)面。選擇“模型文件”頁(yè)簽可以查看微調(diào)產(chǎn)物。各文件說(shuō)明請(qǐng)參見(jiàn)表3。

圖1 微調(diào)產(chǎn)物示例