場景描述

模型微調是深度學習中的一種重要技術，它是指在預訓練好的模型基礎上，通過調整部分參數(shù)，使其在特定任務上達到更好的性能。 在實際應用中，預訓練模型是在大規(guī)模通用數(shù)據(jù)集上訓練得到的，而在特定任務上，這些模型的參數(shù)可能并不都是最合適的，因此需要進行微調。

AI Gallery的模型微調，簡單易用，用戶只需要選擇訓練數(shù)據(jù)、創(chuàng)建微調任務，模型微調就會對數(shù)據(jù)進行訓練，快速生成模型。

約束限制

• 如果模型的“任務類型”是“文本問答”或“文本生成”，則支持模型微調。如果模型的“任務類型”是除“文本問答”和“文本生成”之外的類型（即自定義模型），則模型文件必須滿足自定義模型規(guī)范（訓練）才支持模型自定義訓練。
• 當使用自定義 鏡像 進行模型微調時，要確認鏡像是否滿足自定義鏡像規(guī)范，否則無法成功完成自定義訓練。

進入模型微調

1. 登錄AI Gallery。
2. 單擊“模型”進入模型列表。
3. 選擇需要進行微調訓練的模型，單擊模型名稱進入模型詳情頁。
4. 在模型詳情頁，選擇“訓練 > 微調大師”進入微調工作流頁面。

選擇訓練任務類型

選擇模型微調的訓練任務類型。

• 當模型的“任務類型”是“文本問答”或“文本生成”時，“訓練任務類型”默認和模型“任務類型”一致。“訓練任務類型”支持修改，如果模型文件滿足自定義模型規(guī)范（訓練），則“訓練任務類型”支持選擇“自定義”。
• 當模型的“任務類型”是除“文本問答”和“文本生成”之外的類型（即自定義模型）時，則“訓練任務類型”默認為“自定義”，支持修改為“文本問答”或“文本生成”。
• 當使用自定義鏡像進行模型微調時，“訓練任務類型”默認為“自定義”，且不支持修改。

準備數(shù)據(jù)

• 本地上傳數(shù)據(jù)需要確保數(shù)據(jù)已按照數(shù)據(jù)集要求完成編排。如果是自定義模型，此處的數(shù)據(jù)集要求即為模型文件“dataset_readme.md”里的內容。
• 單個文件最大5GB，所有文件總大小不超過50G。

1. 在微調工作流的“數(shù)據(jù)準備”環(huán)節(jié)選擇數(shù)據(jù)集。
   • 從本地上傳
     1. 在“從本地上傳”處，單擊“點擊上傳”，選擇本地編排好的訓練數(shù)據(jù)。
     2. 數(shù)據(jù)上傳成功后，頁面會有提示信息。

        此時AI Gallery會自動新建一個數(shù)據(jù)集，單擊提示信息處的“查看”可以進入數(shù)據(jù)集詳情頁，也可以在“我的Gallery > 數(shù)據(jù)集 > 我創(chuàng)建的數(shù)據(jù)集”進入數(shù)據(jù)集詳情頁查看。

   • 從AI Gallery中選
     1. 單擊“從AI Gallery中選擇”。
     2. 在彈窗中，從“我創(chuàng)建的”或“我收藏的”數(shù)據(jù)集中選擇所需要數(shù)據(jù)集。
     3. 選擇完成后，單擊“確定”。
2. 數(shù)據(jù)準備完成后，單擊“下一步”進入“作業(yè)設置”環(huán)節(jié)。

設置并啟動作業(yè)

1. 在微調工作流的“作業(yè)設置”環(huán)節(jié)配置訓練作業(yè)參數(shù)。
   1. 算法配置，會顯示已選模型的信息，基于已選模型選擇微調方式。
      • 當“訓練任務類型”是“文本問答”或“文本生成”時，AI Gallery支持的微調方式是LoRA。
      • 當“訓練任務類型”是“自定義”時，微調方式來自于模型文件“train_params.json” 。
      

      低秩適應（LoRA）是一種重參數(shù)化方法，旨在減少具有低秩表示的可訓練參數(shù)的數(shù)量。權重矩陣被分解為經過訓練和更新的低秩矩陣。所有預訓練的模型參數(shù)保持凍結。訓練后，低秩矩陣被添加回原始權重。這使得存儲和訓練LoRA模型更加高效，因為參數(shù)明顯減少。

   2. 超參數(shù)設置，基于訓練作業(yè)配置超參。超參指的是模型訓練時原始數(shù)據(jù)集中實際字段和算法需要字段之間的映射關系。
      • 當“訓練任務類型”是“文本問答”或“文本生成”時，則常見的超參說明請參見表1。
      • 當“訓練任務類型”是“自定義”時，超參信息來自于模型文件“train_params.json” 。如果不使用可選超參，建議單擊右側的刪除按鈕，刪除參數(shù)。

      表1 常見超參說明

      參數(shù)名稱	參數(shù)類型	說明
      data_url	String	數(shù)據(jù) OBS 存儲路徑。
      train_url	String	微調產物輸出OBS路徑。
      train_data_file	String	訓練數(shù)據(jù)文件名。
      test_data_file	String	測試數(shù)據(jù)文件名。
      prompt_field	String	數(shù)據(jù)prompt列名。
      response_field	String	數(shù)據(jù)response列名。
      history_field	String	數(shù)據(jù)history列名。
      prefix	String	數(shù)據(jù)格式化時使用的前綴。
      instruction_template	String	數(shù)據(jù)格式化時使用的指令模板。
      response_template	String	數(shù)據(jù)格式化時使用的回答模板。
      lora_alpha	int	Lora scaling的alpha參數(shù)。
      lora_dropout	float	Lora dropout概率。
      lora_rank	int	Lora attention維度。
      per_device_train_batch_size	int	用于訓練的每個GPU/TPU core/CPU的批處理大小。
      gradient_accumulation_steps	int	梯度累計步數(shù)。
      max_steps	int	訓練最大步數(shù)，如果數(shù)據(jù)耗盡，訓練將會在最大步數(shù)前停止。
      save_steps	int	checkpoint保存步數(shù)。
      logging_steps	int	日志輸出步數(shù)。
      learning_rate	float	初始學習率。
      max_grad_norm	float	梯度裁剪最大范數(shù)。
      warmup_ratio	float	熱身步數(shù)比。
      max_seq_length	int	數(shù)據(jù)最大序列長度。
      finetuned_model	String	前序微調產物OBS路徑。
      bits	int	模型量化bit數(shù)，如4、8。
      max_eval_samples	int	最大測試數(shù)據(jù)數(shù)。

   3. 計算規(guī)格選擇，按需選擇計算規(guī)格。單擊“選擇”，在彈窗中選擇資源規(guī)格，單擊“確定”。
      • 在“所在區(qū)”選擇計算規(guī)格所在的區(qū)域。默認顯示全部區(qū)域的計算規(guī)格。
      • 選擇計算規(guī)格不可用的資源會置灰。右側“配置信息”區(qū)域會顯示計算規(guī)格的詳細數(shù)據(jù)，AI Gallery會基于資產和資源情況分析該任務是否支持設置“商品數(shù)量”，用戶可以基于業(yè)務需要選擇任務所需的資源卡數(shù)。
      

      如果選擇付費資源，則請確認賬號未欠費，且余額高于所選計算規(guī)格的收費標準，否則可能會導致AI Gallery工具鏈服務異常中斷。AI Gallery的計算規(guī)格的計費說明請參見計算規(guī)格說明。

2. 作業(yè)參數(shù)配置完成后，單擊“啟動作業(yè)”。
3. 在“訂單信息確認”頁面，確認服務信息和費用，單擊“確定”提交模型訓練任務。

   單擊“返回模型訓練”跳轉到微調大師頁面，可以查看訓練作業(yè)狀態(tài)。當“狀態(tài)”為“訓練完成”時，表示微調任務完成。

   • 單擊操作列的“查看模型”跳轉到微調獲得的新模型的詳情頁面。
   • 單擊操作列的“任務詳情”可以在彈窗中查看“訓練信息”、“訓練日志”和“指標效果”。
   • 單擊操作列的“更多 > 刪除任務”，可以刪除微調任務，但是微調獲得的新模型不會被刪除。

查看訓練效果

啟動模型微調任務后，在微調大師列表單擊操作列的“任務詳情”，在彈窗中選擇“指標效果”頁簽，可以查看訓練效果。

微調產物說明

模型微調完成后，會得到一個新模型，即微調產物。

在微調大師頁面，單擊操作列的“查看模型”跳轉到微調獲得的新模型的詳情頁面。選擇“模型文件”頁簽可以查看微調產物。各文件說明請參見表3。

圖1 微調產物示例