應用場景

在數(shù)字化時代，新聞的生成與傳播速度不斷刷新記錄。在 ModelArts Studio大模型即服務平臺（下面簡稱為MaaS），使用Qwen2-7B模型可以實現(xiàn)新聞自動分類，能夠高效處理和分類大量新聞內容。

該解決方案可以應用于如下場景：

• 新聞門戶網站： 自動將新聞內容歸類到相應板塊，如科技、體育或國際新聞，以提升用戶體驗和內容檢索效率。
• 社交媒體平臺： 對用戶分享的新聞鏈接進行智能分類，幫助用戶迅速定位到感興趣的話題。
• 內容推薦系統(tǒng)： 根據(jù)用戶的閱讀偏好和歷史行為，智能推薦相關新聞，增強用戶粘性和滿意度。
• 新聞分析工具： 為分析師提供自動分類的新聞數(shù)據(jù)，便于進行市場趨勢和熱點分析。

方案流程

圖1 方案實現(xiàn)流程

1. 準備數(shù)據(jù)集：獲取新聞數(shù)據(jù)集，并上傳到 OBS 。
2. 創(chuàng)建模型：選擇Qwen2-7B基礎模型，使用自定義權重創(chuàng)建個人專屬模型。
3. 調優(yōu)模型：使用不同的調優(yōu)參數(shù)去訓練模型。
4. 部署模型服務：將調優(yōu)后的模型部署成模型服務。
5. 使用模型服務：在MaaS體驗模型服務，測試推理結果。
6. 結果分析：分析模型的調優(yōu)結果和推理結果，對比新聞分類效果。

方案優(yōu)勢

• 高準確性：利用模型強大的語義理解能力，系統(tǒng)能夠準確識別新聞內容的主題和關鍵詞，實現(xiàn)高準確率的自動分類。
• 快速響應：系統(tǒng)能夠實時處理新聞內容，快速完成分類，滿足新聞時效性的要求。
• 可擴展性：隨著模型的不斷訓練和優(yōu)化，系統(tǒng)能夠適應不斷變化的新聞內容和分類需求。
• 降低人力成本：減少人工分類的工作量，降低人力成本，提高工作效率。

操作步驟

1. 準備數(shù)據(jù)集。獲取新聞數(shù)據(jù)集，并上傳到OBS。
   1. 下載新聞數(shù)據(jù)集。

      本文原始數(shù)據(jù)集來源：https://github.com/aceimnorstuvwxz/toutiao-text-classfication-dataset

      本文實驗用數(shù)據(jù)集基于原始數(shù)據(jù)集處理而來，進行了簡單的采樣、清晰和prompt工程。

      實驗數(shù)據(jù)集獲取地址：https://maas-operations.obs.myhuaweicloud.com/Sample-Dataset/maas_demo_news.jsonl

      該實驗數(shù)據(jù)集的總數(shù)據(jù)量5281條，隨機分為訓練集5120條和測試集161條。

      實驗數(shù)據(jù)集文件“maas_demo_news.jsonl”的內容格式如下。

      {"conversation_id": 1, "chat": {"turn_1": {"Human":"text","MOSS":"text"},"turn_2": {"Human":"text","MOSS":"text"}}}

      “conversation_id”是樣本編號，“chat”后面是多輪對話的內容，“turn_n”表示是第n次對話，每次對話都有輸入（對應Human角色）和輸出（對應MOSS角色）。其中Human和MOSS僅用于角色區(qū)分，模型訓練的內容只有text指代的文本。

   2. 將jsonl格式的數(shù)據(jù)集文件上傳到“華東二”區(qū)域的OBS桶中，創(chuàng)建OBS桶和上傳文件的操作指導請參見OBS控制臺快速入門。本文以“/maas-test/news/maas_demo_news.jsonl”OBS路徑為例。

2. 創(chuàng)建Qwen2-7B模型。
   1. 登錄ModelArts Studio（MaaS）控制臺，在頂部導航欄選擇目標區(qū)域。
   2. 在左側導航欄，選擇“我的模型”進入模型列表。
   3. 在“我的模型”頁面，單擊“創(chuàng)建模型”彈出創(chuàng)建模型頁面。
   4. 在“創(chuàng)建模型”頁面，配置相關參數(shù)。

      表1 創(chuàng)建模型參數(shù)說明

      參數(shù)	說明	取值樣例
      來源模型	單擊“選擇基礎模型”，在彈窗中選擇模型，單擊“確定”。	Qwen2-7B
      模型名稱	自定義模型名稱。	Qwen2-7B_template
      描述	自定義模型簡介。	-
      權重設置與詞表	默認選擇“自定義權重”。	自定義權重
      自定義權重存儲路徑	將權重文件存儲到OBS桶中，且權重文件必須滿足對應模型的文件格式要求。 權重文件指的是模型的參數(shù)集合。OBS桶必須和MaaS服務在同一個Region下。 關于如何獲取權重文件，請參見Hugging Face官網。 說明： 如果Hugging Face網站打不開，請在互聯(lián)網上搜索解決方案。 關于權重文件的格式要求，請參見約束限制。 關于如何將權重文件存儲到OBS桶，請參見上傳概述。 單擊“自定義權重存儲路徑”右側的文件圖標，選擇存放模型權重文件的OBS路徑（必須選擇到模型文件夾），然后單擊“確定”。 單次上傳本地文件到OBS的總大小不能超過5GB，詳情請參見如何上傳超過5GB的大對象。	/3003****/79abed0d-2622-4cd0-80fc-2065ebe****/

   5. 參數(shù)配置完成后，單擊“創(chuàng)建”，創(chuàng)建個人專屬模型。
   6. 在模型列表，單擊模型名稱可以進入詳情頁查看模型詳細信息和任務。
      當模型“狀態(tài)”變成“創(chuàng)建成功”時，表示模型創(chuàng)建完成。

      圖2 查看我的模型狀態(tài)
      

3. 調優(yōu)模型，使用6種不同的調優(yōu)參數(shù)去訓練模型。
   1. 模型創(chuàng)建成功后，在“我的模型”列表，單擊操作列的“調優(yōu)”。
   2. 在“創(chuàng)建模型調優(yōu)任務”頁面，配置參數(shù)。

      由于需要分析模型調優(yōu)效果，需要創(chuàng)建多個調優(yōu)任務，不同調優(yōu)任務的參數(shù)值配置請參見表2和表3。

      表2 創(chuàng)建調優(yōu)任務

      參數(shù)		說明	取值樣例
      任務設置	任務名稱	自定義調優(yōu)任務名稱。	參見表3
      	描述	自定義調優(yōu)任務簡介。	-
      模型設置	來源模型	當從“我的模型”列表進入創(chuàng)建調優(yōu)作業(yè)頁面時，此處默認呈現(xiàn)選擇的模型。	Qwen2-7B_template
      	調優(yōu)類型	選擇全參微調或LoRA微調。Qwen2-7B不支持增量預訓練。 全參微調：直接在模型上訓練，影響模型全量參數(shù)的微調訓練，效果較好，收斂速度較慢，訓練時間較長。 LoRA微調：凍結原模型，通過往模型中加入額外的網絡層，并只訓練這些新增的網絡層參數(shù)，效果接近或略差于全參訓練，收斂速度快，訓練時間短。	參見表3
      	調優(yōu)后模型名稱	設置調優(yōu)后產生的新模型的名稱。	參見表3
      	調優(yōu)后模型權重存放路徑	選擇調優(yōu)后模型權重文件的OBS存放路徑。訓練后將在指定路徑下自動創(chuàng)建以作業(yè)ID命名的新文件夾進行權重存儲。	/maas-test/news/out
      數(shù)據(jù)設置	選擇數(shù)據(jù)集格式	支持選擇MOSS、Alpaca和ShareGPT。訓練數(shù)據(jù)需要按照對應格式，上傳符合規(guī)范的數(shù)據(jù)集，以更好完成訓練任務。關于數(shù)據(jù)集示例，請參見支持的數(shù)據(jù)集格式。 說明： 如果數(shù)據(jù)集選擇錯誤，您可以通過以下方式查看日志詳情。 登錄ModelArts Studio（MaaS）控制臺，在“模型調優(yōu)”頁面單擊目標作業(yè)，在作業(yè)詳情的日志頁簽查看詳情。 登錄ModelArts Studio（MaaS）控制臺，在“模型訓練 > 訓練作業(yè)”頁面單擊目標作業(yè)，在日志頁簽查看詳情。	MOSS
      	添加數(shù)據(jù)集	選擇存放訓練數(shù)據(jù)集的OBS路徑，必須選擇到1上傳的jsonl文件。	/maas-test/news/maas_demo_news.jsonl
      超參設置	數(shù)據(jù)條數(shù)	輸入數(shù)據(jù)集中的總數(shù)據(jù)條數(shù)。	1000
      	迭代輪次/Epoch	訓練過程中模型遍歷整個數(shù)據(jù)集的次數(shù)。不同量級數(shù)據(jù)集的建議值：百量集4~8；千量集2~4；更大數(shù)量級1~2。	4
      	迭代步數(shù)/Iterations	計算得出的模型參數(shù)/權重更新的次數(shù)。在調優(yōu)過程中，每一個Iterations會消耗32條訓練數(shù)據(jù)。	參見表3
      	學習率/learning_rate	每個迭代步數(shù)（Iteration）模型參數(shù)/權重更新的速率，輸入0~0.1之間的浮點數(shù)。	參見表3
      	Checkpoint保存?zhèn)€數(shù)	訓練過程中保存Checkpoint的個數(shù)。最小值為1，最大值為“迭代步數(shù)/Iterations”的參數(shù)值，不超過10。Checkpoint會自動存儲到“調優(yōu)后模型權重保存路徑”的OBS路徑下。	1
      資源設置	資源池類型	資源池分為公共資源池與專屬資源池。 公共資源池供所有租戶共享使用。 專屬資源池需單獨創(chuàng)建，不與其他租戶共享。	公共資源池
      	規(guī)格	選擇規(guī)格，規(guī)格中描述了服務器類型、型號等信息，僅顯示模型支持的資源。	Ascend: 4*ascend-snt9b2(32GB) | ARM: 96 核 768GB
      	計算節(jié)點個數(shù)	當計算節(jié)點個數(shù)大于1，將啟動多節(jié)點分布式訓練。詳細信息，請參見分布式訓練功能介紹。	1
      更多選項	永久保存日志	選擇是否打開“永久保存日志”開關。	關閉
      	事件通知	選擇是否打開“事件通知”開關。	關閉
      	自動停止	當使用付費資源時，可以選擇是否打開“自動停止”開關。	關閉
      	自動重啟	選擇是否打開“自動重啟”開關。	關閉

      表3 多個調優(yōu)任務的參數(shù)配置

      序號	任務名稱	選擇調優(yōu)類型	調優(yōu)后的模型名稱	迭代步數(shù)/Iterations	學習率/learning_rate
      1	job-lora-01	LoRA微調	Qwen2-7B_01-lora	160	3.00E-05
      2	job-lora-02	LoRA微調	Qwen2-7B_02-lora	480	3.00E-05
      3	job-lora-03	LoRA微調	Qwen2-7B_03-lora	800	3.00E-04
      4	job-sft-01	全參微調	Qwen2-7B_01-sft	160	3.00E-05
      5	job-sft-02	全參微調	Qwen2-7B_02-sft	800	3.00E-05
      6	job-sft-03	全參微調	Qwen2-7B_03-sft	160	3.00E-06

   3. 參數(shù)配置完成后，單擊“提交”。

      “資源池類型”選擇“公共資源池”時，會出現(xiàn)“計費提醒”對話框，請您仔細閱讀預計調優(yōu)運行時間和預計消耗費用信息，然后單擊“確定”，創(chuàng)建調優(yōu)作業(yè)。該預估費用不包含OBS存儲費用。預估費用基于目錄價和預估時長計算，估算存在波動性，最終以實際發(fā)生為準。

      在“模型調優(yōu)”列表中，當模型調優(yōu)作業(yè)的“狀態(tài)”變成“已完成”時，表示模型調優(yōu)完成。

4. 部署模型服務。將原始模型“Qwen2-7B_template”和調優(yōu)后獲得的6種模型都部署成模型服務。
   1. 在ModelArts Studio左側導航欄中，選擇“在線推理”。
   2. 在“在線推理”頁面，單擊“我的服務”頁簽，在右上角單擊“部署模型服務”進入部署頁面，完成創(chuàng)建配置。

      表4 部署模型服務

      參數(shù)		說明	取值樣例
      服務設置	服務名稱	自定義模型服務的名稱。	參見表5
      	描述	自定義部署模型服務的簡介。	-
      模型設置	部署模型	單擊“選擇模型”，從“我的模型”列表中選擇需要部署的模型。	參見表5
      資源設置	資源池類型	資源池分為公共資源池與專屬資源池。 公共資源池供所有租戶共享使用。 專屬資源池需單獨創(chuàng)建，不與其他租戶共享。	公共資源池
      	實例規(guī)格	選擇實例規(guī)格，規(guī)格中描述了服務器類型、型號等信息。 說明： 公共資源池暫未完全公開，如需申請使用，請聯(lián)系與您對接的銷售人員或撥打4000-955-988獲得支持，您也可以在線提交售前咨詢。	Ascend: 1*ascend-snt9b2 | ARM: 24 vCPUs 96000MB
      	流量限制（QPS）	設置待部署模型的流量限制QPS。	3
      	實例數(shù)	設置服務器個數(shù)。 推薦實例數(shù) = 流量限制 ÷ 推薦的單實例流量限制	1
      更多選項	內容審核	選擇是否打開內容審核，默認啟用。啟用此能力可阻止在線推理中有害內容的輸入輸出，但可能會對接口性能產生較大影響。	打開
      	事件通知	選擇是否打開“事件通知”開關。	關閉
      	自動停止	當使用付費資源時，可以選擇是否打開“自動停止”開關。	關閉

      表5 多個部署服務的參數(shù)配置

      序號	服務名稱	部署模型
      1	service--lora-01	Qwen2-7B_01-lora
      2	service--lora-02	Qwen2-7B_02-lora
      3	service--lora-03	Qwen2-7B_03-lora
      4	service--sft-01	Qwen2-7B_01-sft
      5	service--sft-02	Qwen2-7B_02-sft
      6	service--sft-03	Qwen2-7B_03-sft
      7	service-00	Qwen2-7B_template

   3. 參數(shù)配置完成后，單擊“提交”。

      “資源池類型”選擇“公共資源池”時，會出現(xiàn)“計費提醒”對話框，請您仔細閱讀預估費用信息，然后單擊“確定”，創(chuàng)建部署任務。模型部署會基于資源占用時長進行計費。服務狀態(tài)為運行中時會產生費用，最終實際費用以賬單為準。

      在“我的服務”列表中，當模型部署服務的“狀態(tài)”變成“運行中”時，表示模型部署完成。

5. 使用模型服務：在MaaS體驗部署完成的7個模型服務，測試推理結果。
   1. 在ModelArts Studio左側導航欄中，選擇“文本對話”進入體驗頁面。
   2. 在“文本對話”頁面，單擊“請選擇服務”，在模型列表中選擇模型服務，單擊“確定”。
   3. 在“文本對話”頁面右上角，單擊“參數(shù)設置”，按需拖動或直接輸入數(shù)值配置推理參數(shù)。單擊“恢復默認”可以將參數(shù)值調回默認值。
      圖3 設置推理參數(shù)
      

      表6 參數(shù)設置

      參數(shù)	說明	取值樣例
      溫度/Temperature	設置推理溫度。 數(shù)值較高，輸出結果更加隨機。 數(shù)值較低，輸出結果更加集中和確定。	0.7
      核采樣/top_p	設置推理核采樣。調整輸出文本的多樣性，數(shù)值越大，生成文本的多樣性就越高。	1
      top_k	選擇在模型的輸出結果中選擇概率最高的前K個結果。	20

   4. 在對話框中輸入問題，查看返回結果。

      輸入的問題需要添加如下prompt，其中“{title}”要換成待判斷的新聞標題，“{key_word}”要換成待判斷的新聞關鍵詞。

      你是一位資深的新聞從業(yè)者，現(xiàn)在需要依據(jù)新聞標題和關鍵詞對新聞進行分類。接下來你會收到<標題>和<關鍵詞>，給出的分類結果需要嚴格按照以下要求：
      1.使用json格式輸出{"分類1":"中文標簽","分類2":"英文標簽"}
      2.中文標簽共15個，可選標簽如下：民生、文化、娛樂、體育、財經、房產、汽車、教育、科技、旅游、國際、證券、農業(yè)、電競等
      3.英文標簽共15個，可選標簽如下：news_story、news_culture、news_entertainment、news_sports、news_finance、news_house、news_car、news_edu、news_tech、news_military、news_travel、news_world、stock、news_agriculture、news_game
      
      示例：
      <標題>：布達拉宮夜景，有緣人才能看見！太美了！
      <關鍵詞>：夜景,布達拉宮
      <輸出>：{"分類1":"旅游","分類2":"news_travel"}
      
      現(xiàn)在請你判斷以下新聞：
      <標題>：{title}
      <關鍵詞>：{key_word}
      <輸出>：

      

      prompt需要滿足如下要求：

      • 設定合適的身份。
      • 需求描述清晰：完整的上下文、任務內容要干什么和不要干什么、合理的符合標識。
      • 指定輸出結構。
      • 給出一個示例。

      返回結果如圖4所示。

      圖4 推理結果
      

6. 結果分析：分析模型的調優(yōu)結果和推理結果。

   推理結果的評分標準：

   • 輸出結構滿足{"分類1":"xxx","分類2":"xxx"}，則格式正確，得1分。
   • "分類1"和"分類2"的內容與標簽相同，得1分。
   • 從模型調優(yōu)任務的日志中獲取最后一個迭代的loss值，作為終止loss。

   通過計算測試集161條數(shù)據(jù)的平均得分，作為最終得分。

   表7 模型服務的分析結果

   序號	服務名稱	選擇調優(yōu)類型	迭代步數(shù)/Iterations	學習率/learning_rate	格式正確得分	終止loss	最終得分
   1	service--lora-01	LoRA微調	160	3.00E-05	161	0.0235	1.9005
   2	service--lora-02	LoRA微調	480	3.00E-05	161	0.0338	1.907
   3	service--lora-03	LoRA微調	800	3.00E-04	161	3.20E-05	1.9005
   4	service--sft-01	全參微調	160	3.00E-05	0	0.0255	0
   5	service--sft-02	全參微調	800	3.00E-05	1	1.70E-04	0.0124
   6	service--sft-03	全參微調	160	3.00E-06	161	0.0235	1.8945
   7	service-00	-	-	-	50	-	1.02

   結果分析：

   • 新聞自動分類是一個簡單的分類任務，5281條數(shù)據(jù)的數(shù)據(jù)量也較小，因此LoRA微調和全參微調都能取得較好的調優(yōu)結果。
   • LoRA微調由于可調參數(shù)少，所以學習率設置比全參微調大。
   • 全參微調用相同的“3.00E-05”學習率就出現(xiàn)了過擬合的現(xiàn)象。

   由結果可知第1個和第3個模型服務的訓推效果較好。