應(yīng)用場景

在數(shù)字化時代，新聞的生成與傳播速度不斷刷新記錄。在 ModelArts Studio大模型即服務(wù)平臺（下面簡稱為MaaS），使用Qwen2-7B模型可以實(shí)現(xiàn)新聞自動分類，能夠高效處理和分類大量新聞內(nèi)容。

該解決方案可以應(yīng)用于如下場景：

• 新聞門戶網(wǎng)站： 自動將新聞內(nèi)容歸類到相應(yīng)板塊，如科技、體育或國際新聞，以提升用戶體驗(yàn)和內(nèi)容檢索效率。
• 社交媒體平臺： 對用戶分享的新聞鏈接進(jìn)行智能分類，幫助用戶迅速定位到感興趣的話題。
• 內(nèi)容推薦系統(tǒng)： 根據(jù)用戶的閱讀偏好和歷史行為，智能推薦相關(guān)新聞，增強(qiáng)用戶粘性和滿意度。
• 新聞分析工具： 為分析師提供自動分類的新聞數(shù)據(jù)，便于進(jìn)行市場趨勢和熱點(diǎn)分析。

方案流程

圖1 方案實(shí)現(xiàn)流程

1. 準(zhǔn)備數(shù)據(jù)集：獲取新聞數(shù)據(jù)集，并上傳到 OBS 。
2. 創(chuàng)建模型：選擇Qwen2-7B基礎(chǔ)模型，使用自定義權(quán)重創(chuàng)建個人專屬模型。
3. 調(diào)優(yōu)模型：使用不同的調(diào)優(yōu)參數(shù)去訓(xùn)練模型。
4. 部署模型服務(wù)：將調(diào)優(yōu)后的模型部署成模型服務(wù)。
5. 使用模型服務(wù)：在MaaS體驗(yàn)?zāi)Ｐ头?wù)，測試推理結(jié)果。
6. 結(jié)果分析：分析模型的調(diào)優(yōu)結(jié)果和推理結(jié)果，對比新聞分類效果。

方案優(yōu)勢

• 高準(zhǔn)確性：利用模型強(qiáng)大的語義理解能力，系統(tǒng)能夠準(zhǔn)確識別新聞內(nèi)容的主題和關(guān)鍵詞，實(shí)現(xiàn)高準(zhǔn)確率的自動分類。
• 快速響應(yīng)：系統(tǒng)能夠?qū)崟r處理新聞內(nèi)容，快速完成分類，滿足新聞時效性的要求。
• 可擴(kuò)展性：隨著模型的不斷訓(xùn)練和優(yōu)化，系統(tǒng)能夠適應(yīng)不斷變化的新聞內(nèi)容和分類需求。
• 降低人力成本：減少人工分類的工作量，降低人力成本，提高工作效率。

操作步驟

1. 準(zhǔn)備數(shù)據(jù)集。獲取新聞數(shù)據(jù)集，并上傳到OBS。
   1. 下載新聞數(shù)據(jù)集。

      本文原始數(shù)據(jù)集來源：https://github.com/aceimnorstuvwxz/toutiao-text-classfication-dataset

      本文實(shí)驗(yàn)用數(shù)據(jù)集基于原始數(shù)據(jù)集處理而來，進(jìn)行了簡單的采樣、清晰和prompt工程。

      實(shí)驗(yàn)數(shù)據(jù)集獲取地址：https://maas-operations.obs.myhuaweicloud.com/Sample-Dataset/maas_demo_news.jsonl

      該實(shí)驗(yàn)數(shù)據(jù)集的總數(shù)據(jù)量5281條，隨機(jī)分為訓(xùn)練集5120條和測試集161條。

      實(shí)驗(yàn)數(shù)據(jù)集文件“maas_demo_news.jsonl”的內(nèi)容格式如下。

      {"conversation_id": 1, "chat": {"turn_1": {"Human":"text","MOSS":"text"},"turn_2": {"Human":"text","MOSS":"text"}}}

      “conversation_id”是樣本編號，“chat”后面是多輪對話的內(nèi)容，“turn_n”表示是第n次對話，每次對話都有輸入（對應(yīng)Human角色）和輸出（對應(yīng)MOSS角色）。其中Human和MOSS僅用于角色區(qū)分，模型訓(xùn)練的內(nèi)容只有text指代的文本。

   2. 將jsonl格式的數(shù)據(jù)集文件上傳到“華東二”區(qū)域的OBS桶中，創(chuàng)建OBS桶和上傳文件的操作指導(dǎo)請參見OBS控制臺快速入門。本文以“/maas-test/news/maas_demo_news.jsonl”OBS路徑為例。

2. 創(chuàng)建Qwen2-7B模型。
   1. 登錄ModelArts Studio（MaaS）控制臺，在頂部導(dǎo)航欄選擇目標(biāo)區(qū)域。
   2. 在左側(cè)導(dǎo)航欄，選擇“我的模型”進(jìn)入模型列表。
   3. 在“我的模型”頁面，單擊“創(chuàng)建模型”彈出創(chuàng)建模型頁面。
   4. 在“創(chuàng)建模型”頁面，配置相關(guān)參數(shù)。

      表1 創(chuàng)建模型參數(shù)說明

      參數(shù)	說明	取值樣例
      來源模型	單擊“選擇基礎(chǔ)模型”，在彈窗中選擇模型，單擊“確定”。	Qwen2-7B
      模型名稱	自定義模型名稱。	Qwen2-7B_template
      描述	自定義模型簡介。	-
      權(quán)重設(shè)置與詞表	默認(rèn)選擇“自定義權(quán)重”。	自定義權(quán)重
      自定義權(quán)重存儲路徑	將權(quán)重文件存儲到OBS桶中，且權(quán)重文件必須滿足對應(yīng)模型的文件格式要求。 權(quán)重文件指的是模型的參數(shù)集合。OBS桶必須和MaaS服務(wù)在同一個Region下。 關(guān)于如何獲取權(quán)重文件，請參見Hugging Face官網(wǎng)。 說明： 如果Hugging Face網(wǎng)站打不開，請?jiān)诨ヂ?lián)網(wǎng)上搜索解決方案。 關(guān)于權(quán)重文件的格式要求，請參見約束限制。 關(guān)于如何將權(quán)重文件存儲到OBS桶，請參見上傳概述。 單擊“自定義權(quán)重存儲路徑”右側(cè)的文件圖標(biāo)，選擇存放模型權(quán)重文件的OBS路徑（必須選擇到模型文件夾），然后單擊“確定”。 單次上傳本地文件到OBS的總大小不能超過5GB，詳情請參見如何上傳超過5GB的大對象。	/3003****/79abed0d-2622-4cd0-80fc-2065ebe****/

   5. 參數(shù)配置完成后，單擊“創(chuàng)建”，創(chuàng)建個人專屬模型。
   6. 在模型列表，單擊模型名稱可以進(jìn)入詳情頁查看模型詳細(xì)信息和任務(wù)。
      當(dāng)模型“狀態(tài)”變成“創(chuàng)建成功”時，表示模型創(chuàng)建完成。

      圖2 查看我的模型狀態(tài)
      

3. 調(diào)優(yōu)模型，使用6種不同的調(diào)優(yōu)參數(shù)去訓(xùn)練模型。
   1. 模型創(chuàng)建成功后，在“我的模型”列表，單擊操作列的“調(diào)優(yōu)”。
   2. 在“創(chuàng)建模型調(diào)優(yōu)任務(wù)”頁面，配置參數(shù)。

      由于需要分析模型調(diào)優(yōu)效果，需要創(chuàng)建多個調(diào)優(yōu)任務(wù)，不同調(diào)優(yōu)任務(wù)的參數(shù)值配置請參見表2和表3。

      表2 創(chuàng)建調(diào)優(yōu)任務(wù)

      參數(shù)		說明	取值樣例
      任務(wù)設(shè)置	任務(wù)名稱	自定義調(diào)優(yōu)任務(wù)名稱。	參見表3
      	描述	自定義調(diào)優(yōu)任務(wù)簡介。	-
      模型設(shè)置	來源模型	當(dāng)從“我的模型”列表進(jìn)入創(chuàng)建調(diào)優(yōu)作業(yè)頁面時，此處默認(rèn)呈現(xiàn)選擇的模型。	Qwen2-7B_template
      	調(diào)優(yōu)類型	選擇全參微調(diào)或LoRA微調(diào)。Qwen2-7B不支持增量預(yù)訓(xùn)練。 全參微調(diào)：直接在模型上訓(xùn)練，影響模型全量參數(shù)的微調(diào)訓(xùn)練，效果較好，收斂速度較慢，訓(xùn)練時間較長。 LoRA微調(diào)：凍結(jié)原模型，通過往模型中加入額外的網(wǎng)絡(luò)層，并只訓(xùn)練這些新增的網(wǎng)絡(luò)層參數(shù)，效果接近或略差于全參訓(xùn)練，收斂速度快，訓(xùn)練時間短。	參見表3
      	調(diào)優(yōu)后模型名稱	設(shè)置調(diào)優(yōu)后產(chǎn)生的新模型的名稱。	參見表3
      	調(diào)優(yōu)后模型權(quán)重存放路徑	選擇調(diào)優(yōu)后模型權(quán)重文件的OBS存放路徑。訓(xùn)練后將在指定路徑下自動創(chuàng)建以作業(yè)ID命名的新文件夾進(jìn)行權(quán)重存儲。	/maas-test/news/out
      數(shù)據(jù)設(shè)置	選擇數(shù)據(jù)集格式	支持選擇MOSS、Alpaca和ShareGPT。訓(xùn)練數(shù)據(jù)需要按照對應(yīng)格式，上傳符合規(guī)范的數(shù)據(jù)集，以更好完成訓(xùn)練任務(wù)。關(guān)于數(shù)據(jù)集示例，請參見支持的數(shù)據(jù)集格式。 說明： 如果數(shù)據(jù)集選擇錯誤，您可以通過以下方式查看日志詳情。 登錄ModelArts Studio（MaaS）控制臺，在“模型調(diào)優(yōu)”頁面單擊目標(biāo)作業(yè)，在作業(yè)詳情的日志頁簽查看詳情。 登錄ModelArts Studio（MaaS）控制臺，在“模型訓(xùn)練 > 訓(xùn)練作業(yè)”頁面單擊目標(biāo)作業(yè)，在日志頁簽查看詳情。	MOSS
      	添加數(shù)據(jù)集	選擇存放訓(xùn)練數(shù)據(jù)集的OBS路徑，必須選擇到1上傳的jsonl文件。	/maas-test/news/maas_demo_news.jsonl
      超參設(shè)置	數(shù)據(jù)條數(shù)	輸入數(shù)據(jù)集中的總數(shù)據(jù)條數(shù)。	1000
      	迭代輪次/Epoch	訓(xùn)練過程中模型遍歷整個數(shù)據(jù)集的次數(shù)。不同量級數(shù)據(jù)集的建議值：百量集4~8；千量集2~4；更大數(shù)量級1~2。	4
      	迭代步數(shù)/Iterations	計算得出的模型參數(shù)/權(quán)重更新的次數(shù)。在調(diào)優(yōu)過程中，每一個Iterations會消耗32條訓(xùn)練數(shù)據(jù)。	參見表3
      	學(xué)習(xí)率/learning_rate	每個迭代步數(shù)（Iteration）模型參數(shù)/權(quán)重更新的速率，輸入0~0.1之間的浮點(diǎn)數(shù)。	參見表3
      	Checkpoint保存?zhèn)€數(shù)	訓(xùn)練過程中保存Checkpoint的個數(shù)。最小值為1，最大值為“迭代步數(shù)/Iterations”的參數(shù)值，不超過10。Checkpoint會自動存儲到“調(diào)優(yōu)后模型權(quán)重保存路徑”的OBS路徑下。	1
      資源設(shè)置	資源池類型	資源池分為公共資源池與專屬資源池。 公共資源池供所有租戶共享使用。 專屬資源池需單獨(dú)創(chuàng)建，不與其他租戶共享。	公共資源池
      	規(guī)格	選擇規(guī)格，規(guī)格中描述了服務(wù)器類型、型號等信息，僅顯示模型支持的資源。	Ascend: 4*ascend-snt9b2(32GB) | ARM: 96 核 768GB
      	計算節(jié)點(diǎn)個數(shù)	當(dāng)計算節(jié)點(diǎn)個數(shù)大于1，將啟動多節(jié)點(diǎn)分布式訓(xùn)練。詳細(xì)信息，請參見分布式訓(xùn)練功能介紹。	1
      更多選項(xiàng)	永久保存日志	選擇是否打開“永久保存日志”開關(guān)。	關(guān)閉
      	事件通知	選擇是否打開“事件通知”開關(guān)。	關(guān)閉
      	自動停止	當(dāng)使用付費(fèi)資源時，可以選擇是否打開“自動停止”開關(guān)。	關(guān)閉
      	自動重啟	選擇是否打開“自動重啟”開關(guān)。	關(guān)閉

      表3 多個調(diào)優(yōu)任務(wù)的參數(shù)配置

      序號	任務(wù)名稱	選擇調(diào)優(yōu)類型	調(diào)優(yōu)后的模型名稱	迭代步數(shù)/Iterations	學(xué)習(xí)率/learning_rate
      1	job-lora-01	LoRA微調(diào)	Qwen2-7B_01-lora	160	3.00E-05
      2	job-lora-02	LoRA微調(diào)	Qwen2-7B_02-lora	480	3.00E-05
      3	job-lora-03	LoRA微調(diào)	Qwen2-7B_03-lora	800	3.00E-04
      4	job-sft-01	全參微調(diào)	Qwen2-7B_01-sft	160	3.00E-05
      5	job-sft-02	全參微調(diào)	Qwen2-7B_02-sft	800	3.00E-05
      6	job-sft-03	全參微調(diào)	Qwen2-7B_03-sft	160	3.00E-06

   3. 參數(shù)配置完成后，單擊“提交”。

      “資源池類型”選擇“公共資源池”時，會出現(xiàn)“計費(fèi)提醒”對話框，請您仔細(xì)閱讀預(yù)計調(diào)優(yōu)運(yùn)行時間和預(yù)計消耗費(fèi)用信息，然后單擊“確定”，創(chuàng)建調(diào)優(yōu)作業(yè)。該預(yù)估費(fèi)用不包含OBS存儲費(fèi)用。預(yù)估費(fèi)用基于目錄價和預(yù)估時長計算，估算存在波動性，最終以實(shí)際發(fā)生為準(zhǔn)。

      在“模型調(diào)優(yōu)”列表中，當(dāng)模型調(diào)優(yōu)作業(yè)的“狀態(tài)”變成“已完成”時，表示模型調(diào)優(yōu)完成。

4. 部署模型服務(wù)。將原始模型“Qwen2-7B_template”和調(diào)優(yōu)后獲得的6種模型都部署成模型服務(wù)。
   1. 在ModelArts Studio左側(cè)導(dǎo)航欄中，選擇“在線推理”。
   2. 在“在線推理”頁面，單擊“我的服務(wù)”頁簽，在右上角單擊“部署模型服務(wù)”進(jìn)入部署頁面，完成創(chuàng)建配置。

      表4 部署模型服務(wù)

      參數(shù)		說明	取值樣例
      服務(wù)設(shè)置	服務(wù)名稱	自定義模型服務(wù)的名稱。	參見表5
      	描述	自定義部署模型服務(wù)的簡介。	-
      模型設(shè)置	部署模型	單擊“選擇模型”，從“我的模型”列表中選擇需要部署的模型。	參見表5
      資源設(shè)置	資源池類型	資源池分為公共資源池與專屬資源池。 公共資源池供所有租戶共享使用。 專屬資源池需單獨(dú)創(chuàng)建，不與其他租戶共享。	公共資源池
      	實(shí)例規(guī)格	選擇實(shí)例規(guī)格，規(guī)格中描述了服務(wù)器類型、型號等信息。 說明： 公共資源池暫未完全公開，如需申請使用，請聯(lián)系與您對接的銷售人員或撥打4000-955-988獲得支持，您也可以在線提交售前咨詢。	Ascend: 1*ascend-snt9b2 | ARM: 24 vCPUs 96000MB
      	流量限制（QPS）	設(shè)置待部署模型的流量限制QPS。	3
      	實(shí)例數(shù)	設(shè)置服務(wù)器個數(shù)。 推薦實(shí)例數(shù) = 流量限制 ÷ 推薦的單實(shí)例流量限制	1
      更多選項(xiàng)	內(nèi)容審核	選擇是否打開內(nèi)容審核，默認(rèn)啟用。啟用此能力可阻止在線推理中有害內(nèi)容的輸入輸出，但可能會對接口性能產(chǎn)生較大影響。	打開
      	事件通知	選擇是否打開“事件通知”開關(guān)。	關(guān)閉
      	自動停止	當(dāng)使用付費(fèi)資源時，可以選擇是否打開“自動停止”開關(guān)。	關(guān)閉

      表5 多個部署服務(wù)的參數(shù)配置

      序號	服務(wù)名稱	部署模型
      1	service--lora-01	Qwen2-7B_01-lora
      2	service--lora-02	Qwen2-7B_02-lora
      3	service--lora-03	Qwen2-7B_03-lora
      4	service--sft-01	Qwen2-7B_01-sft
      5	service--sft-02	Qwen2-7B_02-sft
      6	service--sft-03	Qwen2-7B_03-sft
      7	service-00	Qwen2-7B_template

   3. 參數(shù)配置完成后，單擊“提交”。

      “資源池類型”選擇“公共資源池”時，會出現(xiàn)“計費(fèi)提醒”對話框，請您仔細(xì)閱讀預(yù)估費(fèi)用信息，然后單擊“確定”，創(chuàng)建部署任務(wù)。模型部署會基于資源占用時長進(jìn)行計費(fèi)。服務(wù)狀態(tài)為運(yùn)行中時會產(chǎn)生費(fèi)用，最終實(shí)際費(fèi)用以賬單為準(zhǔn)。

      在“我的服務(wù)”列表中，當(dāng)模型部署服務(wù)的“狀態(tài)”變成“運(yùn)行中”時，表示模型部署完成。

5. 使用模型服務(wù)：在MaaS體驗(yàn)部署完成的7個模型服務(wù)，測試推理結(jié)果。
   1. 在ModelArts Studio左側(cè)導(dǎo)航欄中，選擇“文本對話”進(jìn)入體驗(yàn)頁面。
   2. 在“文本對話”頁面，單擊“請選擇服務(wù)”，在模型列表中選擇模型服務(wù)，單擊“確定”。
   3. 在“文本對話”頁面右上角，單擊“參數(shù)設(shè)置”，按需拖動或直接輸入數(shù)值配置推理參數(shù)。單擊“恢復(fù)默認(rèn)”可以將參數(shù)值調(diào)回默認(rèn)值。
      圖3 設(shè)置推理參數(shù)
      

      表6 參數(shù)設(shè)置

      參數(shù)	說明	取值樣例
      溫度/Temperature	設(shè)置推理溫度。 數(shù)值較高，輸出結(jié)果更加隨機(jī)。 數(shù)值較低，輸出結(jié)果更加集中和確定。	0.7
      核采樣/top_p	設(shè)置推理核采樣。調(diào)整輸出文本的多樣性，數(shù)值越大，生成文本的多樣性就越高。	1
      top_k	選擇在模型的輸出結(jié)果中選擇概率最高的前K個結(jié)果。	20

   4. 在對話框中輸入問題，查看返回結(jié)果。

      輸入的問題需要添加如下prompt，其中“{title}”要換成待判斷的新聞標(biāo)題，“{key_word}”要換成待判斷的新聞關(guān)鍵詞。

      你是一位資深的新聞從業(yè)者，現(xiàn)在需要依據(jù)新聞標(biāo)題和關(guān)鍵詞對新聞進(jìn)行分類。接下來你會收到<標(biāo)題>和<關(guān)鍵詞>，給出的分類結(jié)果需要嚴(yán)格按照以下要求：
      1.使用json格式輸出{"分類1":"中文標(biāo)簽","分類2":"英文標(biāo)簽"}
      2.中文標(biāo)簽共15個，可選標(biāo)簽如下：民生、文化、娛樂、體育、財經(jīng)、房產(chǎn)、汽車、教育、科技、旅游、國際、證券、農(nóng)業(yè)、電競等
      3.英文標(biāo)簽共15個，可選標(biāo)簽如下：news_story、news_culture、news_entertainment、news_sports、news_finance、news_house、news_car、news_edu、news_tech、news_military、news_travel、news_world、stock、news_agriculture、news_game
      
      示例：
      <標(biāo)題>：布達(dá)拉宮夜景，有緣人才能看見！太美了！
      <關(guān)鍵詞>：夜景,布達(dá)拉宮
      <輸出>：{"分類1":"旅游","分類2":"news_travel"}
      
      現(xiàn)在請你判斷以下新聞：
      <標(biāo)題>：{title}
      <關(guān)鍵詞>：{key_word}
      <輸出>：

      

      prompt需要滿足如下要求：

      • 設(shè)定合適的身份。
      • 需求描述清晰：完整的上下文、任務(wù)內(nèi)容要干什么和不要干什么、合理的符合標(biāo)識。
      • 指定輸出結(jié)構(gòu)。
      • 給出一個示例。

      返回結(jié)果如圖4所示。

      圖4 推理結(jié)果
      

6. 結(jié)果分析：分析模型的調(diào)優(yōu)結(jié)果和推理結(jié)果。

   推理結(jié)果的評分標(biāo)準(zhǔn)：

   • 輸出結(jié)構(gòu)滿足{"分類1":"xxx","分類2":"xxx"}，則格式正確，得1分。
   • "分類1"和"分類2"的內(nèi)容與標(biāo)簽相同，得1分。
   • 從模型調(diào)優(yōu)任務(wù)的日志中獲取最后一個迭代的loss值，作為終止loss。

   通過計算測試集161條數(shù)據(jù)的平均得分，作為最終得分。

   表7 模型服務(wù)的分析結(jié)果

   序號	服務(wù)名稱	選擇調(diào)優(yōu)類型	迭代步數(shù)/Iterations	學(xué)習(xí)率/learning_rate	格式正確得分	終止loss	最終得分
   1	service--lora-01	LoRA微調(diào)	160	3.00E-05	161	0.0235	1.9005
   2	service--lora-02	LoRA微調(diào)	480	3.00E-05	161	0.0338	1.907
   3	service--lora-03	LoRA微調(diào)	800	3.00E-04	161	3.20E-05	1.9005
   4	service--sft-01	全參微調(diào)	160	3.00E-05	0	0.0255	0
   5	service--sft-02	全參微調(diào)	800	3.00E-05	1	1.70E-04	0.0124
   6	service--sft-03	全參微調(diào)	160	3.00E-06	161	0.0235	1.8945
   7	service-00	-	-	-	50	-	1.02

   結(jié)果分析：

   • 新聞自動分類是一個簡單的分類任務(wù)，5281條數(shù)據(jù)的數(shù)據(jù)量也較小，因此LoRA微調(diào)和全參微調(diào)都能取得較好的調(diào)優(yōu)結(jié)果。
   • LoRA微調(diào)由于可調(diào)參數(shù)少，所以學(xué)習(xí)率設(shè)置比全參微調(diào)大。
   • 全參微調(diào)用相同的“3.00E-05”學(xué)習(xí)率就出現(xiàn)了過擬合的現(xiàn)象。

   由結(jié)果可知第1個和第3個模型服務(wù)的訓(xùn)推效果較好。