檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
發(fā)布日期 修訂記錄 2020-12-17 第一次正式發(fā)布。?
內(nèi)置評測指標說明 內(nèi)置評測指標簡介 安全性評測指標 合規(guī)性評測指標 智能性評測指標 舒適性評測指標 父主題： 評測管理
評測分數(shù)計算介紹 評分方案介紹 AB類log函數(shù)評分方案 AB類均勻權重（Average）評分方案 C類均勻權重評分（Average）方案 父主題： 評測管理
仿真場景在操作欄單擊“回放”，選擇進行3D回放或一臺空閑狀態(tài)的機器進行在線仿真回放。 歷史結果對比：平臺支持多個歷史結果進行對比，進入仿真配置詳情頁，單擊操作欄中的“更多 > 歷史結果對比”，選擇任務查看對比結果。 算法日志下載。 用戶可將仿真任務的日志下載至本地查看。
訓練評測 工具介紹及準備工作 訓練性能測試 訓練精度測試 父主題： 主流開源大模型基于Lite Server適配MindSpeed-LLM PyTorch NPU訓練指導（6.5.901）
基本信息 評測任務名稱 填寫評測任務名稱。 描述 填寫評測任務描述。 參數(shù)填寫完成后，單擊“立即創(chuàng)建”，回退至“評測任務 > 人工評測”頁面。 當狀態(tài)為“待評測”時，可以單擊操作列“在線評測”進入評測頁面。 依據(jù)頁面提示完成評測，全部數(shù)據(jù)評測完成后單擊“提交”。
基本信息 評測任務名稱 填寫評測任務名稱。 描述 填寫評測任務描述。 參數(shù)填寫完成后，單擊“立即創(chuàng)建”，回退至“評測任務 > 人工評測”頁面。 當狀態(tài)為“待評測”時，可以單擊操作列“在線評測”進入評測頁面。
管理Deepseek大模型評測任務 管理評測任務 在評測任務列表中，任務創(chuàng)建者可以對任務進行克隆（復制評測任務）、啟動（重啟評測任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。
父主題： 評測分數(shù)計算介紹
單擊操作列“評測報告”，在“評測報告”頁面，可以查看評測任務的基本信息及評測概覽。 其中，各評測指標說明詳見Deepseek大模型評測指標說明。 導出評測報告。 在“評測報告 > 評測明細”頁面，單擊“導出”，可選擇需要導出的評測報告，單擊“確定”。
評測配置 評測規(guī)則 選擇“基于規(guī)則”。 數(shù)據(jù)集標注模式 選擇“有標注模式”。 評測數(shù)據(jù)集 待評測的數(shù)據(jù)集。 評測結果存儲位置 模型評測結果的存儲位置。 基本信息 評測任務名稱 填寫評測任務名稱。 描述 填寫評測任務描述。
創(chuàng)建評測腳本 添加評測腳本流程為“初始化評測腳本 > 選擇評測腳本文件 > 上傳評測腳本文件”。具體操作步驟如下： 在左側菜單欄中選擇“訓練服務 > 模型評測”。 選擇“評測腳本”頁簽，單擊“新建評測腳本”，填寫腳本名稱和描述信息。 單擊“初始化”，完成腳本的初始化過程。
評測管理 內(nèi)置評測配置 自定義評測鏡像 內(nèi)置評測指標說明 評測分數(shù)計算介紹 實時評測和延時評測介紹 父主題： 仿真服務
管理CV大模型評測任務 管理評測任務 在評測任務列表中，任務創(chuàng)建者可以對任務進行克?。◤椭?span id="0wwekwk" class='cur'>評測任務）、啟動（重啟評測任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。
管理預測大模型評測任務 管理評測任務 在評測任務列表中，任務創(chuàng)建者可以對任務進行克?。◤椭?span id="wioguas" class='cur'>評測任務）、啟動（重啟評測任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。
誤報率 衡量檢測系統(tǒng)或分類模型在負樣本中錯誤判斷為正樣本的比例。其核心意義在于反映系統(tǒng)對正常數(shù)據(jù)的誤判程度。 漏報率 漏報率是指被錯誤預測為正常的異常樣本在總異常樣本中所占的比例。
單擊操作列“評測報告”，在“評測報告”頁面，可以查看評測任務的報告和詳情。 其中，各評測指標說明詳見CV大模型評測指標說明。 導出評測報告。 在“評測報告 > 服務結果分析”頁面，單擊“導出”，可選擇需要導出的評測報告，單擊“確定”。
評測數(shù)據(jù)集 待評測的數(shù)據(jù)集。 評測指標 待評測模型的評測指標。具體評測指標可參考表1。 評測指標需要在選定評測模型及評測數(shù)據(jù)集之后出現(xiàn)，根據(jù)評測模型的不同，各評測指標也不相同。至少需要選擇一項指標評測。 評測結果存儲位置 模型評測結果的存儲位置。
模型 選擇模型倉庫和對應的模型版本，如果需要將模型對應的原始算法也掛載到用戶評測容器中，可選擇“關聯(lián)已有算法”，系統(tǒng)默認選擇模型創(chuàng)建時的關聯(lián)算法，用戶也可手動更改選擇其他算法文件。
管理NLP大模型評測任務 管理評測任務 在評測任務列表中，任務創(chuàng)建者可以對任務進行克?。◤椭?span id="qgmgumo" class='cur'>評測任務）、啟動（重啟評測任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。
