檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
管理多模態(tài)大模型評測任務 管理評測任務 在評測任務列表中，任務創(chuàng)建者可以對任務進行克?。◤椭?span id="dhbxn9h" class='cur'>評測任務）、啟動（重啟評測任務）和刪除操作。 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。
三方大模型支持人工評測、自動評測兩種評測模式。 人工評測：通過人工創(chuàng)建的評測數(shù)據(jù)集和評測指標項對模型生成的回答進行評測，評測時需要人工基于創(chuàng)建好的評測項對模型回答進行打分，評測完成后會基于打分結(jié)果生成評測報告。 自動評測：包含“基于規(guī)則”與“基于大模型”兩種評測規(guī)則。
快速搭建EvalScope模型性能評測平臺 快速搭建EvalScope模型性能評測平臺 查看部署指南 方案咨詢 該解決方案有何用途？ 該解決方案基于華為云Flexus云服務器X實例幫助您快速部署EvalScope模型性能評測應用。
Flexus云服務器X實例 deploying-evalscope-demo 按需計費：0.26元/小時 區(qū)域：華北-北京四 規(guī)格：Flexus云服務器X實例 | 性能模式（關閉）| x1.2u.4g | 2核 | 4GB 鏡像：Ubuntu 22.04 server 64bit 系統(tǒng)盤
該工具為在線評測，默認使用OpenAI接口進行評測。 MME工具適用于多模態(tài)模型的精度測試。
評測NLP大模型 創(chuàng)建NLP大模型評測數(shù)據(jù)集 創(chuàng)建API服務 創(chuàng)建NLP大模型評測任務 查看NLP大模型評測報告 管理NLP大模型評測任務 父主題： 開發(fā)盤古NLP大模型
評測CV大模型 創(chuàng)建CV大模型評測數(shù)據(jù)集 創(chuàng)建API服務 創(chuàng)建CV大模型評測任務 查看CV大模型評測報告 管理CV大模型評測任務 父主題： 開發(fā)盤古CV大模型
評測Deepseek大模型 創(chuàng)建Deepseek大模型評測數(shù)據(jù)集 創(chuàng)建API服務 創(chuàng)建Deepseek大模型評測任務 查看Deepseek大模型評測報告 管理Deepseek大模型評測任務 父主題： 開發(fā)Deepseek大模型
評測預測大模型 創(chuàng)建預測大模型評測數(shù)據(jù)集 創(chuàng)建預測大模型評測任務 查看預測大模型評測報告 管理預測大模型評測任務 父主題： 開發(fā)盤古預測大模型
附錄 名詞解釋 Flexus云服務器X實例：Flexus云服務器X實例是新一代面向中小企業(yè)和開發(fā)者打造的柔性算力云服務器。Flexus云服務器X實例功能接近ECS， 同時還具備獨有特點，例如Flexus云服務器X實例具有更靈活的vCPU內(nèi)存配比、支持熱變配不中斷業(yè)務變更規(guī)格、支持性能模式等
它支持多種類型的模型評測，包括大語言模型（LLM）、多模態(tài)模型、Embedding 模型、Reranker 模型和 CLIP 模型等，適用于端到端 RAG 評測、競技場模式、模型推理性能壓測等多種評測場景。
創(chuàng)建多模態(tài)大模型評測數(shù)據(jù)集 多模態(tài)大模型支持人工評測和基于大模型的評測，人工評測方式需要通過人工創(chuàng)建的評測數(shù)據(jù)集和評測指標項對模型生成的回答進行評測，評測時需要人工基于創(chuàng)建好的評測項對模型回答進行打分，評測完成后會基于打分結(jié)果生成評測報告。
修訂記錄 表1 修訂記錄 發(fā)布日期 修訂記錄 2025-02-21 第一次正式發(fā)布。
Flexus云服務器X實例 deploying-evalscope-demo 按需計費：0.26元/小時 區(qū)域：華北-北京四 規(guī)格：Flexus云服務器X實例 | 性能模式（關閉）| x1.2u.4g | 2核 | 4GB 鏡像：Ubuntu 22.04 server 64bit 系統(tǒng)盤
實施步驟 準備工作 快速部署 開始使用 快速卸載
仿真場景在操作欄單擊“回放”，選擇進行3D回放或一臺空閑狀態(tài)的機器進行在線仿真回放。 歷史結(jié)果對比：平臺支持多個歷史結(jié)果進行對比，進入仿真配置詳情頁，單擊操作欄中的“更多 > 歷史結(jié)果對比”，選擇任務查看對比結(jié)果。 算法日志下載。 用戶可將仿真任務的日志下載至本地查看。
當狀態(tài)為“待評測”時，可以單擊操作列“在線評測”進入評測頁面。 依據(jù)頁面提示完成評測，全部數(shù)據(jù)評測完成后單擊“提交”。 評測詳情頁面，單擊“盲測”，會隱藏模型名稱，進行盲評。
該API屬于SIS服務，描述: 口語評測接口,基于一小段朗讀語音和預期文本,評價朗讀者發(fā)音質(zhì)量。當前僅支持華北-北京四。接口URL: "/v1/{project_id}/assessment/audio"
相比于SQL，DQE是一個更結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)體，是DataArts Insight系統(tǒng)中的通用數(shù)據(jù)查詢結(jié)構(gòu)體。在轉(zhuǎn)換的過程中，語義SQL會被進行后處理，以校驗、修正其中的幻覺和錯誤，提升整個數(shù)據(jù)查詢的準確率。 SQL DQE將會被進一步轉(zhuǎn)換為目標數(shù)據(jù)源可執(zhí)行的物理SQL。
評測數(shù)據(jù)集要求： 主要考驗模型的知識記憶能力和文本理解能力。具體可分為通用能力和行業(yè)能力。 通用能力：主要包含通用領域的數(shù)據(jù)集評測任務，如文本分類、邏輯推理、情感分析、問答系統(tǒng)等任務。
