檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
致力于為人工智能企業(yè)提供高效、安全和高質(zhì)量的數(shù)據(jù)采集、清洗和標注服務(wù)。依托自身成熟的培訓(xùn)、管理體系，幫助客戶降低數(shù)據(jù)成本，加快產(chǎn)品迭代速度，迎合大數(shù)據(jù)時代趨勢，成就AI精彩未來。產(chǎn)品說明： AI數(shù)據(jù)集標注是一款專為人工智能設(shè)計的數(shù)據(jù)集標注軟件。軟件可以自動導(dǎo)入數(shù)據(jù)集，對文本、圖片、視頻和音頻等進行標注。
致力于為人工智能企業(yè)提供高效、安全和高質(zhì)量的數(shù)據(jù)采集、清洗和標注服務(wù)。依托自身成熟的培訓(xùn)、管理體系，幫助客戶降低數(shù)據(jù)成本，加快產(chǎn)品迭代速度，迎合大數(shù)據(jù)時代趨勢，成就AI精彩未來。產(chǎn)品說明： AI數(shù)據(jù)集標注是一款專為人工智能設(shè)計的數(shù)據(jù)集標注軟件。軟件可以自動導(dǎo)入數(shù)據(jù)集，對文本、圖片、視頻和音頻等進行標注。
文本對話 功能介紹 基于文本對話功能，用戶可以與模型進行自然而流暢的對話和交流。 URI 獲取URI方式請參見請求URI。 NLP推理服務(wù)提供兩種推理接口調(diào)用： 盤古推理接口（V1推理接口）。 業(yè)界通用的OpenAI格式接口（V2推理接口）。 兩種接口定義如表1所示。 表1 NLP服務(wù)推理接口
https://huggingface.co/ 注： 主要元素為：數(shù)據(jù)集名稱，鏈接，領(lǐng)域類型，語言，簡介，主要文件，數(shù)據(jù)量，數(shù)據(jù)格式。 數(shù)據(jù)結(jié)構(gòu)基本為 文檔-問題-答案。 部分數(shù)據(jù)數(shù)量為個人統(tǒng)計，部分為數(shù)據(jù)源簡介介紹； CMRC2018：（中文）MRC數(shù)據(jù)集 數(shù)據(jù)源鏈接：https://ymcui.com/cmrc2018/
配比文本類數(shù)據(jù)集 數(shù)據(jù)配比是將多個數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至發(fā)布文本類數(shù)據(jù)集。 創(chuàng)建文本類數(shù)據(jù)集配比任務(wù) 創(chuàng)建文本類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts St
頁面單擊操作列“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 預(yù)置數(shù)據(jù)指令介紹 ModelArts Studio平臺的數(shù)據(jù)合成功能為用戶提供了預(yù)置指令，用戶可以在“數(shù)據(jù)工程 > 數(shù)據(jù)加工 > 合成任務(wù) > 管理合成指令
的概括。接著介紹了情感對話系統(tǒng)中的對話情緒感知和情感對話生成兩大任務(wù)，并分別調(diào)研歸納了相關(guān)方法。對話情緒感知任務(wù)大致分為基于上下文和基于用戶信息兩類方法。情感對話生成的方法包括規(guī)則匹配算法、指定情感回復(fù)的生成模型和不指定情感回復(fù)的生成模型，并從情緒數(shù)據(jù)類別和模型方法等方面進行了對
加工文本類數(shù)據(jù)集 加工文本類數(shù)據(jù)集任務(wù)前，請先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請參見導(dǎo)入數(shù)據(jù)至盤古平臺。 創(chuàng)建文本類數(shù)據(jù)集加工任務(wù)步驟如下： 登錄ModelArts Studio大模型開發(fā)平臺，在“我的空間”模塊，單擊進入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工
評估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集前，ModelArts Studio大模型開發(fā)平臺支持對數(shù)據(jù)集進行評估操作，幫助用戶優(yōu)化數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)滿足高標準，提升模型性能。 如果無需使用數(shù)據(jù)評估操作，可跳過此章節(jié)至發(fā)布文本類數(shù)據(jù)集。 創(chuàng)建文本類數(shù)據(jù)集評估標準 ModelArts Stu
數(shù)據(jù)集成概述 DataArts Studio數(shù)據(jù)集成是一種高效、易用的數(shù)據(jù)集成服務(wù)，圍繞大數(shù)據(jù)遷移上云和智能數(shù)據(jù)湖解決方案，提供了簡單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，降低了客戶數(shù)據(jù)源遷移和集成的復(fù)雜性，有效地提高您數(shù)據(jù)遷移和集成的效率。 數(shù)據(jù)集成即云數(shù)據(jù)遷移（Cloud
標注文本類數(shù)據(jù)集 創(chuàng)建文本類數(shù)據(jù)集標注任務(wù) 標注文本類數(shù)據(jù)集任務(wù)前，請先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請參見導(dǎo)入數(shù)據(jù)至盤古平臺。 數(shù)據(jù)標注功能支持創(chuàng)建標注任務(wù)、標注數(shù)據(jù)集（標注作業(yè)）、審核標注后的數(shù)據(jù)集（審核作業(yè)）與管理標注任務(wù)（任務(wù)管理）。其中，不同角色權(quán)限支持的功能及展示的前端界面略有差異，詳見表1。
單擊左側(cè)“體驗中心”，進入“文本對話”頁簽，選擇服務(wù)，在輸入框輸入問題，模型將基于問題進行回答。 圖1 使用預(yù)置服務(wù)進行文本對話 可以嘗試修改參數(shù)并查看模型效果。
在“創(chuàng)建發(fā)布任務(wù)”頁面，篩選數(shù)據(jù)集模態(tài)，如“文本”類型的數(shù)據(jù)集。 圖2 篩選“文本”類數(shù)據(jù)集 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性和格式配置，如圖3。 由于數(shù)據(jù)工程需要支持對接盤古大模型或三方大模型，為了使這些數(shù)據(jù)集能夠被這些大模型正常訓(xùn)練，平臺支持發(fā)布不同格式的數(shù)據(jù)集。
調(diào)用文本對話模型服務(wù) 功能介紹 調(diào)用大語言模型推理服務(wù)，根據(jù)用戶問題，獲取大語言模型的回答。 調(diào)用方法 請參見如何調(diào)用API。
描述文本分類數(shù)據(jù)集–外賣評論1、數(shù)據(jù)簡介本數(shù)據(jù)集為外賣評論數(shù)據(jù)集，包含約4000條正向評論、8000條負向評論。數(shù)據(jù)集文本對象和標注分別存放在如下不同文件中：comment.txtcomment_result.txt2、適用的算法本數(shù)據(jù)集可用于如下AI Gallery中文文本分類
全面的對話管理 支持自然語言多能力融合，智能對話中控。 靈活的知識庫管理，支持對知識的批量操作。 支持嵌入多輪對話技能，滿足復(fù)雜的任務(wù)型對話場景。 高效訓(xùn)練部署 基于modelarts的底層算法能力，提供更快的模型訓(xùn)練、部署能力。 支持多算法模型效果驗證，驗證不同數(shù)據(jù)、參數(shù)、模型對問法效果的影響。
加工文本類數(shù)據(jù)集 加工文本類數(shù)據(jù)集 合成文本類數(shù)據(jù)集 標注文本類數(shù)據(jù)集 配比文本類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
文本類數(shù)據(jù)集格式要求 ModelArts Studio大模型開發(fā)平臺支持創(chuàng)建文本類數(shù)據(jù)集，創(chuàng)建時可導(dǎo)入多種形式的數(shù)據(jù)，具體格式要求詳見表1。 表1 文本類數(shù)據(jù)集格式要求 文件內(nèi)容 文件格式 文件要求 文檔 txt、mobi、epub、docx、pdf 從OBS導(dǎo)入：單個文件大小不超過1GB，文件數(shù)量不限制。
文本標注數(shù)據(jù)集文件說明 OCTOPUS格式文件基本要求（文本標注） 上傳的OCTOPUS格式數(shù)據(jù)集需包含以下文件（以txt格式為例）。文本文件支持的格式包含：txt、yaml、xml、csv。 . ├─ 文件夾1 ├─ text1.txt #文本文件
發(fā)布文本類數(shù)據(jù)集 評估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集 父主題： 發(fā)布數(shù)據(jù)集
數(shù)據(jù)集成 數(shù)據(jù)集成普通任務(wù) 數(shù)據(jù)集成組合任務(wù)
對話機器人SDK簡介 對話機器人概述 對話機器人服務(wù)（Conversational Bot Service） 是一款基于人工智能技術(shù)，針對企業(yè)應(yīng)用場景開發(fā)的云服務(wù)，主要包括智能問答機器人功能。智能問答機器人旨在幫助企業(yè)快速構(gòu)建，發(fā)布和管理基于知識庫的智能問答系統(tǒng)。 對話機器人服務(wù)端SDK是對服務(wù)提供的REST
對話 支持通過對話的方式對問答AI服務(wù)進行提問，例如，查數(shù)據(jù)、問趨勢、看排名、模糊查詢及數(shù)據(jù)解讀等。 支持問的數(shù)據(jù)集有以下兩種： 系統(tǒng)基于角色開放相應(yīng)的數(shù)據(jù)集，可以基于樣例數(shù)據(jù)開始進行數(shù)據(jù)問答。 管理員可新建數(shù)據(jù)集，數(shù)據(jù)梳理定義好后，可以開放給其他用戶可針對這些數(shù)據(jù)集進行數(shù)據(jù)問答。
