檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
致力于為人工智能企業(yè)提供高效、安全和高質(zhì)量的數(shù)據(jù)采集、清洗和標(biāo)注服務(wù)。依托自身成熟的培訓(xùn)、管理體系，幫助客戶降低數(shù)據(jù)成本，加快產(chǎn)品迭代速度，迎合大數(shù)據(jù)時(shí)代趨勢(shì)，成就AI精彩未來(lái)。產(chǎn)品說(shuō)明： AI數(shù)據(jù)集標(biāo)注是一款專為人工智能設(shè)計(jì)的數(shù)據(jù)集標(biāo)注軟件。軟件可以自動(dòng)導(dǎo)入數(shù)據(jù)集，對(duì)文本、圖片、視頻和音頻等進(jìn)行標(biāo)注。
致力于為人工智能企業(yè)提供高效、安全和高質(zhì)量的數(shù)據(jù)采集、清洗和標(biāo)注服務(wù)。依托自身成熟的培訓(xùn)、管理體系，幫助客戶降低數(shù)據(jù)成本，加快產(chǎn)品迭代速度，迎合大數(shù)據(jù)時(shí)代趨勢(shì)，成就AI精彩未來(lái)。產(chǎn)品說(shuō)明： AI數(shù)據(jù)集標(biāo)注是一款專為人工智能設(shè)計(jì)的數(shù)據(jù)集標(biāo)注軟件。軟件可以自動(dòng)導(dǎo)入數(shù)據(jù)集，對(duì)文本、圖片、視頻和音頻等進(jìn)行標(biāo)注。
文本對(duì)話 功能介紹 基于文本對(duì)話功能，用戶可以與模型進(jìn)行自然而流暢的對(duì)話和交流。 URI 獲取URI方式請(qǐng)參見請(qǐng)求URI。 NLP推理服務(wù)提供兩種推理接口調(diào)用： 盤古推理接口（V1推理接口）。 業(yè)界通用的OpenAI格式接口（V2推理接口）。 兩種接口定義如表1所示。 表1 NLP服務(wù)推理接口
https://huggingface.co/ 注： 主要元素為：數(shù)據(jù)集名稱，鏈接，領(lǐng)域類型，語(yǔ)言，簡(jiǎn)介，主要文件，數(shù)據(jù)量，數(shù)據(jù)格式。 數(shù)據(jù)結(jié)構(gòu)基本為 文檔-問(wèn)題-答案。 部分數(shù)據(jù)數(shù)量為個(gè)人統(tǒng)計(jì)，部分為數(shù)據(jù)源簡(jiǎn)介介紹； CMRC2018：（中文）MRC數(shù)據(jù)集 數(shù)據(jù)源鏈接：https://ymcui.com/cmrc2018/
配比文本類數(shù)據(jù)集 數(shù)據(jù)配比是將多個(gè)數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過(guò)程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個(gè)數(shù)據(jù)集已滿足您的需求，可跳過(guò)此章節(jié)至發(fā)布文本類數(shù)據(jù)集。 創(chuàng)建文本類數(shù)據(jù)集配比任務(wù) 創(chuàng)建文本類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts St
頁(yè)面單擊操作列“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 預(yù)置數(shù)據(jù)指令介紹 ModelArts Studio平臺(tái)的數(shù)據(jù)合成功能為用戶提供了預(yù)置指令，用戶可以在“數(shù)據(jù)工程 > 數(shù)據(jù)加工 > 合成任務(wù) > 管理合成指令
的概括。接著介紹了情感對(duì)話系統(tǒng)中的對(duì)話情緒感知和情感對(duì)話生成兩大任務(wù)，并分別調(diào)研歸納了相關(guān)方法。對(duì)話情緒感知任務(wù)大致分為基于上下文和基于用戶信息兩類方法。情感對(duì)話生成的方法包括規(guī)則匹配算法、指定情感回復(fù)的生成模型和不指定情感回復(fù)的生成模型，并從情緒數(shù)據(jù)類別和模型方法等方面進(jìn)行了對(duì)
加工文本類數(shù)據(jù)集 加工文本類數(shù)據(jù)集任務(wù)前，請(qǐng)先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請(qǐng)參見導(dǎo)入數(shù)據(jù)至盤古平臺(tái)。 創(chuàng)建文本類數(shù)據(jù)集加工任務(wù)步驟如下： 登錄ModelArts Studio大模型開發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工
評(píng)估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集前，ModelArts Studio大模型開發(fā)平臺(tái)支持對(duì)數(shù)據(jù)集進(jìn)行評(píng)估操作，幫助用戶優(yōu)化數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)滿足高標(biāo)準(zhǔn)，提升模型性能。 如果無(wú)需使用數(shù)據(jù)評(píng)估操作，可跳過(guò)此章節(jié)至發(fā)布文本類數(shù)據(jù)集。 創(chuàng)建文本類數(shù)據(jù)集評(píng)估標(biāo)準(zhǔn) ModelArts Stu
數(shù)據(jù)集成概述 DataArts Studio數(shù)據(jù)集成是一種高效、易用的數(shù)據(jù)集成服務(wù)，圍繞大數(shù)據(jù)遷移上云和智能數(shù)據(jù)湖解決方案，提供了簡(jiǎn)單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，降低了客戶數(shù)據(jù)源遷移和集成的復(fù)雜性，有效地提高您數(shù)據(jù)遷移和集成的效率。 數(shù)據(jù)集成即云數(shù)據(jù)遷移（Cloud
標(biāo)注文本類數(shù)據(jù)集 創(chuàng)建文本類數(shù)據(jù)集標(biāo)注任務(wù) 標(biāo)注文本類數(shù)據(jù)集任務(wù)前，請(qǐng)先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請(qǐng)參見導(dǎo)入數(shù)據(jù)至盤古平臺(tái)。 數(shù)據(jù)標(biāo)注功能支持創(chuàng)建標(biāo)注任務(wù)、標(biāo)注數(shù)據(jù)集（標(biāo)注作業(yè)）、審核標(biāo)注后的數(shù)據(jù)集（審核作業(yè)）與管理標(biāo)注任務(wù)（任務(wù)管理）。其中，不同角色權(quán)限支持的功能及展示的前端界面略有差異，詳見表1。
單擊左側(cè)“體驗(yàn)中心”，進(jìn)入“文本對(duì)話”頁(yè)簽，選擇服務(wù)，在輸入框輸入問(wèn)題，模型將基于問(wèn)題進(jìn)行回答。 圖1 使用預(yù)置服務(wù)進(jìn)行文本對(duì)話 可以嘗試修改參數(shù)并查看模型效果。
調(diào)用文本對(duì)話模型服務(wù) 功能介紹 調(diào)用大語(yǔ)言模型推理服務(wù)，根據(jù)用戶問(wèn)題，獲取大語(yǔ)言模型的回答。 調(diào)用方法 請(qǐng)參見如何調(diào)用API。
在“創(chuàng)建發(fā)布任務(wù)”頁(yè)面，篩選數(shù)據(jù)集模態(tài)，如“文本”類型的數(shù)據(jù)集。 圖2 篩選“文本”類數(shù)據(jù)集 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性和格式配置，如圖3。 由于數(shù)據(jù)工程需要支持對(duì)接盤古大模型或三方大模型，為了使這些數(shù)據(jù)集能夠被這些大模型正常訓(xùn)練，平臺(tái)支持發(fā)布不同格式的數(shù)據(jù)集。
描述文本分類數(shù)據(jù)集–外賣評(píng)論1、數(shù)據(jù)簡(jiǎn)介本數(shù)據(jù)集為外賣評(píng)論數(shù)據(jù)集，包含約4000條正向評(píng)論、8000條負(fù)向評(píng)論。數(shù)據(jù)集文本對(duì)象和標(biāo)注分別存放在如下不同文件中：comment.txtcomment_result.txt2、適用的算法本數(shù)據(jù)集可用于如下AI Gallery中文文本分類
全面的對(duì)話管理 支持自然語(yǔ)言多能力融合，智能對(duì)話中控。 靈活的知識(shí)庫(kù)管理，支持對(duì)知識(shí)的批量操作。 支持嵌入多輪對(duì)話技能，滿足復(fù)雜的任務(wù)型對(duì)話場(chǎng)景。 高效訓(xùn)練部署 基于modelarts的底層算法能力，提供更快的模型訓(xùn)練、部署能力。 支持多算法模型效果驗(yàn)證，驗(yàn)證不同數(shù)據(jù)、參數(shù)、模型對(duì)問(wèn)法效果的影響。
加工文本類數(shù)據(jù)集 加工文本類數(shù)據(jù)集 合成文本類數(shù)據(jù)集 標(biāo)注文本類數(shù)據(jù)集 配比文本類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
文本類數(shù)據(jù)集格式要求 ModelArts Studio大模型開發(fā)平臺(tái)支持創(chuàng)建文本類數(shù)據(jù)集，創(chuàng)建時(shí)可導(dǎo)入多種形式的數(shù)據(jù)，具體格式要求詳見表1。 表1 文本類數(shù)據(jù)集格式要求 文件內(nèi)容 文件格式 文件要求 文檔 txt、mobi、epub、docx、pdf 從OBS導(dǎo)入：?jiǎn)蝹€(gè)文件大小不超過(guò)1GB，文件數(shù)量不限制。
文本標(biāo)注數(shù)據(jù)集文件說(shuō)明 OCTOPUS格式文件基本要求（文本標(biāo)注） 上傳的OCTOPUS格式數(shù)據(jù)集需包含以下文件（以txt格式為例）。文本文件支持的格式包含：txt、yaml、xml、csv。 . ├─ 文件夾1 ├─ text1.txt #文本文件
發(fā)布文本類數(shù)據(jù)集 評(píng)估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集 父主題： 發(fā)布數(shù)據(jù)集
數(shù)據(jù)集成 數(shù)據(jù)集成普通任務(wù) 數(shù)據(jù)集成組合任務(wù)
對(duì)話機(jī)器人SDK簡(jiǎn)介 對(duì)話機(jī)器人概述 對(duì)話機(jī)器人服務(wù)（Conversational Bot Service） 是一款基于人工智能技術(shù)，針對(duì)企業(yè)應(yīng)用場(chǎng)景開發(fā)的云服務(wù)，主要包括智能問(wèn)答機(jī)器人功能。智能問(wèn)答機(jī)器人旨在幫助企業(yè)快速構(gòu)建，發(fā)布和管理基于知識(shí)庫(kù)的智能問(wèn)答系統(tǒng)。 對(duì)話機(jī)器人服務(wù)端SDK是對(duì)服務(wù)提供的REST
對(duì)話 支持通過(guò)對(duì)話的方式對(duì)問(wèn)答AI服務(wù)進(jìn)行提問(wèn)，例如，查數(shù)據(jù)、問(wèn)趨勢(shì)、看排名、模糊查詢及數(shù)據(jù)解讀等。 支持問(wèn)的數(shù)據(jù)集有以下兩種： 系統(tǒng)基于角色開放相應(yīng)的數(shù)據(jù)集，可以基于樣例數(shù)據(jù)開始進(jìn)行數(shù)據(jù)問(wèn)答。 管理員可新建數(shù)據(jù)集，數(shù)據(jù)梳理定義好后，可以開放給其他用戶可針對(duì)這些數(shù)據(jù)集進(jìn)行數(shù)據(jù)問(wèn)答。
