場景描述

某電商平臺希望提升商品搜索的準確率，通過深度學(xué)習(xí)模型將商品圖片轉(zhuǎn)換為語義向量，并結(jié)合價格、名稱等屬性存儲至Elasticsearch集群。用戶可通過以下方式實現(xiàn)混合搜索：

• 純向量檢索：查找與目標圖片最相似的商品。
• 過濾檢索：在指 定價 格區(qū)間內(nèi)查找相似商品。
• 組合查詢：結(jié)合關(guān)鍵詞與向量相似度進行搜索。

操作流程

以下是使用Elasticsearch集群完成數(shù)據(jù)搜索的操作步驟。

開始遷移數(shù)據(jù)前，請務(wù)必按準備工作指導(dǎo)完成必要操作。

1. 步驟一：創(chuàng)建Elasticsearch集群：創(chuàng)建一個非安全模式的Elasticsearch集群用于向量檢索。
2. 步驟二：登錄Kibana：登錄Kibana，訪問集群。
3. 步驟三：創(chuàng)建向量索引：創(chuàng)建向量索引，用于存儲向量數(shù)據(jù)。
4. 步驟四：導(dǎo)入向量數(shù)據(jù)：使用開源Elasticsearch API導(dǎo)入數(shù)據(jù)。
5. 步驟五：向量檢索：在Elasticsearch集群中對數(shù)據(jù)進行純向量搜索和組合查詢。
6. 步驟六：刪除索引：當不再使用對應(yīng)的索引數(shù)據(jù)時，可以刪除對應(yīng)索引節(jié)約資源。

準備工作

已注冊華為賬號并開通華為云，進行了實名認證，且在使用 云搜索服務(wù) 前檢查賬號狀態(tài)，賬號不能處于欠費或凍結(jié)狀態(tài)。

步驟一：創(chuàng)建Elasticsearch集群

創(chuàng)建一個非安全模式的Elasticsearch集群用于向量檢索。

1. 登錄 云搜索 服務(wù)管理控制臺。
2. 在左側(cè)導(dǎo)航欄選擇“集群管理 > Elasticsearch”。
3. 在集群列表右上角，單擊“創(chuàng)建集群”，默認進入新版創(chuàng)建頁面。
   圖1 新版創(chuàng)建頁面
   
4. 集群配置，選擇集群類型和版本。

   表2 集群配置

   參數(shù)	示例	說明
   集群類型	Elasticsearch	選擇“Elasticsearch”。
   集群版本	7.10.2	選擇所需的集群版本，支持的版本以界面可選項為準。 Elasticsearch集群僅7.6.2和7.10.2版本自帶 CS S向量搜索引擎，如果要使用CSS向量數(shù)據(jù)庫功能，則必須選擇這兩個版本。

5. 基礎(chǔ)配置，選擇當前區(qū)域、可用區(qū)和計費模式。

   表3 基礎(chǔ)配置

   參數(shù)	示例	說明
   當前區(qū)域	華北-北京四	選擇集群的所在區(qū)域。區(qū)域指集群的物理數(shù)據(jù)中心所在的位置，不同區(qū)域的云服務(wù)產(chǎn)品之間內(nèi)網(wǎng)互不相通。建議就近選擇靠近您業(yè)務(wù)的區(qū)域，可減少網(wǎng)絡(luò)時延，提高訪問速度。
   可用區(qū)	可用區(qū)1	選擇集群工作區(qū)域下關(guān)聯(lián)的可用區(qū)?？捎脜^(qū)指在同一區(qū)域下，電力、網(wǎng)絡(luò)隔離的物理區(qū)域，可用區(qū)之間內(nèi)網(wǎng)互通，不同可用區(qū)之間物理隔離。 最多支持配置3個可用區(qū)。
   計費模式	按需計費	選擇集群的計費模式，集群支持包年/包月和按需計費兩種模式。 包年/包月：預(yù)付費模式，按照訂單的購買周期結(jié)算。 按需計費：后付費模式，按照集群實際使用時長計費，計費周期為一小時，不足一小時按一小時計費。

6. 配置數(shù)據(jù)節(jié)點。
   數(shù)據(jù)節(jié)點用于存儲集群數(shù)據(jù)，當集群未啟用Master節(jié)點和Client節(jié)點時，數(shù)據(jù)節(jié)點將同時承擔(dān)集群管理、存儲數(shù)據(jù)、提供接入集群和分析數(shù)據(jù)的職責(zé)。此時，為保證集群中數(shù)據(jù)的穩(wěn)定性，建議設(shè)置節(jié)點數(shù)量大于等于3個。

   圖2 配置數(shù)據(jù)節(jié)點
   

   表4 數(shù)據(jù)節(jié)點配置

   參數(shù)	示例	說明
   CPU架構(gòu)	X86計算	選擇數(shù)據(jù)節(jié)點的CPU架構(gòu)。支持“X86計算”和“鯤鵬計算”，具體支持的類型由實際區(qū)域環(huán)境決定。
   節(jié)點規(guī)格	ess.spec-4u8g	選擇數(shù)據(jù)節(jié)點的規(guī)格。單擊“選擇節(jié)點規(guī)格”，在彈框中選擇合適的規(guī)格。 規(guī)格列表的“vCPUs | 內(nèi)存”呈現(xiàn)了規(guī)格的CPU核數(shù)和內(nèi)存，“建議存儲范圍”呈現(xiàn)了該規(guī)格支持的存儲容量。 不同區(qū)域支持的節(jié)點規(guī)格不同，請以實際環(huán)境為準。
   節(jié)點存儲類型和容量	高I/O 100GB	選擇數(shù)據(jù)節(jié)點的存儲類型和容量。 當“節(jié)點規(guī)格”選擇的是 云硬盤 時，需要選擇云硬盤類型，并根據(jù)業(yè)務(wù)需要配置存儲容量。 不同區(qū)域支持的云硬盤類型不同，請以實際環(huán)境為準。 節(jié)點存儲容量的取值范圍由所選的“節(jié)點規(guī)格”決定，且必須是20的倍數(shù)。 節(jié)點存儲容量不支持就地縮容，請評估好業(yè)務(wù)量，合理選擇。 當“節(jié)點規(guī)格”選擇的是本地盤時，無需配置節(jié)點存儲類型，節(jié)點存儲容量是固定值，由選擇的本地盤規(guī)格決定。
   節(jié)點數(shù)量	1	設(shè)置集群中的數(shù)據(jù)節(jié)點個數(shù)。 當集群配置了Master節(jié)點，則數(shù)據(jù)節(jié)點的節(jié)點數(shù)量支持1~200。 當集群未配置Master節(jié)點，則數(shù)據(jù)節(jié)點的節(jié)點數(shù)量支持1~32。 建議數(shù)據(jù)節(jié)點的節(jié)點數(shù)量大于或等于3，以提升集群可用性。

7. Master節(jié)點、Client節(jié)點和冷數(shù)據(jù)節(jié)點均保持默認值，不啟用即可。
   • Master節(jié)點負責(zé)管理集群中所有節(jié)點任務(wù)，如集群元數(shù)據(jù)、索引及分片分配，保障大規(guī)模集群穩(wěn)定運行，適用于需高可用性與集中管控的場景。
   • Client節(jié)點負責(zé)接收并協(xié)調(diào)外部請求（如搜索和寫入），優(yōu)化高負載查詢和集群擴展性，適用于處理復(fù)雜查詢和大規(guī)模分片場景。
   • 冷數(shù)據(jù)節(jié)點用于存儲查詢時延要求不高且數(shù)據(jù)量大的歷史數(shù)據(jù)，適用于大規(guī)模數(shù)據(jù)集存儲，有利于優(yōu)化存儲成本和查詢性能。
8. 網(wǎng)絡(luò)配置，設(shè)置集群的 VPC 、IP地址和安全組。
   圖3 網(wǎng)絡(luò)配置
   

   表5 網(wǎng)絡(luò)配置

   參數(shù)	示例	說明
   虛擬私有云	vpc-default	指定集群使用的 虛擬專用網(wǎng)絡(luò) ，可以對不同業(yè)務(wù)進行網(wǎng)絡(luò)隔離
   子網(wǎng)	subnet-default	指定集群使用的子網(wǎng)，通過子網(wǎng)提供與其他網(wǎng)絡(luò)隔離的、可以獨享的網(wǎng)絡(luò)資源，以提高網(wǎng)絡(luò)安全。 選擇當前虛擬 私有云 下的子網(wǎng)。
   IPv4地址	自動分配IPv4地址	分配集群節(jié)點的IPv4地址。
   安全組	default	指定集群使用的安全組，安全組起著虛擬防火墻的作用，為集群提供安全的網(wǎng)絡(luò)訪問控制策略。 所選安全組的入方向規(guī)則中，“協(xié)議端口”必須為“全部”或包含9200的端口范圍，否則外部業(yè)務(wù)訪問可能會異常。

9. 安全模式配置。關(guān)閉安全模式，本集群僅做入門指導(dǎo)使用，無需啟用安全模式。
   • 安全模式的集群會對集群進行通訊加密和安全認證。
   • 非安全模式的集群無需安全認證即可訪問，并且采用HTTP明文傳輸數(shù)據(jù)。建議確認訪問環(huán)境的安全性，勿將訪問接口暴露到公網(wǎng)環(huán)境上。
10. 集群管理配置，設(shè)置集群名稱、企業(yè)項目等信息。

    表6 集群管理

    參數(shù)	示例	說明
    集群名稱	Sample-ESCluster	自定義集群名稱。
    添加描述	不添加	為集群添加描述，方便用戶識別。
    企業(yè)項目	default	給集群綁定一個企業(yè)項目。 企業(yè)項目是一種云資源管理方式，企業(yè)項目管理服務(wù)提供統(tǒng)一的云資源按項目管理，以及項目內(nèi)的資源管理、成員管理，默認項目為“default”。 如果開通了“企業(yè)項目”，請從下拉列表中選擇所在的企業(yè)項目。
    標簽	不添加	為集群添加標簽，方便用戶識別和管理擁有的集群資源。 每個集群最多可以設(shè)置20個標簽。

11. 更多配置，單擊展開更多集群高級配置，根據(jù)業(yè)務(wù)需要設(shè)置自動創(chuàng)建集群快照、終端節(jié)點服務(wù)等功能。本集群僅做入門指導(dǎo)使用，無需更多配置，保持默認不啟用即可。
12. 單擊“立即創(chuàng)建”，開始創(chuàng)建集群。
13. 返回集群列表，查看新建的集群。當集群創(chuàng)建成功后，“集群狀態(tài)”會變?yōu)?span id="55bztfr" class="parmname" id="ZH-CN_TOPIC_0000002328957437__zh-cn_topic_0000001995777894_parmname163135175110">“可用”。
    圖4 查看集群狀態(tài)
    

步驟二：登錄Kibana

集群創(chuàng)建成功后，通過Kibana訪問Elasticsearch集群。

1. 在Elasticsearch集群列表，選擇已創(chuàng)建的“Sample-ESCluster”集群，單擊操作列中的“Kibana”進入Kibana控制臺。
2. 在Kibana的左側(cè)導(dǎo)航中選擇“Dev Tools”，進入Console界面。
   控制臺左側(cè)是命令輸入框，其右側(cè)的三角形圖標為執(zhí)行按鈕，右側(cè)區(qū)域則顯示執(zhí)行結(jié)果。

   圖5 Console界面
   

步驟三：創(chuàng)建向量索引

在Elasticsearch集群中創(chuàng)建向量索引，用于存儲向量數(shù)據(jù)。

PUT /my_store 
{
  "settings": {       		// 索引級別的配置
    "index": {
      "vector": true  		// 啟用向量檢索功能
    }
  },
  "mappings": {       		// 定義文檔字段結(jié)構(gòu)和類型
    "properties": {
      "productName": {    	// 商品名稱字段（文本類型）
        "type": "text",   	// 標準文本類型，支持全文搜索
        "analyzer": "ik_smart"  // 使用ik_smart中文分詞器進行智能分詞
      },
      "image_vector": {   	// 圖像特征向量字段
        "type": "vector", 	// 聲明為向量類型
        "dimension": 2,   	// 向量維度（示例簡化使用2維，實際應(yīng)匹配模型輸出維度，常用512/768等高維向量）
        "indexing": true, 	// 啟用向量索引以支持相似度搜索
        "algorithm": "GRAPH",  	// 使用圖算法構(gòu)建近似最近鄰(ANN)索引
        "metric": "euclidean"  	// 使用歐氏距離作為相似度度量標準
      },
      "price": {                // 商品價格字段
        "type": "float"         // 浮點數(shù)類型，支持范圍查詢和數(shù)值計算
      }
    }
  }
}

返回結(jié)果如下所示：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "my_store"
}

步驟四：導(dǎo)入向量數(shù)據(jù)

Elasticsearch集群支持通過多種方式導(dǎo)入數(shù)據(jù)，本示例選擇在Kibana使用開源Elasticsearch API導(dǎo)入數(shù)據(jù)。

POST /my_store/_bulk
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 1.0],"price":100.0}
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 2.0],"price":200.0}
{"index":{}}
{"productName":"2017秋裝新款文藝襯衫女裝","image_vector":[1.0, 3.0],"price":300.0}
{"index":{}}
{"productName":"2018春裝新款牛仔褲女裝","image_vector":[10.0, 20.0],"price":100.0}
{"index":{}}
{"productName":"2018春裝新款牛仔褲女裝","image_vector":[10.0, 30.0],"price":200.0}
{"index":{}}
{"productName":"2017春裝新款休閑褲女裝","image_vector":[100.0, 200.0],"price":100.0}
{"index":{}}
{"productName":"2017春裝新款休閑褲女裝","image_vector":[100.0, 300.0],"price":200.0}

當返回結(jié)果信息中“errors”字段的值為“false”時，表示導(dǎo)入數(shù)據(jù)成功。

步驟五：向量檢索

在Elasticsearch集群中對數(shù)據(jù)進行純向量檢索和組合查詢。

• 純向量檢索

  假設(shè)用戶提供了一張商品圖片，想要查找相似商品。首先，集群通過向量化模型獲得查詢圖片的特征向量，然后使用向量查詢語法進行相似度查詢。

  在Kibana中執(zhí)行如下搜索命令：

  GET /my_store/_search
  {
    "size": 3,  			// 要求返回前3個最相關(guān)的結(jié)果
    "_source": { 
      "excludes": "image_vector"  // 排除返回結(jié)果中的image_vector字段
    }, 
    "query": {
      "vector": {  		// 啟用向量搜索功能
        "image_vector": {  	// 指定目標向量字段名稱（需與索引映射一致）
          "vector": [1.0, 2.0],  	// 待查詢的特征向量（此處為簡化示例，實際維度應(yīng)與模型輸出一致）
          "topk": 3  	        // 返回最相似的3個候選結(jié)果
        }
      }
    }
  }

  返回結(jié)果如下所示，Elasticsearch根據(jù)查詢向量與存儲的向量數(shù)據(jù)之間的相似度得分進行結(jié)果的排序。

  {
    "took" : 1,  		// 查詢耗時1毫秒
    "timed_out" : false,  // 未發(fā)生查詢超時
    "_shards" : {  	// 分片執(zhí)行情況
      "total" : 1,  	// 總分片數(shù)
      "successful" : 1,  	// 成功執(zhí)行分片數(shù)
      "skipped" : 0,  	// 跳過分片數(shù)
      "failed" : 0  	// 失敗分片數(shù)
    },
    "hits" : {
      "total" : {  	// 匹配文檔總數(shù)
        "value" : 3,  	// 精確匹配3條（eq表示精確計數(shù)）
        "relation" : "eq"
      },
      "max_score" : 1.0,  // 最高相似度得分（取決于向量空間的距離算法）
      "hits" : [  	// 命中文檔列表（按相似度得分降序排列）
        {
          "_index" : "my_store",          // 文檔所屬索引
          "_type" : "_doc",  		// 文檔類型，固定取值
          "_id" : "JPL5r5YBWkpNKdSUkRc9",  // 文檔唯一標識符
          "_score" : 1.0,  	// 當前文檔與查詢向量的相似度得分
          "_source" : {  			// 存儲的原始文檔數(shù)據(jù)（已過濾image_vector）
            "price" : 200.0,
            "productName" : "2017秋裝新款文藝襯衫女裝"
          }
        },
        // ...（其他相似結(jié)果結(jié)構(gòu)相同，分數(shù)遞減）
      ]
    }
  }

• 混合搜索

  假設(shè)用戶提供了一張商品圖片，想要查找相似商品，并且限定了價格范圍。可以通過混合查詢的語法實現(xiàn)向量檢索+范圍過濾。

  在Kibana中執(zhí)行如下搜索命令：

  GET /my_store/_search
  {
    "size": 3,                     // 要求返回前3個最相關(guān)的結(jié)果
    "_source": { 
      "excludes": "image_vector"   // 排除返回結(jié)果中的image_vector字段
    }, 
    "query": {
      "vector": {                  // 啟用向量搜索功能
        "image_vector": {          // 指定目標向量字段名稱（需與索引映射一致）
          "vector": [1.0, 2.0],    // 待查詢的特征向量（此處為簡化示例，實際維度應(yīng)與模型輸出一致）
          "topk": 3,               // 返回最相似的3個候選結(jié)果
          "filter": {              // 混合過濾條件（先執(zhí)行過濾再計算相似度）
            "range": {             // 價格范圍過濾
              "price": {
                "lte": 300         // 僅保留價格小于或等于300元的商品
              }
            }
          }
        }
      }
    }
  }

  查詢流程：在索引中篩選出所有價格小于或等于300元的商品，計算過濾后商品的image_vector字段與待查詢向量的相似度，按相似度分數(shù)降序排列（score字段），取top3相似度最高的商品，移除image_vector字段返回，保留商品價格和名稱等核心信息。

  返回結(jié)果如下所示：

  {
    "took" : 1,			// 查詢耗時1毫秒
    "timed_out" : false,	// 查詢耗時1毫秒
    "_shards" : {			// 分片執(zhí)行情況
      "total" : 1,        // 總分片數(shù)
      "successful" : 1,   // 成功執(zhí)行分片數(shù)
      "skipped" : 0,      // 跳過分片數(shù)
      "failed" : 0        // 失敗分片數(shù)
    },
    "hits" : {
      "total" : {			// 匹配文檔總數(shù)
        "value" : 3,      // 精確匹配3條（eq表示精確計數(shù)）
        "relation" : "eq"
      },
      "max_score" : 1.0,  // 最高相似度得分（取決于向量空間的距離算法）
      "hits" : [    		// 命中文檔列表（按相似度降序排列）
        {
          "_index" : "my_store",  // 文檔所屬索引
          "_type" : "_doc",       // 文檔類型
          "_id" : "JPL5r5YBWkpNKdSUkRc9", // 文檔唯一ID
          "_score" : 1.0,         // 當前文檔與查詢向量的相似度得分（歸一化后）
          "_source" : {           // 存儲的原始文檔數(shù)據(jù)（已過濾image_vector）
            "price" : 200.0,
            "productName" : "2017秋裝新款文藝襯衫女裝"
          }
        },
        // ...（其他相似結(jié)果結(jié)構(gòu)相同，分數(shù)遞減）
      ]
    }
  }

步驟六：刪除索引

當不再使用對應(yīng)的索引數(shù)據(jù)時，可以在Kibana中執(zhí)行如下命令刪除對應(yīng)索引，避免造成資源浪費。

DELETE /my_store

返回結(jié)果如下所示。

{
  "acknowledged" : true
}

后續(xù)步驟

已完成數(shù)據(jù)搜索業(yè)務(wù)，無需繼續(xù)使用集群時，可刪除集群釋放資源。

由于集群刪除后，數(shù)據(jù)無法恢復(fù)，請謹慎操作。

1. 登錄云搜索服務(wù)管理控制臺。
2. 在左側(cè)導(dǎo)航欄選擇“集群管理 > Elasticsearch”。
3. 在集群列表，選擇“Sample-ESCluster”集群，在操作列單擊“更多”>“刪除”。
4. 在彈出的確認對話框中，輸入“DELETE”，單擊“確定”完成操作。

相關(guān)文檔

• 詳細了解CSS向量數(shù)據(jù)庫的使用，請參見向量檢索特性介紹。
• 了解CSS向量數(shù)據(jù)庫的性能比較，請參見Elasticsearch向量檢索的性能測試和比較。
• 了解CSS向量數(shù)據(jù)庫和搜索大模型相結(jié)合實現(xiàn)AI搜索功能，請參見Elasticsearch AI搜索介紹。