華為云計算 云知識 華為云物聯(lián)網(wǎng)平臺數(shù)據(jù)轉(zhuǎn)發(fā)至Kafka儲存
華為云物聯(lián)網(wǎng)平臺數(shù)據(jù)轉(zhuǎn)發(fā)至Kafka儲存

場景說明

華為云設(shè)備接入IoTDA服務(wù)對于設(shè)備上報的數(shù)據(jù),可以選擇讓平臺將設(shè)備上報數(shù)據(jù)推送給應(yīng)用服務(wù)器,由應(yīng)用服務(wù)器進行保存;還可以選擇讓平臺將設(shè)備上報數(shù)據(jù)轉(zhuǎn)發(fā)給分布式消息服務(wù)(Kafka),由Kafka進行存儲。

本示例為將所有設(shè)備上報的數(shù)據(jù)轉(zhuǎn)發(fā)至Kafka存儲。

購買Kafka實例

  1. 登錄華為云官方網(wǎng)站,訪問分布式消息服務(wù)。
  2. 單擊“進入控制臺”進入分布式消息服務(wù)管理控制臺。
  3. 單擊右上角“購買Kafka實例”,根據(jù)需求選擇實例規(guī)格與配置安全組后,單擊“立即購買”。
    圖1 購買Kafka實例

配置 設(shè)備接入服務(wù)

在設(shè)備接入服務(wù)中創(chuàng)建產(chǎn)品模型、注冊設(shè)備并設(shè)置數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則,實現(xiàn)當設(shè)備上報數(shù)據(jù)時將數(shù)據(jù)轉(zhuǎn)發(fā)至Kafka。

  1. 訪問設(shè)備接入服務(wù),單擊“立即使用”進入設(shè)備接入控制臺。
  2. 在左側(cè)導(dǎo)航欄選擇“規(guī)則>數(shù)據(jù)轉(zhuǎn)發(fā)”,單擊右上角的“創(chuàng)建規(guī)則”。
  3. 參考下表參數(shù)說明,填寫規(guī)則內(nèi)容。以下參數(shù)取值僅為示例,您可參考用戶指南創(chuàng)建自己的規(guī)則,填寫完成后單擊“創(chuàng)建規(guī)則”

    參數(shù)名

    參數(shù)說明

    規(guī)則名稱

    自定義,如iotda-kafka。

    規(guī)則描述

    自定義,如數(shù)據(jù)轉(zhuǎn)發(fā)至Kafka存儲。

    數(shù)據(jù)來源

    選擇“設(shè)備屬性”

    觸發(fā)事件

    自動匹配“設(shè)備屬性上報”。

    資源空間

    選擇“所有資源空間”。

    圖2 創(chuàng)建數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則
  4. 單擊“設(shè)置轉(zhuǎn)發(fā)目標”頁簽,單擊“添加”,設(shè)置轉(zhuǎn)發(fā)目標。

    參數(shù)名

    參數(shù)說明

    轉(zhuǎn)發(fā)目標

    選擇“分布式消息服務(wù)(kafka)”

    區(qū)域

    選擇Kafka服務(wù)的所在區(qū)域。若未授權(quán)訪問此區(qū)域的服務(wù),請根據(jù)界面提示,配置云服務(wù)訪問授權(quán)。

    對接地址

    參考連接已開啟SASL的Kafka專享版實例獲取對接地址。設(shè)備接入基礎(chǔ)版和標準版實例只支持公網(wǎng)接入專享版Kafka,企業(yè)版實例支持私網(wǎng)接入專享版Kafka。

    主題

    自定義主題,參考創(chuàng)建Topic

    數(shù)據(jù)加密 傳輸

    若開啟數(shù)據(jù)加密傳輸,SASL用戶名和密碼,填寫您在購買Kafka實例中輸入的SASL用戶名和密碼。

    SASL用戶名

    填寫您在購買Kafka實例中輸入的SASL用戶名。

    密碼

    填寫您在購買Kafka實例中輸入的密碼。

    圖3 創(chuàng)建數(shù)據(jù)轉(zhuǎn)發(fā)目標
  5. 單擊“啟動規(guī)則”,激活配置好的數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則。
    圖4 激活規(guī)則

驗證操作

  • 您可以使用配置設(shè)備接入服務(wù)時注冊的真實設(shè)備接入平臺,上報任意數(shù)據(jù)。
  • 您也可以使用模擬器模擬設(shè)備上報數(shù)據(jù),操作方法請參考在線開發(fā)MQTT協(xié)議的智慧路燈

期望結(jié)果:

登錄Kafka管理控制臺,單擊Kafka實例名進入實例管理頁面后,在“消息查詢”頁面可以查看到設(shè)備上報的數(shù)據(jù)。

圖5 Kafka服務(wù)查詢數(shù)據(jù)上報信息

您也可以使用Kafka的API(查詢消息)進行文件讀取。