檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
初始化HBase配置 功能介紹 HBase通過login方法來獲取配置項。包括用戶登錄信息、安全認(rèn)證信息等配置項。 代碼樣例 下面代碼片段在com.huawei.bigdata.hbase.examples包的“TestMain”類的init方法中。 private static
通過獲取客戶端的principal和keytab文件在應(yīng)用程序中進(jìn)行認(rèn)證。 在安全集群環(huán)境下，樣例代碼需要使用的認(rèn)證方式如表1所示： 表1 安全認(rèn)證方式 樣例代碼 模式 安全認(rèn)證方式 sparknormal-examples yarn-client 命令認(rèn)證、配置認(rèn)證或代碼認(rèn)證，三種任選一種。 yarn-cluster
連接2網(wǎng)關(guān)IP 選擇VPN網(wǎng)關(guān)的備EIP。 2.2.2.2 連接2對端網(wǎng)關(guān) 選擇連接2對端網(wǎng)關(guān)。 1.1.1.1 連接模式 選擇“靜態(tài)路由模式”。 靜態(tài)路由模式 對端子網(wǎng) 用戶數(shù)據(jù)中心中需要和華為云VPC通信的子網(wǎng)。 對端子網(wǎng)與本端子網(wǎng)可以重疊，不能重合；對端子網(wǎng)不能被本網(wǎng)關(guān)關(guān)聯(lián)的VPC內(nèi)已有子網(wǎng)所包含。
連接2網(wǎng)關(guān)IP 選擇VPN網(wǎng)關(guān)的備EIP。 2.2.2.2 連接2對端網(wǎng)關(guān) 選擇連接2對端網(wǎng)關(guān)。 1.1.1.1 連接模式 選擇“靜態(tài)路由模式”。 靜態(tài)路由模式 對端子網(wǎng) 用戶數(shù)據(jù)中心中需要和華為云VPC通信的子網(wǎng)。 對端子網(wǎng)與本端子網(wǎng)可以重疊，不能重合；對端子網(wǎng)不能被本網(wǎng)關(guān)關(guān)聯(lián)的VPC內(nèi)已有子網(wǎng)所包含。
系統(tǒng)表和系統(tǒng)視圖 表1 M-Compatibility與GaussDB的系統(tǒng)表或系統(tǒng)視圖的差異 系統(tǒng)表或系統(tǒng)視圖 差異列 M-Compatibility與MySQL的差異 information_schema.columns generation_expression 該字段輸出
當(dāng)前存在原GaussDB的系統(tǒng)函數(shù)和MySQL系統(tǒng)函數(shù)同名，但是M-Compatibility兼容模式下尚未支持這些函數(shù)的情況；一部分未支持的同名函數(shù)會提示用戶在M-Compatibility兼容模式下不支持，另外一部分同名函數(shù)仍然保持原GaussDB系統(tǒng)函數(shù)的行為。同名函數(shù)會與MySQL
8, 2147483647]。超過范圍時，嚴(yán)格模式報error，寬松模式報warning并返回0值。 interval expr unit語法中，expr指定的字段數(shù)量大于unit預(yù)期的字段數(shù)量時，在嚴(yán)格模式，報error；在寬松模式，報warning并返回0值。如unit取值為
Flink Kafka樣例程序開發(fā)思路 場景說明 假定某個Flink業(yè)務(wù)每秒就會收到1個消息記錄。 基于某些業(yè)務(wù)要求，開發(fā)的Flink應(yīng)用程序?qū)崿F(xiàn)功能：實時輸出帶有前綴的消息內(nèi)容。 數(shù)據(jù)規(guī)劃 Flink樣例工程的數(shù)據(jù)存儲在Kafka組件中。向Kafka組件發(fā)送數(shù)據(jù)（需要有Kafk
準(zhǔn)備HBase應(yīng)用開發(fā)和運行環(huán)境 準(zhǔn)備開發(fā)環(huán)境 在進(jìn)行二次開發(fā)時，要準(zhǔn)備的開發(fā)和運行環(huán)境如表1所示。 表1 開發(fā)環(huán)境 準(zhǔn)備項 說明 操作系統(tǒng) 開發(fā)環(huán)境：Windows系統(tǒng)，支持Windows 7以上版本。 運行環(huán)境：Windows系統(tǒng)或Linux系統(tǒng)。 如需在本地調(diào)測程序，運行環(huán)境需要和集群業(yè)務(wù)平面網(wǎng)絡(luò)互通。
準(zhǔn)備HDFS應(yīng)用開發(fā)和運行環(huán)境 準(zhǔn)備開發(fā)環(huán)境 在進(jìn)行應(yīng)用開發(fā)時，要準(zhǔn)備的開發(fā)和運行環(huán)境如表1所示。 表1 開發(fā)環(huán)境 準(zhǔn)備項 說明 操作系統(tǒng) 開發(fā)環(huán)境：Windows系統(tǒng)，支持Windows7以上版本。 運行環(huán)境：Windows或Linux系統(tǒng)。 如需在本地調(diào)測程序，運行環(huán)境需要和集群業(yè)務(wù)平面網(wǎng)絡(luò)互通。
0, totalShortCircuitBytesRead : 0, totalZeroCopyBytesRead : 0 進(jìn)入debug模式(可選) make gdb 執(zhí)行結(jié)果如下： [root@10-120-85-2 hdfs-c-example]# make gdb gdb
準(zhǔn)備Hive應(yīng)用開發(fā)和運行環(huán)境 準(zhǔn)備開發(fā)環(huán)境 Hive組件可以使用Java（JDBC和HCatalog）、Python、Python3接口進(jìn)行應(yīng)用開發(fā)，要準(zhǔn)備的開發(fā)和運行環(huán)境分別如下表所示。 表1 JDBC/Hcatalog開發(fā)環(huán)境 準(zhǔn)備項 說明 操作系統(tǒng) 開發(fā)環(huán)境：Windows系統(tǒng)，支持Windows7以上版本。
配置Windows通過EIP訪問集群Kafka 操作場景 該章節(jié)通過指導(dǎo)用戶配置集群綁定EIP，并配置Kafka文件的方法，方便用戶可以在本地對樣例文件進(jìn)行編譯。 操作步驟 為集群的每個節(jié)點申請彈性公網(wǎng)IP，并將本地Windows的hosts文件添加所有節(jié)點的公網(wǎng)IP對應(yīng)主機域名
通過獲取客戶端的principal和keytab文件在應(yīng)用程序中進(jìn)行認(rèn)證。 在安全集群環(huán)境下，樣例代碼需要使用的認(rèn)證方式如表1所示： 表1 安全認(rèn)證方式 樣例代碼 模式 安全認(rèn)證方式 sparknormal-examples yarn-client 命令認(rèn)證、配置認(rèn)證或代碼認(rèn)證，三種任選一種。 yarn-cluster
通過Java API提交Oozie作業(yè)開發(fā)思路 通過典型場景，用戶可以快速學(xué)習(xí)和掌握Oozie的開發(fā)過程，并且對關(guān)鍵的接口函數(shù)有所了解。 本示例演示了如何通過Java API提交MapReduce作業(yè)和查詢作業(yè)狀態(tài)，代碼示例只涉及了MapReduce作業(yè)，其他作業(yè)的API調(diào)用代碼是一樣的，只是job配置“job
Oozie Shell接口介紹 表1 接口參數(shù)說明 命令 參數(shù) 含義 oozie version 無 顯示oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路徑 -oozie <arg> 指定oozie server地址
Spark Structured Streaming狀態(tài)操作樣例程序 Spark Structured Streaming狀態(tài)操作樣例程序開發(fā)思路 Spark Structured Streaming狀態(tài)操作樣例程序（Scala） 父主題： 開發(fā)Spark應(yīng)用
從checkpoint恢復(fù)spark應(yīng)用的限制 問題 Spark應(yīng)用可以從checkpoint恢復(fù)，用于從上次任務(wù)中斷處繼續(xù)往下執(zhí)行，以保證數(shù)據(jù)不丟失。但是，在某些情況下，從checkpoint恢復(fù)應(yīng)用會失敗。 回答 由于checkpoint中包含了spark應(yīng)用的對象序列化信息
Hudi自定義配置項樣例程序 HoodieDeltaStreamer 自定義排序器 父主題： 開發(fā)Spark應(yīng)用
功能介紹 在Flink應(yīng)用中，調(diào)用flink-connector-kafka模塊的接口，生產(chǎn)并消費數(shù)據(jù)。 代碼樣例 用戶在開發(fā)前需要使用對接安全模式的Kafka，則需要引入FusionInsight的kafka-clients-*.jar，該jar包可在Kafka的客戶端目錄下獲取。
