檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
讀取Phoenix表數(shù)據(jù) 功能簡(jiǎn)介 使用Phoenix實(shí)現(xiàn)讀數(shù)據(jù)。 代碼樣例 以下代碼片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”類的testSelect方法中。 /** * Select Data */
準(zhǔn)備本地應(yīng)用開(kāi)發(fā)環(huán)境 Hive組件可以使用Java（JDBC和HCatalog）、Python、Python3接口進(jìn)行應(yīng)用開(kāi)發(fā)。 準(zhǔn)備JDBC/HCatalog開(kāi)發(fā)環(huán)境 表1 JDBC/HCatalog開(kāi)發(fā)環(huán)境 準(zhǔn)備項(xiàng) 說(shuō)明 操作系統(tǒng) 開(kāi)發(fā)環(huán)境：Windows系統(tǒng)，支持Windows7以上版本。
查詢Hive表數(shù)據(jù) 功能介紹 本小節(jié)介紹了如何使用HQL對(duì)數(shù)據(jù)進(jìn)行查詢分析。從本節(jié)中可以掌握如下查詢分析方法： SELECT查詢的常用特性，如JOIN等。 加載數(shù)據(jù)進(jìn)指定分區(qū)。 如何使用Hive自帶函數(shù)。 如何使用自定義函數(shù)進(jìn)行查詢分析，如何創(chuàng)建、定義自定義函數(shù)請(qǐng)見(jiàn)創(chuàng)建Hive用戶自定義函數(shù)。
導(dǎo)入并配置Oozie樣例工程 操作場(chǎng)景 將下載的樣例工程導(dǎo)入到Windows開(kāi)發(fā)環(huán)境IDEA中即可開(kāi)始樣例學(xué)習(xí)。 前提條件 已按照準(zhǔn)備本地應(yīng)用開(kāi)發(fā)環(huán)境章節(jié)準(zhǔn)備好開(kāi)發(fā)用戶，例如developuser，并下載用戶的認(rèn)證憑據(jù)文件到本地。 用戶需要具備Oozie的普通用戶權(quán)限，HDFS訪
配置Oozie作業(yè)執(zhí)行入口 功能描述 流程任務(wù)的執(zhí)行入口，每個(gè)流程任務(wù)有且僅有一個(gè)該節(jié)點(diǎn)。 參數(shù)解釋 Start Action節(jié)點(diǎn)中包含的各參數(shù)及其含義，請(qǐng)參見(jiàn)表1。 表1 參數(shù)含義 參數(shù) 含義 to 后繼action節(jié)點(diǎn)的名稱 樣例代碼 <start to="mr-dataLoad"/>
配置Oozie MapReduce作業(yè) 功能描述 MapReduce任務(wù)節(jié)點(diǎn)，負(fù)責(zé)執(zhí)行一個(gè)map-reduce任務(wù)。 參數(shù)解釋 MapReduce Action節(jié)點(diǎn)中包含的各參數(shù)及其含義，請(qǐng)參見(jiàn)表1。 表1 參數(shù)含義 參數(shù) 含義 name map-reduce action的名稱
Spark常用API介紹 Spark Java API接口介紹 Spark Scala API接口介紹 Spark Python API接口介紹 Spark REST API接口介紹 Spark client CLI介紹 Spark JDBCServer接口介紹 父主題： Spark應(yīng)用開(kāi)發(fā)常見(jiàn)問(wèn)題
導(dǎo)入并配置Storm樣例工程 背景信息 Storm客戶端安裝程序目錄中包含了Storm開(kāi)發(fā)樣例工程，將工程導(dǎo)入到IntelliJ IDEA開(kāi)始樣例學(xué)習(xí)。 前提條件 確保本地PC的時(shí)間與集群的時(shí)間差要小于5分鐘，若無(wú)法確定，請(qǐng)聯(lián)系系統(tǒng)管理員。集群的時(shí)間可通過(guò)FusionInsight
Flink Savepoints CLI介紹 概述 Savepoints在持久化存儲(chǔ)中保存某個(gè)checkpoint，以便用戶可以暫停自己的應(yīng)用進(jìn)行升級(jí)，并將狀態(tài)設(shè)置為savepoint的狀態(tài)，并繼續(xù)運(yùn)行。該機(jī)制利用了Flink的checkpoint機(jī)制創(chuàng)建流應(yīng)用的快照，并將快照的
如果當(dāng)前節(jié)點(diǎn)與MRS集群所在網(wǎng)絡(luò)平面不互通，可以通過(guò)綁定EIP的方式訪問(wèn)MRS集群，具體操作請(qǐng)參考配置Windows通過(guò)EIP訪問(wèn)普通模式集群HBase。 Windows本地hosts文件存放路徑舉例：“C:\WINDOWS\system32\drivers\etc\hosts”。
cgw-hw01 路由模式 選擇目的路由模式 目的路由模式 立即生效 - 是 預(yù)共享密鑰 需要和表 VPN連接參數(shù)說(shuō)明設(shè)置的預(yù)共享密鑰保持一致。 請(qǐng)根據(jù)實(shí)際設(shè)置 高級(jí)配置 - 開(kāi)啟 IKE策略 版本 需要和表 VPN連接參數(shù)說(shuō)明配置的IKE策略保持一致。 版本：ikev2 協(xié)商模式：Main
數(shù)據(jù)類型支持的屬性 表1 數(shù)據(jù)類型支持的屬性 MySQL數(shù)據(jù)庫(kù) GaussDB數(shù)據(jù)庫(kù) NULL 支持 NOT NULL 支持 DEFAULT 支持 ON UPDATE 支持 PRIMARY KEY 支持 AUTO_INCREMENT 支持 CHARACTER SET name 支持
在樹(shù)形模式查詢中，有過(guò)濾條件下的查詢工作項(xiàng)列表接口 功能介紹 在樹(shù)形模式查詢中，有過(guò)濾條件下的查詢工作項(xiàng)列表接口。 調(diào)用方法 請(qǐng)參見(jiàn)如何調(diào)用API。 URI POST /v5/scrum/issue-tree 請(qǐng)求參數(shù) 表1 請(qǐng)求Header參數(shù) 參數(shù) 是否必選 參數(shù)類型 描述 X-Auth-Token
Flink開(kāi)啟Checkpoint樣例程序（Java） 功能介紹 假定用戶需要每隔1秒鐘統(tǒng)計(jì)4秒鐘窗口中數(shù)據(jù)的量，并做到狀態(tài)嚴(yán)格一致性。 代碼樣例 快照數(shù)據(jù) 該數(shù)據(jù)在算子制作快照時(shí)用于保存到目前為止算子記錄的數(shù)據(jù)條數(shù)。 import java.io.Serializale; //
create(Path f, boolean overwrite, String groupId,String locatorId) 用colocation模式，創(chuàng)建一個(gè)FSDataOutputStream，從而允許用戶在f路徑寫(xiě)文件。 f為HDFS路徑。 overwrite表示如果文件已存在是否允許覆蓋。
以下命令均在$SPARK_HOME目錄執(zhí)行，Java接口對(duì)應(yīng)的類名前有Java字樣，請(qǐng)參考具體樣例代碼進(jìn)行書(shū)寫(xiě)。 yarn-client模式： java/scala版本（類名等請(qǐng)與實(shí)際代碼保持一致，此處僅為示例） bin/spark-submit --master yarn --deploy-mode
Flink DataStream樣例程序（Scala） 功能介紹 實(shí)時(shí)統(tǒng)計(jì)連續(xù)網(wǎng)購(gòu)時(shí)間超過(guò)2個(gè)小時(shí)的女性網(wǎng)民信息，將統(tǒng)計(jì)結(jié)果直接打印出來(lái)。 DataStream FlinkStreamScalaExample代碼樣例 下面代碼片段僅為演示，具體代碼參見(jiàn)com.huawei.bigdata
使用Scan API讀取HBase表數(shù)據(jù) 功能簡(jiǎn)介 要從表中讀取數(shù)據(jù)，首先需要實(shí)例化該表對(duì)應(yīng)的Table實(shí)例，然后創(chuàng)建一個(gè)Scan對(duì)象，并針對(duì)查詢條件設(shè)置Scan對(duì)象的參數(shù)值，為了提高查詢效率，最好指定StartRow和StopRow。查詢結(jié)果的多行數(shù)據(jù)保存在ResultScan
info("Security prepare success."); } // 是否使用異步發(fā)送模式 final boolean asyncEnable = false; Producer producerThread
Oozie Java接口介紹 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介紹 方法 說(shuō)明 public String run(Properties conf) 運(yùn)行job public void start(String
