檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
空值轉(zhuǎn)換 概述 “空值轉(zhuǎn)換”算子，用于將空值替換成指定值。 輸入與輸出 輸入：空值字段 輸出：原字段，但值已經(jīng)被替換 參數(shù)說(shuō)明 表1 算子參數(shù)說(shuō)明 參數(shù) 含義 類型 是否必填 默認(rèn)值 輸入字段名 配置可能出現(xiàn)空值的字段名，需填寫已生成的字段名。 string 是 無(wú) 替換值 配置替換空值的指定值
隨機(jī)值轉(zhuǎn)換 概述 “隨機(jī)值轉(zhuǎn)換”算子，用于配置新增值為隨機(jī)數(shù)的字段。 輸入與輸出 輸入：無(wú) 輸出：隨機(jī)值字段 參數(shù)說(shuō)明 表1 算子參數(shù)說(shuō)明 參數(shù) 含義 類型 是否必填 默認(rèn)值 輸出字段名 配置生成隨機(jī)值的字段名。 string 是 無(wú) 長(zhǎng)度 配置字段長(zhǎng)度。 map 是 無(wú) 類型 配置字段的類型
取模轉(zhuǎn)換 概述 “取模轉(zhuǎn)換”算子，對(duì)整數(shù)字段取模，生成新字段。 輸入與輸出 輸入：整數(shù)字段 輸出：模數(shù)字段 參數(shù)說(shuō)明 表1 算子參數(shù)說(shuō)明 參數(shù) 含義 類型 是否必填 默認(rèn)值 取模字段名 配置取模運(yùn)算信息： 輸入字段名：配置輸入字段名，需填寫上一個(gè)轉(zhuǎn)換步驟生成的字段名。 輸出字段名：
優(yōu)化Flink內(nèi)存GC參數(shù) 操作場(chǎng)景 Flink是依賴內(nèi)存計(jì)算，計(jì)算過(guò)程中內(nèi)存不夠?qū)link的執(zhí)行效率影響很大?？梢酝ㄟ^(guò)監(jiān)控GC（Garbage Collection），評(píng)估內(nèi)存使用及剩余情況來(lái)判斷內(nèi)存是否變成性能瓶頸，并根據(jù)情況優(yōu)化。 監(jiān)控節(jié)點(diǎn)進(jìn)程的YARN的Container
創(chuàng)建表關(guān)聯(lián)OpenTSDB 功能描述 MRS的Spark實(shí)現(xiàn)了訪問(wèn)OpenTSDB的Datasource，能夠在Spark中創(chuàng)建關(guān)聯(lián)表，查詢和插入OpenTSDB數(shù)據(jù)。 使用CREATE TABLE命令創(chuàng)建表并關(guān)聯(lián)OpenTSDB上已有的metric。 若OpenTSDB上不存在metric
通過(guò)Windows系統(tǒng)提交MapReduce任務(wù) 配置場(chǎng)景 用戶將MapReduce任務(wù)從Windows上提交到Linux上運(yùn)行，則“mapreduce.app-submission.cross-platform”參數(shù)值需配置為“true”。若集群無(wú)此參數(shù)，或參數(shù)值為“false”
配置MapReduce shuffle address 配置場(chǎng)景 當(dāng)MapReduce shuffle服務(wù)啟動(dòng)時(shí)，它嘗試基于localhost綁定IP。如果需要MapReduce shuffle服務(wù)連接特定IP，可以參考該章節(jié)進(jìn)行配置。 配置描述 當(dāng)需要MapReduce shuffle
調(diào)整Yarn任務(wù)搶占機(jī)制 操作場(chǎng)景 搶占任務(wù)可精簡(jiǎn)隊(duì)列中的job運(yùn)行并提高資源利用率，由ResourceManager的capacity scheduler實(shí)現(xiàn)，其簡(jiǎn)易流程如下： 假設(shè)存在兩個(gè)隊(duì)列A和B。其中隊(duì)列A的capacity為25%，隊(duì)列B的capacity為75%。 初始狀態(tài)下
Hive ORC數(shù)據(jù)存儲(chǔ)優(yōu)化 操作場(chǎng)景 “ORC”是一種高效的列存儲(chǔ)格式，在壓縮比和讀取效率上優(yōu)于其他文件格式。 建議使用“ORC”作為Hive表默認(rèn)的存儲(chǔ)格式。 前提條件 已登錄Hive客戶端，具體操作請(qǐng)參見Hive客戶端使用實(shí)踐。 操作步驟 推薦：使用“SNAPPY”壓縮，適用于壓縮比和讀取效率要求均衡場(chǎng)景
Hue常用配置參數(shù) 參數(shù)入口 參數(shù)入口，請(qǐng)參考修改集群服務(wù)配置參數(shù)。 參數(shù)說(shuō)明 表1 Hue常用參數(shù) 配置參數(shù) 說(shuō)明 缺省值 范圍 HANDLER_ACCESSLOG_LEVEL 表示Hue的訪問(wèn)日志級(jí)別。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL
參考如何登錄經(jīng)典應(yīng)用設(shè)計(jì)器中操作，登錄經(jīng)典版應(yīng)用設(shè)計(jì)器。 在左側(cè)導(dǎo)航欄中，單擊，選擇“設(shè)置”，進(jìn)入應(yīng)用編譯設(shè)置頁(yè)面，設(shè)置只編譯該腳本。 圖1 設(shè)置編譯組件 圖2 勾選腳本 勾選完成后，單擊“保存”。 在開發(fā)頁(yè)面左側(cè)列表中，單擊，選擇“編譯”，進(jìn)行編譯。
圖18 控制臺(tái)入口 圖19 開發(fā)者控制臺(tái) 父主題： 經(jīng)典版開發(fā)指導(dǎo)（受限使用）
參考登錄經(jīng)典應(yīng)用設(shè)計(jì)器中操作，登錄經(jīng)典版應(yīng)用設(shè)計(jì)器。 在應(yīng)用設(shè)計(jì)器下方，選擇“頁(yè)面設(shè)置”。 獲取鎖后，在“屬性”頁(yè)簽，去勾選“合并并壓縮資源”。 若勾選“合并并壓縮資源”，會(huì)對(duì)所有高級(jí)頁(yè)面涉及的css和js文件進(jìn)行合并及壓縮，使用單頁(yè)面性能檢查功能時(shí)，不要勾選該選項(xiàng)。
將私有鏡像共享給其他賬號(hào) 操作場(chǎng)景 鏡像上傳后，您可以共享私有鏡像給其他賬號(hào)，并授予下載該鏡像的權(quán)限。 被共享的用戶需要登錄容器鏡像服務(wù)控制臺(tái)，在“我的鏡像 > 他人共享”頁(yè)面查看共享的鏡像。被共享的用戶單擊鏡像名稱，可進(jìn)入鏡像詳情頁(yè)面查看鏡像版本、下載指令等。 約束與限制 鏡像共享功能只支持私有鏡像進(jìn)行共享
調(diào)測(cè)HBase應(yīng)用 在本地Windows環(huán)境中調(diào)測(cè)HBase應(yīng)用 在Linux環(huán)境中調(diào)測(cè)HBase應(yīng)用 父主題： HBase開發(fā)指南（安全模式）
調(diào)測(cè)HDFS應(yīng)用 在本地Windows環(huán)境中調(diào)測(cè)HDFS程序 在Linux環(huán)境中調(diào)測(cè)HDFS應(yīng)用 父主題： HDFS開發(fā)指南（安全模式）
調(diào)測(cè)Hive應(yīng)用 在本地Windows環(huán)境中調(diào)測(cè)Hive JDBC樣例程序 在Linux環(huán)境中調(diào)測(cè)Hive JDBC樣例程序 調(diào)測(cè)Hive HCatalog樣例程序 調(diào)測(cè)Hive Python樣例程序 調(diào)測(cè)Hive Python3樣例程序 調(diào)測(cè)Hive SpringBoot樣例程序
Kafka應(yīng)用開發(fā)簡(jiǎn)介 Kafka簡(jiǎn)介 Kafka是一個(gè)分布式的消息發(fā)布-訂閱系統(tǒng)。它采用獨(dú)特的設(shè)計(jì)提供了類似JMS的特性，主要用于處理活躍的流式數(shù)據(jù)。 Kafka有很多適用的場(chǎng)景：消息隊(duì)列、行為跟蹤、運(yùn)維數(shù)據(jù)監(jiān)控、日志收集、流處理、事件溯源、持久化日志等。 Kafka有如下幾個(gè)特點(diǎn)
為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問(wèn)服務(wù)的可控制，在開源社區(qū)的Hive-3.1.0版本基礎(chǔ)上，Hive新增如下特性： 數(shù)據(jù)文件加密機(jī)制。
操作步驟 參考如何進(jìn)入經(jīng)典開發(fā)環(huán)境中操作，進(jìn)入經(jīng)典版開發(fā)環(huán)境。 在“首頁(yè) > 項(xiàng)目 > 我的應(yīng)用”中，單擊對(duì)應(yīng)的應(yīng)用，進(jìn)入應(yīng)用開發(fā)頁(yè)面。 在頁(yè)面左下角，選擇“頁(yè)面設(shè)置”。 在“視圖”頁(yè)簽中，設(shè)置視圖。
