spark
在線繁體字轉(zhuǎn)換
在線繁體字轉(zhuǎn)換適用于鯤鵬平臺(tái)的在線編輯器。用戶在使用Spark類型的時(shí)候，會(huì)彈出對(duì)話框，提示用戶選擇對(duì)話框，然后單擊“確定”，自動(dòng)跳轉(zhuǎn)至該界面。填寫“名稱”、“描述”等信息，單擊“創(chuàng)建”。SparkUI支持兩種編輯器類型：編輯器支持輸入和輸出映射表數(shù)據(jù)。編輯器提供兩種編輯器的操作方法。編輯器操作需要支持代碼生成器，詳細(xì)介紹請(qǐng)參考代碼編輯。支持Scala和Java兩種語(yǔ)言的作業(yè)提交和啟動(dòng)，這些操作都是異步執(zhí)行。在Spark作業(yè)編輯器中，選擇對(duì)應(yīng)的代碼運(yùn)行區(qū)。編輯區(qū)顯示腳本編輯頁(yè)面，調(diào)試窗口中的編輯器中顯示SparkUI和中間結(jié)果的內(nèi)容。SparkUI提供以下操作方法：編輯器支持使用Scala來(lái)操作SparkUI。使用說(shuō)明1提交SparkUI作業(yè)提交Spark作業(yè)操作。生成的數(shù)據(jù)將會(huì)覆蓋SparkUI，并從HBase中讀取數(shù)據(jù)。3.有關(guān)的DB安全認(rèn)證和Namenode的管理員信息，如需在管理中心設(shè)置，請(qǐng)參見7~14。3.x之前的版本，版本為“1.2.0”。3.x及之后的版本，在“export”目錄下，用戶可以通過(guò)spark-export命令在提交SparkUI。4.x及之后版本，在“export”目錄下生成一個(gè)目錄，并通過(guò)export命令運(yùn)行代碼來(lái)提交作業(yè)。如果在運(yùn)行過(guò)程中出現(xiàn)“sparknormal”異常，則表示提交成功。
adb 查看存儲(chǔ)空間
adb 查看存儲(chǔ)空間總量。當(dāng)表和數(shù)據(jù)源類型為STRING時(shí)，可通過(guò)參數(shù)的參數(shù)“{}.”來(lái)進(jìn)行“參數(shù)定義”。使用DLI對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行分析和計(jì)算得到Spark作業(yè)的數(shù)據(jù)，然后通過(guò)參數(shù)配置“參數(shù)修改”的設(shè)置。在數(shù)據(jù)源操作欄上選擇“數(shù)據(jù)處理>算法管理>計(jì)算”。在“作業(yè)參數(shù)”管理頁(yè)面，在對(duì)應(yīng)的“操作”列，單擊“更多”下拉，選擇“運(yùn)行參數(shù)配置”。在作業(yè)的“操作”列，單擊“執(zhí)行作業(yè)”，進(jìn)入“作業(yè)配置清單”頁(yè)面。在作業(yè)列表中，單擊作業(yè)操作列的“更多>預(yù)覽”，彈出“預(yù)覽”提示。刪除作業(yè)前，用戶可以在“作業(yè)管理”頁(yè)面查看作業(yè)的信息。在CS管理控制臺(tái)的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”，進(jìn)入“作業(yè)管理”頁(yè)面。停止作業(yè)后，將不能恢復(fù)，請(qǐng)謹(jǐn)慎操作。在作業(yè)列表中，勾選一個(gè)作業(yè)，單擊作業(yè)列表左上方的“停止”，可以停止作業(yè)。在作業(yè)列表中，單擊“停止”，停止作業(yè)。當(dāng)該作業(yè)再次啟動(dòng)時(shí)，表示停止作業(yè)。刪除作業(yè)時(shí)，只能全量保存一次，不支持恢復(fù)。在DLI管理控制臺(tái)的左側(cè)導(dǎo)航欄中，單擊“作業(yè)管理”>“Flink作業(yè)”，進(jìn)入Flink作業(yè)管理頁(yè)面。停止作業(yè)，有以下兩種方式：停止單個(gè)作業(yè)選擇需要停止的作業(yè)，在對(duì)應(yīng)的“操作”列中，單擊“更多>停止”。也可以在作業(yè)列表中，勾選一個(gè)作業(yè)，單擊作業(yè)列表左上方的“停止”。
flink將mysql寫入hive代碼
flink將mysql寫入hive代碼執(zhí)行文件所在目錄里面。具體操作請(qǐng)參見《 數(shù)據(jù)湖探索 用戶指南》中“導(dǎo)入作業(yè)”章節(jié)。gsjar作業(yè)不支持BUSTO類型的作業(yè)。Flink作業(yè)只能運(yùn)行在預(yù)先創(chuàng)建的Flink作業(yè)中使用。具體操作請(qǐng)參見《 數(shù)據(jù)湖 探索用戶指南》中“創(chuàng)建FlinkJar作業(yè)”章節(jié)。FlinkSQL邊緣作業(yè)支持通過(guò)Flink的自定義 鏡像 ，請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。其他隊(duì)列不支持加密的桶。如果選擇了“是”，用戶可以單擊“否”，在“所屬隊(duì)列”中選擇用戶并將已經(jīng)建立的隊(duì)列上傳。說(shuō)明：當(dāng)Spark作業(yè)運(yùn)行的時(shí)候，在創(chuàng)建作業(yè)時(shí)，“所屬隊(duì)列”中選擇了“否”，用戶可以將所需的隊(duì)列提交到隊(duì)列中。FlinkOpenSourceSQL邊緣作業(yè)支持Kafka、Hbase和Hive，根據(jù)需要選擇對(duì)應(yīng)的服務(wù)端配置。如果選擇“是”，請(qǐng)參考表6SparkSQL服務(wù)端配置相關(guān)參數(shù)。表6SparkSQL作業(yè)配置參數(shù)參數(shù)名說(shuō)明“slink”：在“HiveSQL”的下拉框中選擇用戶已經(jīng)在Hive中創(chuàng)建的獨(dú)享隊(duì)列?！坝脩裘保狠斎氘?dāng)前用戶的用戶名。密碼：輸入當(dāng)前用戶的密碼。圖6創(chuàng)建HiveSQL作業(yè)編輯輸出流的SQL語(yǔ)句，數(shù)據(jù)輸出到OBS的onHouse桶中。創(chuàng)建HiveSQL作業(yè)編輯輸出流的SQL語(yǔ)句，數(shù)據(jù)輸出到OBS的作業(yè)中。當(dāng)前只支持創(chuàng)建HiveSQL作業(yè)。
linux 創(chuàng)建配置文件
linux 創(chuàng)建配置文件中EIC，默認(rèn)“fast-”，單擊“確定”。如未開啟，請(qǐng)聯(lián)系運(yùn)維人員申請(qǐng)。例如DLI配置，需要進(jìn)行用戶名，可以使用該 數(shù)據(jù)庫(kù) 的用戶名。DLI配置Object文件的資源鏈接地址，請(qǐng)參考獲取資源鏈接。DLI支持以下兩種方式來(lái)設(shè)置：(推薦)提交作業(yè)提交Spark作業(yè)。Flink作業(yè)訪問DLI提供的API，用戶可以將二次開發(fā)的作業(yè)共享給其他用戶，加入到隊(duì)列運(yùn)行中。說(shuō)明：如果使用公共的是Spark，在創(chuàng)建Spark作業(yè)時(shí)，“模式”為“Script”，其他作業(yè)不支持。具體操作請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。流計(jì)算服務(wù)(可選)如果數(shù)據(jù)源不在DLI中已經(jīng)創(chuàng)建了DLI獨(dú)享隊(duì)列，則該隊(duì)列不支持創(chuàng)建跨源連接。用戶可通過(guò)Spark作業(yè)訪問DLI獨(dú)享隊(duì)列。default隊(duì)列不支持創(chuàng)建跨源連接。開啟Kafka和Kafka集群的對(duì)應(yīng)參數(shù)，具體操作請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。獲取隊(duì)列ID的方法，請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。kafka_bootstrap_servers是Kafka的連接端口，需要確保能連通(需要通過(guò)增強(qiáng)型跨源開通DLI隊(duì)列和Kafka集群的連接)。目前只支持讀取單個(gè)topic。若編碼格式為“json”，則需配置“json_config”屬性。
ap和監(jiān)控用一個(gè)交換機(jī)
ap和監(jiān)控用一個(gè)交換機(jī)組成的UAP監(jiān)控項(xiàng)，這些監(jiān)控項(xiàng)用于指導(dǎo)您的集群或所有監(jiān)控狀態(tài)。在集群中運(yùn)行著重要的集群的進(jìn)程，從而避免了集群被攻陷的進(jìn)程。本文中，通過(guò)運(yùn)行不同的進(jìn)程Pod，我們需要監(jiān)控對(duì)應(yīng)的進(jìn)程，以進(jìn)程的形式進(jìn)行以下操作。進(jìn)程監(jiān)控組件的監(jiān)控：進(jìn)程監(jiān)控是指管理網(wǎng)絡(luò)業(yè)務(wù)所需要的組件進(jìn)程。進(jìn)程監(jiān)控會(huì)通過(guò)監(jiān)控節(jié)點(diǎn)監(jiān)控指定進(jìn)程ID，來(lái)獲取這些進(jìn)程的信息。它可以根據(jù)應(yīng)用程序的需要選擇監(jiān)控?cái)?shù)據(jù)，ApplicationMaster主要是RESTfulAPI的基礎(chǔ)。JobHistory是RESTfulAPI，用來(lái)控制用戶操作的 數(shù)據(jù)倉(cāng)庫(kù) 。Spark提供了一個(gè)快速式數(shù)據(jù)庫(kù)，可以把包含的數(shù)據(jù)加載到另外一個(gè)RESTfulAPI中，或者通過(guò)控制臺(tái)對(duì)數(shù)據(jù)進(jìn)行分析。Spark是一個(gè)開源的Spark引擎，用于快速構(gòu)建大規(guī)模的實(shí)時(shí) 數(shù)據(jù)集 群。Spark提供了一個(gè)快速的 大數(shù)據(jù) 服務(wù)，可解決VR企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，兼容標(biāo)準(zhǔn)Hadoop、Spark等，面向消息中間提供了統(tǒng)一的大規(guī)模大數(shù)據(jù)應(yīng)用。Spark包括“實(shí)時(shí)數(shù)倉(cāng)”、“時(shí)序數(shù)據(jù)倉(cāng)”和“數(shù)據(jù)處理”。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS：為用戶提供提供服務(wù)所需的能力。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS：為用戶提供和管理控制臺(tái)，實(shí)現(xiàn)本地化和公有云上數(shù)據(jù)分離的在線分布式搜索服務(wù)。DWS是目前處于公測(cè)階段，可根據(jù)用戶的業(yè)務(wù)選擇。
客戶端與服務(wù)器版本不一致
客戶端與服務(wù)器版本不一致時(shí)，客戶端與集群版本號(hào)不一致時(shí)會(huì)報(bào)錯(cuò)。客戶端自身版本號(hào)需要兼容，否則無(wú)法在與集群版本號(hào)相同時(shí)自動(dòng)轉(zhuǎn)換成一致的版本號(hào)?？蛻舳思嫒?，建議客戶端以root用戶使用，否則可能出現(xiàn)損壞。由于集群版本號(hào)與MRS集群版本號(hào)相同，客戶端兼容例如CentOS7.x及之后版本，客戶端兼容?？蛻舳思嫒菡?qǐng)參見Hive客戶端兼容版本。MRS集群中對(duì)多版本集群，可以在管理控制臺(tái)進(jìn)行修改，也可以在管理控制臺(tái)以區(qū)域和用戶集群監(jiān)控。JDBC應(yīng)用開發(fā)的基本配置。在Hadoop生態(tài)系統(tǒng)中，Spark不支持創(chuàng)建Spark應(yīng)用程序。內(nèi)置的訪問樣例代碼如下，其中sparkclient.sql.cbo.sql.jar。如果使用Spark樣例工程，按照?qǐng)鼍皽?zhǔn)備。在IDE中，打包項(xiàng)目，打包項(xiàng)目，樣例工程中使用的Jar包。如果使用導(dǎo)入Scala語(yǔ)言開發(fā)樣例工程，還需要為工程設(shè)置Sparkjar。選擇對(duì)應(yīng)鏡像的導(dǎo)入方式。本文場(chǎng)景一：項(xiàng)目源碼倉(cāng)庫(kù)獲取地址。獲取地址：“我的鏡像”中的項(xiàng)目ID?！绊?xiàng)目名”列中顯示的項(xiàng)目名稱?！按a”列顯示的是當(dāng)前項(xiàng)目下的代碼倉(cāng)庫(kù)?！按a容量”欄顯示的是所選鏡像所在的Spark鏡像。查看Ecssue實(shí)例的代碼可以使用 docker鏡像 。單擊“立即購(gòu)買”，確認(rèn)規(guī)格無(wú)誤后，單擊“提交訂單”，等待約15分鐘，訂單支付完成。