mrs
MRS開(kāi)發(fā)環(huán)境準(zhǔn)備
本視頻介紹的是：華為云 MapReduce服務(wù) MRS操作指導(dǎo):MRS開(kāi)發(fā)環(huán)境準(zhǔn)備
華為云EI大數(shù)據(jù)MapReduce 服務(wù)介紹
本視頻介紹的是：華為云MapReduce服務(wù) MRS產(chǎn)品介紹:華為云EI 大數(shù)據(jù) MapReduce 服務(wù)介紹
MRS二次開(kāi)發(fā)配置和導(dǎo)入樣例工程指導(dǎo)
本視頻介紹的是：華為云MapReduce服務(wù) MRS操作指導(dǎo):MRS二次開(kāi)發(fā)配置和導(dǎo)入樣例工程指導(dǎo)
MRS修改服務(wù)配置參數(shù)指導(dǎo)
本視頻介紹的是：華為云MapReduce服務(wù) MRS操作指導(dǎo):MRS修改服務(wù)配置參數(shù)指導(dǎo)
ssl證書(shū)不使用443端口
ssl證書(shū)不使用443端口。如果使用243端口，則HTTPS默認(rèn)端口為443。一些操作如下：若使用243端口，可按如下方式排查出：如果使用243端口，則port為443。一些操作如下：如果使用其他端口，可按如下步驟處理：確認(rèn)是否存在證書(shū)。如未正確申請(qǐng)證書(shū)，請(qǐng)先在SSL證書(shū)管理控制臺(tái)購(gòu)買(mǎi)證書(shū)并完成https授權(quán)驗(yàn)證。已下載最新版本的證書(shū)，并在Web服務(wù)器上安裝最新版本后即可使用。將所有版本上傳到當(dāng)前系統(tǒng)中。需要提前在Web服務(wù)器上安裝相應(yīng)版本的Tomcat。使用了543端口的服務(wù)器，Linux默認(rèn)為7332，請(qǐng)根據(jù)實(shí)際情況進(jìn)行配置。Manager的浮動(dòng)IP地址，可以單擊輸入框后的“選擇”來(lái)選定已創(chuàng)建的MRS集群， CDM 會(huì)自動(dòng)填充下面的鑒權(quán)參數(shù)。127.0.0.1認(rèn)證類(lèi)型訪(fǎng)問(wèn)MRS的認(rèn)證類(lèi)型：SIMPLE：非安全模式選擇Simple鑒權(quán)。根據(jù)服務(wù)端Hive版本設(shè)置。HIVE_3_X用戶(hù)名選擇KERBEROS鑒權(quán)時(shí)，需要配置MRSManager的用戶(hù)名和密碼。從HDFS導(dǎo)出目錄時(shí)，如果需要?jiǎng)?chuàng)建快照，這里配置的用戶(hù)需要HDFS系統(tǒng)的管理員權(quán)限。如果要?jiǎng)?chuàng)建MRS安全集群的數(shù)據(jù)連接，不能使用admin用戶(hù)。因?yàn)閍dmin用戶(hù)是默認(rèn)的管理頁(yè)面用戶(hù)，這個(gè)用戶(hù)無(wú)法作為安全集群的認(rèn)證用戶(hù)來(lái)使用。
數(shù)據(jù)倉(cāng)庫(kù)GDM層DM層
數(shù)據(jù)倉(cāng)庫(kù) GDM層DM層提供集成Hive數(shù)據(jù)源，需通過(guò)公網(wǎng)或者專(zhuān)線(xiàn)打通網(wǎng)絡(luò)。DWS集群需連接云上服務(wù)(如DWS、MRS、RDS等)，然后在DWS服務(wù)中創(chuàng)建集群。本示例以“table-connector-隨機(jī)數(shù)”為例，指導(dǎo)您快速將 數(shù)據(jù)集 成到云上的 數(shù)據(jù)庫(kù) 服務(wù)DWS。請(qǐng)參考同區(qū)域同VPC的VPC的彈性 云服務(wù)器 創(chuàng)建集群。DWS集群需要與DWS集群在同一區(qū)域、VPC、子網(wǎng)、安全組。如果DGC實(shí)例或CDM集群需連接云上服務(wù)(如DWS、MRS、RDS等)，則您需要確保CDM集群與該云服務(wù)網(wǎng)絡(luò)互通。同區(qū)域情況下，同 虛擬私有云 、同子網(wǎng)、同安全組的不同實(shí)例默認(rèn)網(wǎng)絡(luò)互通，如果同虛擬 私有云 而子網(wǎng)或安全組不同，還需配置路由規(guī)則及安全組規(guī)則。VPC、子網(wǎng)、安全組的詳細(xì)操作，請(qǐng)參見(jiàn)《虛擬私有云用戶(hù)指南》。子網(wǎng)subnet-1安全組sg-1企業(yè)項(xiàng)目default只有在企業(yè)項(xiàng)目管理界面創(chuàng)建了企業(yè)項(xiàng)目，這里才可以選擇。企業(yè)項(xiàng)目管理服務(wù)是一種云資源管理方式，具體請(qǐng)參見(jiàn)《企業(yè)管理用戶(hù)指南》。自動(dòng)關(guān)機(jī)否如果已選擇企業(yè)項(xiàng)目，這里為了確保DWS集群與DGC工作空間所屬的企業(yè)項(xiàng)目必須相同，如果不同，您需要修改工作空間的企業(yè)項(xiàng)目。用戶(hù)名是DWS集群的用戶(hù)名。密碼是MRS集群的訪(fǎng)問(wèn)密碼，是必選項(xiàng)。KMS密鑰是KMS密鑰名稱(chēng)。綁定Agent是MRS為非全托管服務(wù)，DGC無(wú)法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建MRS的數(shù)據(jù)連接時(shí)，請(qǐng)選擇一個(gè)CDM集群。如果沒(méi)有可用的CDM集群，請(qǐng)先通過(guò)批量 數(shù)據(jù)遷移 增量包進(jìn)行創(chuàng)建。
nginx漏洞掃描工具
nginx 漏洞掃描工具 安裝在“CVE-2021-4034”目錄下，單擊右側(cè)的“下載”，可將MySQL源碼下載到本地。安裝成功后，單擊右上角“啟動(dòng)”，在彈出的啟動(dòng)提示框中單擊“稍后啟動(dòng)”。創(chuàng)建公網(wǎng)訪(fǎng)問(wèn)如果需要使用公網(wǎng)訪(fǎng)問(wèn)集群，請(qǐng)使用彈性IP進(jìn)行訪(fǎng)問(wèn)。登錄MRS管理控制臺(tái)。在“現(xiàn)有集群”列表中，單擊指定的集群名稱(chēng)。記錄集群的“可用分區(qū)”、“虛擬私有云”、“集群控制臺(tái)地址”，以及Master節(jié)點(diǎn)的“默認(rèn)安全組”。在彈性云服務(wù)管理控制臺(tái)，創(chuàng)建一個(gè)新的彈性云服務(wù)器。彈性云服務(wù)器的“可用分區(qū)”、“虛擬私有云”、“安全組”，需要和待訪(fǎng)問(wèn)集群的配置相同。選擇一個(gè)Windows系統(tǒng)的公共 鏡像 。其他配置參數(shù)詳細(xì)信息，請(qǐng)參見(jiàn)“彈性云服務(wù)器>快速入門(mén)>購(gòu)買(mǎi)并登錄Windows彈性云服務(wù)器”方法二：使用本機(jī)訪(fǎng)問(wèn)MRS集群操作HBase服務(wù)。使用 彈性公網(wǎng)IP 綁定彈性 公網(wǎng)IP 。在彈性云服務(wù)器上，安裝一個(gè)“mrs_admin”用戶(hù)(例如“Database-list”)，并為該用戶(hù)綁定彈性公網(wǎng)IP。在集群Master節(jié)點(diǎn)上部署客戶(hù)端，例如“/opt/Bigdata/client”。選擇“服務(wù)管理>HBase>更多>下載客戶(hù)端”，彈出“下載客戶(hù)端”信息提示框。使用IP地址命令登錄主Master節(jié)點(diǎn)。在已安裝客戶(hù)端的節(jié)點(diǎn)，執(zhí)行sudosu-omm命令切換用戶(hù)。執(zhí)行以下命令切換到客戶(hù)端目錄，例如“/opt/Bigdata/client”。
ip地址如何轉(zhuǎn)換為域名
ip地址 如何轉(zhuǎn)換為域名，請(qǐng)注意本地 DNS地址 不一定要與對(duì)應(yīng)的域名服務(wù)器IP地址互通。因此，為了減少地址因ip地址格式不同導(dǎo)致的重定向，建議把地址設(shè)置為默認(rèn)值。具體方法請(qǐng)參考在CCE控制臺(tái)，單擊集群名稱(chēng)進(jìn)入集群。在左側(cè)導(dǎo)航欄中，單擊“集群管理”，進(jìn)入集群列表頁(yè)面。在“連接信息”區(qū)域下，單擊“更改”。系統(tǒng)顯示“域名(內(nèi)網(wǎng))”選項(xiàng)。單擊“顯示設(shè)置”，顯示“轉(zhuǎn)換成功”。單擊“查看域名信息”，進(jìn)入“域名映射信息”頁(yè)面。單擊“修改”，查看并記錄隊(duì)列。為了更好的查詢(xún)到集群的作業(yè)，CCE提供了任務(wù)分組功能，用以在任務(wù)中創(chuàng)建作業(yè)，在連接時(shí)通過(guò)配置連接參數(shù)。具體方法請(qǐng)參考CCE集群參數(shù)配置。僅支持以下兩種方式創(chuàng)建作業(yè)：通過(guò)界面配置，快速完成CCE作業(yè)的建立。手工創(chuàng)建作業(yè)：直接創(chuàng)建作業(yè)。單擊該作業(yè)旁的圖標(biāo)，可直接運(yùn)行作業(yè)。單擊該作業(yè)旁的圖標(biāo)，可進(jìn)入該作業(yè)配置界面。單擊該作業(yè)后的，可查看輸入的作業(yè)和輸出結(jié)果是否符合預(yù)期。作業(yè)列表中默認(rèn)為“--”，表示用戶(hù)在作業(yè)中創(chuàng)建了一個(gè)CDM集群。該參數(shù)僅MRS普通集群，直接使用該參數(shù)。如果配置了CDM集群的情況下，則表示該參數(shù)的值是CDM集群在CDM中未綁定EIP，此時(shí)，沒(méi)有EIP的情況下可以再新增EIP。新建作業(yè)：進(jìn)入CDM主界面，單擊左側(cè)導(dǎo)航上的“集群管理”，進(jìn)入集群管理界面。
hive如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)
hive如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)一種集群管理功能。您可以通過(guò)以下兩種方式獲取樣例數(shù)據(jù)。1.單擊下載鏈接獲取用戶(hù)的樣例代碼。2.單擊打開(kāi)本地的頁(yè)面訪(fǎng)問(wèn)下載樣例包，將樣例包下載到本地。在本地將樣例包文件上傳到mrs-sql目錄下。將demo中樣例包文件上傳到dm-sql目錄下。執(zhí)行如下命令將demo中的數(shù)據(jù)導(dǎo)入到demo-sql目錄下。進(jìn)入demo目錄，單擊“demo-datas”。在右側(cè)已創(chuàng)建的krb5.csv文件夾，選擇“userinfo.txt”文件，單擊“打開(kāi)”。在集群信息頁(yè)面，單擊“連接管理”，在彈出框中，輸入主機(jī)IP，確認(rèn)端口是否正確，如輸入“192.168.0”，與“KERBEROS”軟件包中的“seth0”。然后輸入root用戶(hù)密碼，登錄彈性云服務(wù)器。執(zhí)行如下命令，查看已創(chuàng)建的DWS集群，并記錄其內(nèi)網(wǎng)IP地址。在DWS管理控制臺(tái)，單擊“集群管理”，找到所需要的集群，單擊集群名稱(chēng)，進(jìn)入集群信息頁(yè)面。在“數(shù)據(jù)連接信息”中獲取對(duì)應(yīng)的數(shù)據(jù)庫(kù)。上傳數(shù)據(jù)的OBS路徑。單擊“刷新”，回到連接管理界面。用戶(hù)也可以在作業(yè)管理界面查看所有作業(yè)。用戶(hù)名是MRS集群的管理頁(yè)面，單擊“連接管理”，在連接管理界面單擊“新建連接”，連接器類(lèi)型選擇“數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)”。
數(shù)據(jù)倉(cāng)庫(kù)選擇題及答案
數(shù)據(jù)倉(cāng)庫(kù)選擇題及答案可以從本章節(jié)的角度進(jìn)行介紹。數(shù)據(jù)倉(cāng)庫(kù)支持通過(guò)外表并行導(dǎo)出數(shù)據(jù)，在數(shù)據(jù)開(kāi)發(fā)階段，需要建立數(shù)據(jù)庫(kù)的詳細(xì)內(nèi)容。數(shù)據(jù)倉(cāng)庫(kù)中提供了并行導(dǎo)出數(shù)據(jù)的能力，用戶(hù)可通過(guò)管理控制臺(tái)對(duì)并行導(dǎo)出任務(wù)進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。另外，為了降低數(shù)據(jù)開(kāi)發(fā)和維護(hù)的復(fù)雜性，推薦您在使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)時(shí)，對(duì)數(shù)據(jù)進(jìn)行分析，幫助您快速進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)管理。概述從MRS導(dǎo)入數(shù)據(jù)到集群時(shí)，請(qǐng)確保MRS數(shù)據(jù)源連接的端口是互通的。導(dǎo)出數(shù)據(jù)時(shí)的操作用戶(hù)，MRS可能會(huì)在創(chuàng)建導(dǎo)出后的臨時(shí)文件中自動(dòng)生成該用戶(hù)存放導(dǎo)出文件。因此，在導(dǎo)出數(shù)據(jù)時(shí)，MRS后臺(tái)會(huì)自動(dòng)創(chuàng)建一個(gè)外表，然后將數(shù)據(jù)文件的第一行寫(xiě)入文件。但是，MRS導(dǎo)出外表不支持。OBS外表的文件大小都要與MRS的外表定義的文件大小保持一致。OBS訪(fǎng)問(wèn)協(xié)議對(duì)應(yīng)的OBS路徑，與OBS的架構(gòu)相同。當(dāng)前只支持導(dǎo)出模式為txt的外表，不支持傳輸CSV格式的文件。導(dǎo)入導(dǎo)出數(shù)據(jù)時(shí)的操作用戶(hù)需要具備以下條件：已導(dǎo)出數(shù)據(jù)的權(quán)限。用戶(hù)在創(chuàng)建導(dǎo)出數(shù)據(jù)時(shí)，GaussDB(DWS)的存儲(chǔ)目錄和OBS路徑的名稱(chēng)必須相同。如果已經(jīng)存在相同名稱(chēng)的OBS桶，不會(huì)再次導(dǎo)出數(shù)據(jù)。導(dǎo)出文件名在OBS導(dǎo)出數(shù)據(jù)時(shí)，執(zhí)行導(dǎo)出操作的用戶(hù)需要具備數(shù)據(jù)導(dǎo)出路徑的寫(xiě)入權(quán)限。OBS桶中的文件名和文件編碼格式必須為“UTF-8”。導(dǎo)出的數(shù)據(jù)與集群的數(shù)據(jù)源應(yīng)處于同樣的區(qū)域。
mysql數(shù)據(jù)庫(kù)操作命令行
mysql數(shù)據(jù)庫(kù)操作命令行的含義與使用shell命令不同。在創(chuàng)建mysql服務(wù)器中，如果已經(jīng)有訪(fǎng)問(wèn)外部數(shù)據(jù)源，可以直接使用外部數(shù)據(jù)源的shell進(jìn)行用戶(hù)管理(比如操作數(shù)據(jù)庫(kù)和用戶(hù)信息)，比如操作數(shù)據(jù)庫(kù)或者表。本章節(jié)適用于MRS集群。管理員可以在FusionInsightManager創(chuàng)建新用戶(hù)或者修改自己的權(quán)限策略，例如用戶(hù)。使用該功能前，請(qǐng)確保已通過(guò)Kerberos服務(wù)創(chuàng)建了用戶(hù)。選擇“系統(tǒng)設(shè)置>用戶(hù)管理”。當(dāng)用戶(hù)不再使用該功能時(shí)，請(qǐng)退出當(dāng)前用戶(hù)。刪除用戶(hù)后，該用戶(hù)相關(guān)的權(quán)限不會(huì)刪除，請(qǐng)謹(jǐn)慎操作。當(dāng)用戶(hù)想要查看權(quán)限策略時(shí)，請(qǐng)執(zhí)行該操作。在“用戶(hù)管理”頁(yè)面中，單擊“添加用戶(hù)”。在添加用戶(hù)頁(yè)面中，填寫(xiě)用戶(hù)信息，完成后單擊“下一步”。用戶(hù)名指定Manager的用戶(hù)名。將用戶(hù)加入到組的任一組中。MRS3.x之前版本，系統(tǒng)默認(rèn)輸入“Hive”用戶(hù)名，單擊“確定”?！坝脩?hù)名”是從MRSManager頁(yè)面通過(guò)Manager界面提交的用戶(hù)名。登錄成功后，系統(tǒng)自動(dòng)在用戶(hù)管理界面瀏覽話(huà)。初始化會(huì)導(dǎo)致客戶(hù)端連接失敗，用戶(hù)信息后，需要重新下載并安裝客戶(hù)端。Kafka客戶(hù)端的“conf”用戶(hù)名和密碼從MRSManager界面顯示修改后才會(huì)生效，請(qǐng)確保MRS集群管理員用戶(hù)的密碼全部失效。使用安裝客戶(hù)端的用戶(hù)登錄客戶(hù)端所在節(jié)點(diǎn)，并執(zhí)行如下命令進(jìn)行用戶(hù)認(rèn)證。在客戶(hù)端所在節(jié)點(diǎn)，執(zhí)行如下命令切換到客戶(hù)端目錄。cd/opt/hadoopclient執(zhí)行如下命令初始化環(huán)境變量。若在集群外使用客戶(hù)端，請(qǐng)切換到root用戶(hù)。準(zhǔn)備一個(gè)提交Flink作業(yè)的用戶(hù)。
自建cdn系統(tǒng)教程
自建cdn系統(tǒng)教程提供了一個(gè)名為一個(gè)集群，并根據(jù)實(shí)際集群和各參數(shù)配置，在實(shí)際場(chǎng)景下可以通過(guò)MRS管理集群，該子網(wǎng)和ZooKeeper。在OBS上通過(guò)業(yè)務(wù)節(jié)點(diǎn)的使用BMS實(shí)現(xiàn)如下兩個(gè)組件：ECS添加OBSBrowser至MRS訪(fǎng)問(wèn)OBS。在本章中，將典型的OBSBrowser添加至MRS訪(fǎng)問(wèn)集群的“/下載集群客戶(hù)端”，執(zhí)行以下操作：在MRS管理控制臺(tái)，下載客戶(hù)端安裝包。在MRS管理控制臺(tái)，單擊“集群列表>現(xiàn)有集群”，單擊集群名稱(chēng)，進(jìn)入集群信息頁(yè)面，單擊“組件管理”。將生成的配置文件，保存到本地路徑。具體可參見(jiàn)MapReduce服務(wù)文檔。通過(guò)“系統(tǒng)>>權(quán)限>用戶(hù)”，選擇所需用戶(hù)所在行，點(diǎn)擊“更多>>下載認(rèn)證憑據(jù)”下載認(rèn)證憑據(jù)文件。針對(duì)MRS2.x及之前版本集群：登錄MRS服務(wù)的Manager，單擊“系統(tǒng)設(shè)置”。在“權(quán)限配置”區(qū)域，單擊“用戶(hù)管理”。在需導(dǎo)出keytab文件用戶(hù)所在的行，選擇“更多>下載認(rèn)證憑據(jù)”下載認(rèn)證文件，待文件自動(dòng)生成后指定保存位置，并妥善保管該文件。選擇“集群>>待操作的集群名稱(chēng)>概覽>>更多>>>下載客戶(hù)端”，界面顯示“下載集群客戶(hù)端”對(duì)話(huà)框。對(duì)話(huà)框中選擇“僅配置文件”，平臺(tái)類(lèi)型和服務(wù)端保持一致，單擊確認(rèn)后進(jìn)行本地下載。獲取下載的tar包，此即為FusionInsight集群配置文件。