dws
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_快速入門(mén)
本視頻介紹的是：華為云 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS 操作指導(dǎo): 數(shù)據(jù)倉(cāng)庫(kù) 服務(wù)_快速入門(mén)
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹
本視頻介紹的是：華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS產(chǎn)品介紹:數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_快照管理
本視頻介紹的是：華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS操作指導(dǎo):數(shù)據(jù)倉(cāng)庫(kù)服務(wù)_快照管理
使用Data Studio連接DWS并導(dǎo)入數(shù)據(jù)
本視頻介紹的是：華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS操作指導(dǎo):使用Data Studio連接DWS并導(dǎo)入數(shù)據(jù)
DWS助力消費(fèi)者BG大數(shù)據(jù)平臺(tái)云化改造
本視頻介紹的是：華為云數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS產(chǎn)品介紹:DWS助力消費(fèi)者BG 大數(shù)據(jù) 平臺(tái)云化改造
如何訪(fǎng)問(wèn)遠(yuǎn)程服務(wù)器的d盤(pán)
如何訪(fǎng)問(wèn)遠(yuǎn)程服務(wù)器的d盤(pán)？操作步驟以root用戶(hù)登錄服務(wù)器。操作步驟以root用戶(hù)登錄。執(zhí)行以下命令，進(jìn)入/usr/local/bin目錄。將本地服務(wù)器中的UUID或hostPath從本地服務(wù)器中復(fù)制，并添加需要同步的日志路徑。使用WinSCP工具，以root用戶(hù)登錄服務(wù)器。mkdir/local/log1//hosts根據(jù)實(shí)際情況，執(zhí)行以下命令，復(fù)制“/etc/hosts”文件。將服務(wù)器中的UUID和hostPath從本地服務(wù)器中刪除，保存并退出?？梢钥吹缴鲜鋈罩拘畔ⅲ⒅貜?fù)執(zhí)行：wq保存配置。方法一：需要連接的目標(biāo)主機(jī)IP地址。方法二：使用ping命令連通DQL軟件，將DQL軟件的端口號(hào)改為DIR。解壓DQL軟件包到目標(biāo)DWS的hostPath路徑下。請(qǐng)確保DWS集群跟DWS集群在同一個(gè)網(wǎng)段、同一個(gè)網(wǎng)絡(luò)。把DWS軟件安裝包中，DWI命令上傳DWS軟件包到DWS的hostPath路徑中。請(qǐng)確保DWS軟件包存放在指定目錄下，DWS集群各目錄需放在同一個(gè)目錄下。確保您已將DWS軟件包上傳至本系統(tǒng)的指定目錄下，示例中將驅(qū)動(dòng)包上傳至創(chuàng)建目錄。如果是在請(qǐng)確保DWS軟件包存放在本地的目錄下，解壓DWS軟件包。
mysql數(shù)據(jù)庫(kù)連接超時(shí)時(shí)間
mysql 數(shù)據(jù)庫(kù) 連接超時(shí)時(shí)間。連接數(shù)據(jù)庫(kù)ddl：MYSQL數(shù)據(jù)庫(kù)超時(shí)時(shí)間：如果設(shè)置該參數(shù)，客戶(hù)端無(wú)法連接數(shù)據(jù)庫(kù)，該參數(shù)只顯示sql請(qǐng)求超時(shí)時(shí)間，默認(rèn)為1小時(shí)。客戶(hù)端連接數(shù)據(jù)庫(kù)時(shí)的超時(shí)時(shí)間。用戶(hù)名登錄MySQL管理控制臺(tái)。單擊“我的數(shù)據(jù)”，然后單擊頁(yè)面最右側(cè)的工作空間下拉列表并選擇所需訪(fǎng)問(wèn)的工作空間，然后單擊“新建數(shù)據(jù)連接”。集群名選擇可用的DWS集群。如需新建DWS集群，單擊列表框后方的“創(chuàng)建集群”。域名選擇DWS集群后，自動(dòng)匹配數(shù)據(jù)庫(kù)的內(nèi)網(wǎng)域名，支持修改。端口選擇數(shù)據(jù)庫(kù)所使用的端口，支持修改。用戶(hù)名填寫(xiě)數(shù)據(jù)庫(kù)的用戶(hù)名。該數(shù)據(jù)庫(kù)用戶(hù)需要有數(shù)據(jù)表的讀取權(quán)限，以及對(duì)元數(shù)據(jù)的讀取權(quán)限。密碼填寫(xiě)數(shù)據(jù)庫(kù)用戶(hù)的密碼。連接代理選擇可用的連接代理。如需使用VPC連接，請(qǐng)先參考管理VPC連接創(chuàng)建VPC連接。如需查看 CDM 集群列表，單擊列表框后方的“查看Agent”。說(shuō)明：DWS為非全托管服務(wù)，DLV無(wú)法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DLV與非全托管服務(wù)通信的代理。數(shù)據(jù)庫(kù)名單擊“獲取數(shù)據(jù)庫(kù)”，在列表框中選擇數(shù)據(jù)庫(kù)。若無(wú)法選擇數(shù)據(jù)庫(kù)，請(qǐng)先確認(rèn)數(shù)據(jù)庫(kù)用戶(hù)名和密碼是否正確。自動(dòng)匹配如果數(shù)據(jù)庫(kù)連接，請(qǐng)先創(chuàng)建一個(gè)Schema，然后再選擇Schema和schema。
當(dāng)前主流的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品有哪些
當(dāng)前主流的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品有哪些，包括使用GaussDB，GaussDB(DWS)集群、數(shù)據(jù)倉(cāng)庫(kù)、 數(shù)據(jù)湖 和倉(cāng)一體的產(chǎn)品形態(tài)。GaussDB(DWS)集群，即開(kāi)即用，免去購(gòu)買(mǎi)資源，后期維護(hù)等環(huán)節(jié)。在這種情況下，我們來(lái)一起根據(jù)存儲(chǔ)容量(物理上的物理大小)，用于存儲(chǔ)不同類(lèi)型的數(shù)據(jù)。這種做法是最為常見(jiàn)的，但是存儲(chǔ)容量還是按照空間劃分的，存儲(chǔ)可以使用物理容量進(jìn)行劃分。這種情況下，會(huì)導(dǎo)致業(yè)務(wù)系統(tǒng)因?yàn)槲锢泶疟P(pán)不能正常落盤(pán)，也可能會(huì)導(dǎo)致磁盤(pán)處于只讀狀態(tài)，這時(shí)需要通過(guò)清理來(lái)解決。創(chuàng)建集群時(shí)，默認(rèn)為1個(gè)主備，1個(gè)master。不支持故障切換，即只讀集群數(shù)據(jù)庫(kù)。只讀集群的數(shù)據(jù)存儲(chǔ)量，即所有的主節(jié)點(diǎn)。概念上講，一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)由若干個(gè)分片組成，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)包含冗余(例如，base，PostgreSQL等)。概念模型(也稱(chēng)邏輯概念)：概念模型是如何組織的，通常是由概念模型組成。物理節(jié)點(diǎn)一個(gè)物理節(jié)點(diǎn)上可以安裝多個(gè)邏輯節(jié)點(diǎn)。一個(gè)數(shù)據(jù)庫(kù)實(shí)例可以安裝多個(gè)邏輯節(jié)點(diǎn)。數(shù)據(jù)庫(kù)對(duì)象模型：數(shù)據(jù)庫(kù)對(duì)象模型，包括管理系統(tǒng)(如MySQL、Oracle、PostgreSQL等)。DWS是華為云提供的一種邏輯實(shí)體，類(lèi)似于數(shù)據(jù)庫(kù)管理系統(tǒng)中的表，類(lèi)似數(shù)據(jù)庫(kù)中的SQL命令。數(shù)據(jù)庫(kù)使用者通過(guò)SQL使用數(shù)據(jù)庫(kù)來(lái)控制對(duì)數(shù)據(jù)庫(kù)對(duì)象的訪(fǎng)問(wèn)。DWS使用用戶(hù)通過(guò)SQL使用數(shù)據(jù)庫(kù)來(lái)控制對(duì)數(shù)據(jù)庫(kù)對(duì)象的訪(fǎng)問(wèn)。DWS使用用戶(hù)通過(guò)管理控制臺(tái)或SQL客戶(hù)端工具連接集群。DWS集群集群請(qǐng)參見(jiàn)《表數(shù)據(jù)庫(kù)管理指南》。DWS使用用戶(hù)在客戶(hù)端執(zhí)行SQL客戶(hù)端或者，為集群服務(wù)器提供多種任務(wù)，提供了數(shù)據(jù)的存儲(chǔ)功能、文件系統(tǒng)的網(wǎng)絡(luò)連接、文件系統(tǒng)的證書(shū)等。DWS支持通過(guò)外部數(shù)據(jù)源的數(shù)據(jù)庫(kù)引擎、版本、性能等信息來(lái)選擇。
mysql數(shù)據(jù)庫(kù)保存到nas
mysql數(shù)據(jù)庫(kù)保存到nas數(shù)據(jù)庫(kù)后，再在集群的pg_hpa_conf目錄下創(chuàng)建一個(gè)新用戶(hù)。以下是步驟中的目錄：1.Mysql數(shù)據(jù)庫(kù)啟動(dòng)目錄：2.SQL-dws會(huì)自動(dòng)清理MySQL數(shù)據(jù)庫(kù)的進(jìn)程。步驟中的目錄可以是：3.MySQL默認(rèn)安裝目錄，安裝目錄為“/opt/mysql/data/dws”，并選擇“是”，單擊“保存”，保存設(shè)置。步驟中的目錄會(huì)被保存。用戶(hù)可以將該目錄設(shè)置為缺省模式，或安裝目錄為“/opt/user/bin/dws/managed/”，然后再回到@/mysql目錄。但是在創(chuàng)建臨時(shí)函數(shù)時(shí)，用戶(hù)也可以使用一個(gè)同名的模式來(lái)指定，比如下面命令中的語(yǔ)句：pg_catalog，當(dāng)所指定的模式變量全部被刪除，該語(yǔ)句會(huì)被自動(dòng)回收。如果數(shù)據(jù)庫(kù)自動(dòng)清理，則該語(yǔ)句將被系統(tǒng)中同時(shí)刪除。由于數(shù)據(jù)庫(kù)中還存在一些表，這些表結(jié)構(gòu)相對(duì)應(yīng)的數(shù)據(jù)庫(kù)始終是表，存在它們與數(shù)據(jù)庫(kù)中所有的表，因此如果出現(xiàn)的話(huà)，需要向系統(tǒng)管理員發(fā)出查詢(xún)。GS_WLM_SLOGERAT_INFO視圖中針對(duì)當(dāng)前用戶(hù)鎖定表的讀后內(nèi)容和寫(xiě)后的內(nèi)容進(jìn)行了更改。這些模式將在目標(biāo)數(shù)據(jù)庫(kù)中創(chuàng)建用戶(hù)、創(chuàng)建用戶(hù)、創(chuàng)建模式等具有賦權(quán)權(quán)限的用戶(hù)。在目標(biāo)數(shù)據(jù)庫(kù)中創(chuàng)建用戶(hù)的語(yǔ)法，與當(dāng)前用戶(hù)一致。
數(shù)據(jù)倉(cāng)庫(kù)GDM層DM層
數(shù)據(jù)倉(cāng)庫(kù)GDM層DM層提供集成Hive數(shù)據(jù)源，需通過(guò)公網(wǎng)或者專(zhuān)線(xiàn)打通網(wǎng)絡(luò)。DWS集群需連接云上服務(wù)(如DWS、MRS、RDS等)，然后在DWS服務(wù)中創(chuàng)建集群。本示例以“table-connector-隨機(jī)數(shù)”為例，指導(dǎo)您快速將 數(shù)據(jù)集 成到云上的數(shù)據(jù)庫(kù)服務(wù)DWS。請(qǐng)參考同區(qū)域同VPC的VPC的彈性 云服務(wù)器 創(chuàng)建集群。DWS集群需要與DWS集群在同一區(qū)域、VPC、子網(wǎng)、安全組。如果DGC實(shí)例或CDM集群需連接云上服務(wù)(如DWS、MRS、RDS等)，則您需要確保CDM集群與該云服務(wù)網(wǎng)絡(luò)互通。同區(qū)域情況下，同 虛擬私有云 、同子網(wǎng)、同安全組的不同實(shí)例默認(rèn)網(wǎng)絡(luò)互通，如果同虛擬 私有云 而子網(wǎng)或安全組不同，還需配置路由規(guī)則及安全組規(guī)則。VPC、子網(wǎng)、安全組的詳細(xì)操作，請(qǐng)參見(jiàn)《虛擬私有云用戶(hù)指南》。子網(wǎng)subnet-1安全組sg-1企業(yè)項(xiàng)目default只有在企業(yè)項(xiàng)目管理界面創(chuàng)建了企業(yè)項(xiàng)目，這里才可以選擇。企業(yè)項(xiàng)目管理服務(wù)是一種云資源管理方式，具體請(qǐng)參見(jiàn)《企業(yè)管理用戶(hù)指南》。自動(dòng)關(guān)機(jī)否如果已選擇企業(yè)項(xiàng)目，這里為了確保DWS集群與DGC工作空間所屬的企業(yè)項(xiàng)目必須相同，如果不同，您需要修改工作空間的企業(yè)項(xiàng)目。用戶(hù)名是DWS集群的用戶(hù)名。密碼是MRS集群的訪(fǎng)問(wèn)密碼，是必選項(xiàng)。KMS密鑰是KMS密鑰名稱(chēng)。綁定Agent是MRS為非全托管服務(wù)，DGC無(wú)法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建MRS的數(shù)據(jù)連接時(shí)，請(qǐng)選擇一個(gè)CDM集群。如果沒(méi)有可用的CDM集群，請(qǐng)先通過(guò)批量 數(shù)據(jù)遷移 增量包進(jìn)行創(chuàng)建。
hive如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)
hive如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)一種集群管理功能。您可以通過(guò)以下兩種方式獲取樣例數(shù)據(jù)。1.單擊下載鏈接獲取用戶(hù)的樣例代碼。2.單擊打開(kāi)本地的頁(yè)面訪(fǎng)問(wèn)下載樣例包，將樣例包下載到本地。在本地將樣例包文件上傳到mrs-sql目錄下。將demo中樣例包文件上傳到dm-sql目錄下。執(zhí)行如下命令將demo中的數(shù)據(jù)導(dǎo)入到demo-sql目錄下。進(jìn)入demo目錄，單擊“demo-datas”。在右側(cè)已創(chuàng)建的krb5.csv文件夾，選擇“userinfo.txt”文件，單擊“打開(kāi)”。在集群信息頁(yè)面，單擊“連接管理”，在彈出框中，輸入主機(jī)IP，確認(rèn)端口是否正確，如輸入“192.168.0”，與“KERBEROS”軟件包中的“seth0”。然后輸入root用戶(hù)密碼，登錄彈性云服務(wù)器。執(zhí)行如下命令，查看已創(chuàng)建的DWS集群，并記錄其內(nèi)網(wǎng)IP地址。在DWS管理控制臺(tái)，單擊“集群管理”，找到所需要的集群，單擊集群名稱(chēng)，進(jìn)入集群信息頁(yè)面。在“數(shù)據(jù)連接信息”中獲取對(duì)應(yīng)的數(shù)據(jù)庫(kù)。上傳數(shù)據(jù)的OBS路徑。單擊“刷新”，回到連接管理界面。用戶(hù)也可以在作業(yè)管理界面查看所有作業(yè)。用戶(hù)名是MRS集群的管理頁(yè)面，單擊“連接管理”，在連接管理界面單擊“新建連接”，連接器類(lèi)型選擇“數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)”。
實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具
實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具提供Hive是數(shù)據(jù)分析型與高并發(fā)、高性能的關(guān)系型數(shù)據(jù)庫(kù)工具。您可以通過(guò)數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DataWarehouseService，簡(jiǎn)稱(chēng)DWS)來(lái)構(gòu)建、管理和使用Hadoop系統(tǒng)的應(yīng)用。用戶(hù)使用CDM服務(wù)前，需要先開(kāi)通CDM服務(wù)，并創(chuàng)建集群。CDM集群需要訪(fǎng)問(wèn)權(quán)限、開(kāi)通、認(rèn)證、流式分析、機(jī)器學(xué)習(xí)服務(wù)為了方便用戶(hù)使用，請(qǐng)使用link命令行工具，以便在DLF的SQL命令中調(diào)用您可以使用Hive。在DLF的管理控制臺(tái)創(chuàng)建數(shù)據(jù)庫(kù)。本示例為在DLI上創(chuàng)建數(shù)據(jù)庫(kù)和表。您可以通過(guò)SQL命令行工具連接到DLI的數(shù)據(jù)庫(kù)。如果通過(guò)SQL命令行工具連接到DLI的數(shù)據(jù)庫(kù)，需要先創(chuàng)建DLI表。創(chuàng)建DLI表，具體請(qǐng)參考《SQL語(yǔ)法參考》。table1DWS)：?使用table1DWS的Hive方式通過(guò)創(chuàng)建DLI表來(lái)存放數(shù)據(jù)。具體請(qǐng)參考《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)數(shù)據(jù)庫(kù)開(kāi)發(fā)指南》。table2DWS：?使用SQL語(yǔ)句來(lái)創(chuàng)建DLI表。注意事項(xiàng)創(chuàng)建DLI表的語(yǔ)法格式請(qǐng)參考《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)數(shù)據(jù)庫(kù)開(kāi)發(fā)指南》。SQL語(yǔ)句，用以express方式表示DLI表。通過(guò)Hive的方式，創(chuàng)建DLI表。注意事項(xiàng)創(chuàng)建DLI表的語(yǔ)法格式本身不會(huì)對(duì)空字段進(jìn)行轉(zhuǎn)義。注意事項(xiàng)創(chuàng)建DLI表的語(yǔ)法格式同樣適用于ROW和FROM。注意事項(xiàng)創(chuàng)建DLI表的語(yǔ)法格式同樣適用于格式，或有空字符串。創(chuàng)建DLI表時(shí)，注意字段名不存在，字段名在之間，可以用\。FROM的時(shí)候，可以加上*？FROM子句。
數(shù)據(jù)倉(cāng)庫(kù)貼源層表的分類(lèi)
數(shù)據(jù)倉(cāng)庫(kù)貼源層表的分類(lèi)數(shù)據(jù)倉(cāng)庫(kù)主要用于描述、數(shù)據(jù)存儲(chǔ)的物理數(shù)據(jù)以及與業(yè)務(wù)的信息。數(shù)據(jù)倉(cāng)庫(kù)主要用于描述數(shù)據(jù)的數(shù)據(jù)類(lèi)型和相關(guān)，以便快速確定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)特征。新建數(shù)據(jù)倉(cāng)庫(kù)的操作，請(qǐng)參見(jiàn)新建數(shù)據(jù)倉(cāng)庫(kù)。本章節(jié)以新建數(shù)據(jù)倉(cāng)庫(kù)為例，介紹如何新建從DWS導(dǎo)入數(shù)據(jù)。執(zhí)行DLI數(shù)據(jù)源在建表時(shí)，您可以在SQL編輯器中設(shè)置DWS_DATABASE(基于列的維度建模)。SQL編輯器是由編輯器和可視化的方式呈現(xiàn)，且只支持基于SQL語(yǔ)句的語(yǔ)法進(jìn)行數(shù)據(jù)的預(yù)覽。在DWS管理控制臺(tái)首頁(yè)，選擇對(duì)應(yīng)工作空間的“數(shù)據(jù)資產(chǎn)”模塊，進(jìn)入數(shù)據(jù)資產(chǎn)頁(yè)面。選擇“數(shù)據(jù)庫(kù)”頁(yè)簽，進(jìn)入數(shù)據(jù)資產(chǎn)頁(yè)面。只能包含英文字母、數(shù)字、“_”，且長(zhǎng)度為1~32個(gè)字符。選擇目錄選擇該數(shù)據(jù)連接的目錄。單擊“確定”，完成數(shù)據(jù)庫(kù)的創(chuàng)建。數(shù)據(jù)庫(kù)用戶(hù)名是數(shù)據(jù)庫(kù)的用戶(hù)名，創(chuàng)建DWS集群時(shí)指定的用戶(hù)名。密碼是數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)密碼，創(chuàng)建DWS集群的時(shí)候，輸入的密碼。連接方式是連接方式：通過(guò)代理連接：需要配置“綁定Agent”。綁定Agent是選擇CDM集群提供的代理，MRS為非全托管服務(wù)，DGC無(wú)法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建DWS的數(shù)據(jù)連接時(shí)，請(qǐng)選擇一個(gè)CDM集群。如果沒(méi)有可用的CDM集群，請(qǐng)先通過(guò)批量數(shù)據(jù) 遷移 增量包進(jìn)行創(chuàng)建。
mysql8修改數(shù)據(jù)存放路徑
mysql8修改數(shù)據(jù)存放路徑后，可通過(guò)SQL語(yǔ)句來(lái)查詢(xún)到相應(yīng)的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)默認(rèn)打開(kāi)JDBC驅(qū)動(dòng)，并對(duì)數(shù)據(jù)進(jìn)行加密和解密。以L(fǎng)inux操作系統(tǒng)為例，創(chuàng)建一個(gè)dbc驅(qū)動(dòng)，然后通過(guò)SQL語(yǔ)句來(lái)執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)。創(chuàng)建一個(gè)dbc驅(qū)動(dòng)，然后通過(guò)gs_dumpall一次性導(dǎo)出到本地。創(chuàng)建dbc驅(qū)動(dòng)后，將導(dǎo)出的數(shù)據(jù)文件導(dǎo)入至Hive服務(wù)器。創(chuàng)建一個(gè)數(shù)據(jù)文件dbc4，然后將數(shù)據(jù)文件導(dǎo)入到GaussDB(DWS)數(shù)據(jù)庫(kù)中。dbc4：導(dǎo)入的數(shù)據(jù)服務(wù)器為例：?jiǎn)?dòng)gs_dumpall。以Windows操作系統(tǒng)為例，執(zhí)行下面步驟：創(chuàng)建一個(gè)dbc4，并從gs_dumpall導(dǎo)出的數(shù)據(jù)。1、將導(dǎo)出的數(shù)據(jù)上傳至需要的數(shù)據(jù)庫(kù)中。2、將導(dǎo)出的數(shù)據(jù)上傳至系統(tǒng)的數(shù)據(jù)庫(kù)中。3、將數(shù)據(jù)文件上傳至準(zhǔn)備完成后，再使用命令提示符打開(kāi)。在命令行窗口中執(zhí)行SQL語(yǔ)句，執(zhí)行導(dǎo)入數(shù)據(jù)。1、執(zhí)行SQL創(chuàng)建表并指定DWS所在的數(shù)據(jù)庫(kù)。2、執(zhí)行SQL創(chuàng)建語(yǔ)句創(chuàng)建OBS外表。3、執(zhí)行SQL創(chuàng)建OBS外表。1、執(zhí)行SQL創(chuàng)建OBS外表創(chuàng)建外表的語(yǔ)法參數(shù)名稱(chēng)：OBS外表中存儲(chǔ)路徑：數(shù)據(jù)源文件的OBS路徑。外表中保存了數(shù)據(jù)源文件的位置、文件格式、存放位置、編碼格式、數(shù)據(jù)間的分隔符等信息。導(dǎo)入結(jié)束后，通過(guò)gds參數(shù)可以查看數(shù)據(jù)格式信息，為了更好的容錯(cuò)性，需要用戶(hù)的數(shù)據(jù)。詳細(xì)使用請(qǐng)參見(jiàn)數(shù)據(jù)格式參數(shù)。根據(jù)前面步驟確定的參數(shù)，創(chuàng)建OBS外表。
數(shù)據(jù)倉(cāng)庫(kù)生命周期工具箱pdf
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)支持使用JDBC驅(qū)動(dòng)直接上傳數(shù)據(jù)到 對(duì)象存儲(chǔ)服務(wù) (OBS)，使用Hive或ZBC的安裝操作。參見(jiàn)JDBC驅(qū)動(dòng)到OBS導(dǎo)入。開(kāi)發(fā)前，需要在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)的控制臺(tái)導(dǎo)入數(shù)據(jù)，數(shù)據(jù)可以通過(guò)DWS或DLI連接，將OBS的數(shù)據(jù)導(dǎo)入到DWS中。其中，導(dǎo)入數(shù)據(jù)操作步驟請(qǐng)參見(jiàn)執(zhí)行導(dǎo)入數(shù)據(jù)數(shù)據(jù)。執(zhí)行如下命令導(dǎo)入數(shù)據(jù)GDS：數(shù)據(jù)倉(cāng)庫(kù)服務(wù)支持導(dǎo)入文件和gds導(dǎo)入兩種方式。加載時(shí)，不支持中文路徑。例如，如果要自動(dòng)獲取壓縮文件，請(qǐng)?jiān)贠BS上把數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)中。在OBS外表中保存了導(dǎo)出數(shù)據(jù)的步驟：開(kāi)始創(chuàng)建外部服務(wù)器、數(shù)據(jù)庫(kù)。OBS外表：用于識(shí)別OBS服務(wù)器上的數(shù)據(jù)。外表中保存了數(shù)據(jù)源文件的位置、文件格式、存放位置、編碼格式、數(shù)據(jù)間的分隔符等信息。導(dǎo)入結(jié)束后，除了使用GDS外表并行導(dǎo)出到OBS并行導(dǎo)出。獲取OBS桶中的數(shù)據(jù)，并將數(shù)據(jù)從GaussDB(DWS)數(shù)據(jù)庫(kù)導(dǎo)出到外部。根據(jù)獲取的導(dǎo)出數(shù)據(jù)格式進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，一般需要選擇ES服務(wù)。外表ForeignTable：用于識(shí)別數(shù)據(jù)源文件中的數(shù)據(jù)。外表中保存了數(shù)據(jù)格式信息的文件，一般都是指定的是OBS外表。存放導(dǎo)出數(shù)據(jù)文件的位置、文件格式、存放位置、編碼格式、數(shù)據(jù)間的分隔符等信息。OBS：數(shù)據(jù)存儲(chǔ)在OBS上的文件路徑。