檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
數(shù)據(jù)如何存儲到數(shù)據(jù)倉庫服務(wù)?
Database,即數(shù)據(jù)庫,用于管理各類數(shù)據(jù)對象,各數(shù)據(jù)庫間相互隔離。 Datafile Segment,即數(shù)據(jù)文件,通常每張表只對應(yīng)一個數(shù)據(jù)文件。如果某張表的數(shù)據(jù)大于1GB,則會分為多個數(shù)據(jù)文件存儲。 Table,即表,每張表只能屬于一個數(shù)據(jù)庫。 Block,即數(shù)據(jù)塊,是數(shù)據(jù)庫管理的基本單位,默認大小為8KB。
CHECKSUM 在MySQL中,CHECKSUM表示對所有的行維護實時校驗和。DWS不支持該屬性修改表定義信息,DSC遷移時會將該關(guān)鍵字刪除。 輸入示例 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE `public`.`runoob_alter_test`(
GROUP BY轉(zhuǎn)換 MySQL/ADB分組查詢的時候允許查詢非分組字段,不報錯;DWS分組查詢時只能查詢分組字段和聚集函數(shù),報錯。需要在MYSQL兼容模式下,并開啟disable_full_group_by_mysql配置項兼容此語法。 參考平臺和客戶端兼容性 輸入示例 1 SELECT
JSON類型 概述 JSON數(shù)據(jù)類型可以用來存儲JSON(JavaScript Object Notation)數(shù)據(jù),DSC工具支持以下列出類型轉(zhuǎn)換。 類型對照 輸入示例JSON 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`(
UPDATE MySQL的UPDATE操作形式包括:LOW_PRIORITY、ORDER BY、LIMIT 、IGNORE。 LOW_PRIORITY MySQL UPDATE語句如果使用LOW_PRIORITY修飾符,則執(zhí)行UPDATE延遲。 輸入示例 1 2 #測試 LOW_PRIORITY
DEFAULT,DEFAULT); SET MySQL INSERT...SET語句的形式插入基于明確指定的值的行。 輸入示例 1 2 3 4 # INSERT INTO SET 可以針對性的執(zhí)行插入操作,但是一次只能插入一行數(shù)據(jù),不能批量添加數(shù)據(jù) INSERT INTO exmp_tb2
數(shù)字類型 概述 數(shù)據(jù)類型是數(shù)據(jù)的一個基本屬性,用于區(qū)分不同類型的數(shù)據(jù)。不同的數(shù)據(jù)類型所占的存儲空間不同,能夠進行的操作也不相同。數(shù)據(jù)庫中的數(shù)據(jù)存儲在數(shù)據(jù)表中。數(shù)據(jù)表中的每一列都定義了數(shù)據(jù)類型,用戶存儲數(shù)據(jù)時,須遵從這些數(shù)據(jù)類型的屬性,否則可能會出錯。下表列出了MySQL數(shù)字類型到DWS的轉(zhuǎn)換示例。
集合類型 概述 MySQL ENUM是一個字符串對象,具有從列創(chuàng)建時在列規(guī)范中明確枚舉的允許值列表中選擇的值。 SET是一個字符串對象,可以有零個或多個值,每個值必須從創(chuàng)建表時指定的允許值列表中選擇。 類型對照 表1 集合類型對照表 MySQL集合類型 MySQL INPUT DWS
71/software選擇:GaussDB Tools Data Studio 6.5.1.SPC1復制鏈接到瀏覽器,同意協(xié)議,下載3. 數(shù)據(jù)遷移工具下載https://support.huawei.com/enterprise/zh/cloud-computing/fusion
BIGINT NOT NULL DEFAULT 0; SELECT * FROM default_test_1; 表1 數(shù)據(jù)類型 MYSQL DWS對應(yīng)數(shù)據(jù)類型 轉(zhuǎn)換結(jié)果 有符號整型 TINYINT SMALLINT 0 SMALLINT SMALLINT 0 MEDIUMINT
按需擴容:彈性按需擴容,靈活應(yīng)對用戶數(shù)據(jù)及負載潮汐變化 倉湖一體:DWS可以直接讀寫OBS對象存儲系統(tǒng)的數(shù)據(jù),支持數(shù)據(jù)冷熱分級 多源數(shù)據(jù)融合,實時數(shù)據(jù)迅捷分析 多源數(shù)據(jù)融合,實時數(shù)據(jù)迅捷分析 復雜SQL實時查詢,10+表格聯(lián)合運算,秒級返回結(jié)果 實時入倉批流融合60萬/秒/節(jié)點,T+0完成數(shù)據(jù)分析 多源數(shù)
ROLLUP MySQL中的group by column with rollup需要轉(zhuǎn)換為DWS中的group by rollup (column); 輸入示例 1 2 3 select id,product_id,count(1) from czb_account.equity_account_log
for MySQL至DWS集群 本實踐演示如何使用云數(shù)據(jù)遷移服務(wù)CDM將AnalyticDB for MySQL(后面簡稱ADB)數(shù)據(jù)遷移到DWS。 云數(shù)據(jù)遷移(Cloud Data Migration,簡稱CDM),是一種高效、易用的批量數(shù)據(jù)遷移服務(wù)。了解更多請參見云數(shù)據(jù)遷移CDM。
布爾類型 概述 MySQL 支持兩種布爾寫法:BOOL、BOOLEAN。DSC工具支持以下列出類型轉(zhuǎn)換。 類型對照 輸入示例BOOL/BOOLEAN 1 2 3 4 5 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`( `dataType_1`
FULLTEXT全文索引 DWS不支持FULLTEXT全文索引。DSC工具遷移時會根據(jù)DWS的特性進行相應(yīng)適配。 內(nèi)聯(lián)FULLTEXT全文索引。 輸入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
主要包括云上和云下的MySQL數(shù)據(jù)遷移,支持整庫遷移或者單表遷移,本文以云下MySQL的整庫遷移為例。 云下MySQL數(shù)據(jù)遷移: CDM通過公網(wǎng)IP訪問MySQL數(shù)據(jù)庫,CDM與DWS在同一個VPC下,CDM分別與MySQL和DWS建立JDBC連接。 云上RDS-MySQL數(shù)據(jù)遷移: RD
PARTITION BY 在MySQL中,PARTITION BY用于創(chuàng)建分區(qū)表。DWS目前僅對MySQL中的RANGE,LIST分區(qū)進行支持。 對于PARTITION BY的HASH分區(qū),DSC暫不支持該特性的完整遷移,將其移除。對于表的當前功能暫時沒有影響,性能方面可能存在些許差異。
LOCK DWS不支持MySQL中的“ALTER TABLE tbName LOCK”語句,DSC工具遷移時會將其刪除。 輸入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 CREATE
Worker2就是任務(wù)樹中的葉節(jié)點就是數(shù)據(jù)的掃描任務(wù),接受下級任務(wù)的數(shù)據(jù)輸入,向上級任務(wù)輸出數(shù)據(jù)。Crew2 Worker1和Crew2 Worker2中間的節(jié)點就是各種數(shù)據(jù)運算任務(wù),如Hash計算,Join操作,聚集操作和排序操作。接受下級任務(wù)的數(shù)據(jù)輸入,向上級任務(wù)輸出數(shù)據(jù)。在非阻塞的任務(wù)流程中