充分利用
云數(shù)據(jù)倉庫無縫對接Hadoop
GaussDB(DWS)可以無縫對接HDFS存儲，通過外表機制，能夠交互式查詢分析Hadoop平臺的數(shù)據(jù)，支持ORC/txt/csv/Parquet等文件格式，提供 大數(shù)據(jù) 分析能力。 基于Shared-nothing/MPP的對等并行計算模型可以充分利用CPU/IO/Mem等資源，獲得極致的運算性能和線性的可擴展性，從而支持PB級數(shù)據(jù)規(guī)模。 1.兼容標準SQL SQL兼容SQL92/99/2003標準，支持存儲過程，降低應用開發(fā)成本和 遷移 成本。 2.完備的事務支持 支持HDFS平臺通用的ORC格式數(shù)據(jù)增刪改，提供大數(shù)據(jù)平臺互聯(lián)互通能力?；贛VCC、兩階段提交分布式事務管理技術，支持ACID全事務能力。采用Smart Insert行列存混合存儲引擎，支持數(shù)據(jù)智能分配存儲，支持高速數(shù)據(jù)更新。 3.交互式的性能體驗 基于MPP全并行異步Pipeline分布式執(zhí)行框架，向量化執(zhí)行引擎，謂詞下推智能過濾掃描，LLVM等關鍵技術，實現(xiàn)內(nèi)核引擎極致性能，支持高性能交互式查詢分析。
云數(shù)據(jù)倉庫全并行計算
GaussDB(DWS)實現(xiàn)了一套高效能的分布式執(zhí)行引擎，充分利用集群中各節(jié)點的資源，發(fā)揮并行計算的極致性能。 圖片 GaussDB(DWS)的全并行計算 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwshxjs.png 如圖，GaussDB(DWS)的全并行計算核心技術如下： MPP節(jié)點并行 分布式執(zhí)行框架，VPP用戶態(tài)TCP協(xié)議，支持>1000服務器，萬級CPU核并行計算。 SMP（Symmetric Multi-Processing）算子并行 采用多線程并行算法執(zhí)行同一個SQL，充分利用多核CPU資源，支持眾核(>64 cores)，NUMA架構優(yōu)化。 SIMD（Single Instruction Multiple Data）指令級并行 一個指令執(zhí)行一批數(shù)據(jù)的操作，支持X86，ARM指令。 LLVM（Low Level Virtual Machine）動態(tài)編譯 將熱點函數(shù)預編譯成機器碼，減少SQL執(zhí)行指令數(shù)，提升性能。