數(shù)據(jù)質(zhì)量基本功能介紹
數(shù)據(jù)質(zhì)量：可控可檢驗(yàn)
數(shù)據(jù)質(zhì)量模塊支持對(duì)業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗(yàn)，幫助用戶及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題。
業(yè)務(wù)指標(biāo)監(jiān)控
- 業(yè)務(wù)指標(biāo)監(jiān)控是對(duì)業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場(chǎng)景，實(shí)時(shí)、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求。
數(shù)據(jù)質(zhì)量監(jiān)控
- 數(shù)據(jù)質(zhì)量監(jiān)控是對(duì)數(shù)據(jù)庫(kù)里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性。
- 數(shù)據(jù)質(zhì)量可以從完整性、有效性、及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析，也支持?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，支持周期性的監(jiān)控。
業(yè)務(wù)指標(biāo)監(jiān)控概述
業(yè)務(wù)指標(biāo)監(jiān)控模塊是對(duì)業(yè)務(wù)指標(biāo)進(jìn)行質(zhì)量管理的工具。
- 為了進(jìn)行業(yè)務(wù)指標(biāo)監(jiān)控，您可以先自定義SQL指標(biāo)，然后通過(guò)指標(biāo)的邏輯表達(dá)式定義規(guī)則，最后新建并調(diào)度運(yùn)行業(yè)務(wù)場(chǎng)景。通過(guò)業(yè)務(wù)場(chǎng)景的運(yùn)行結(jié)果，您可以判斷業(yè)務(wù)指標(biāo)是否滿足質(zhì)量規(guī)則。
業(yè)務(wù)指標(biāo)監(jiān)控主界面包括以下功能模塊。
|
功能
|
說(shuō)明
|
|---|---|
總覽 |
默認(rèn)首頁(yè)是總覽頁(yè)面，顯示了業(yè)務(wù)場(chǎng)景實(shí)例的運(yùn)行狀態(tài)和告警狀態(tài)。 主要包括以下幾部分內(nèi)容： 快速入門，介紹業(yè)務(wù)指標(biāo)監(jiān)控的業(yè)務(wù)流。 最近7天內(nèi)的業(yè)務(wù)場(chǎng)景實(shí)例運(yùn)行分布情況、實(shí)例告警運(yùn)行分布情況。 可選周期內(nèi)的告警趨勢(shì)圖、業(yè)務(wù)場(chǎng)景看板圖、指標(biāo)看板圖。 |
指標(biāo)管理 |
指標(biāo)管理是業(yè)務(wù)指標(biāo)監(jiān)控的核心功能模塊，是配置指標(biāo)的主要入口。 |
規(guī)則管理 |
規(guī)則管理是配置規(guī)則的主要入口，支持通過(guò)指標(biāo)的邏輯表達(dá)式定義規(guī)則。 |
業(yè)務(wù)場(chǎng)景管理 |
業(yè)務(wù)場(chǎng)景可以認(rèn)為是業(yè)務(wù)指標(biāo)質(zhì)量作業(yè)，將創(chuàng)建的規(guī)則組進(jìn)行調(diào)度運(yùn)行。 |
運(yùn)維管理 |
運(yùn)維管理用于查看業(yè)務(wù)場(chǎng)景運(yùn)行狀態(tài)，處理運(yùn)維問(wèn)題。其中我的訂閱中顯示了所有訂閱的任務(wù)運(yùn)行情況。 |
數(shù)據(jù)質(zhì)量監(jiān)控概述
數(shù)據(jù)質(zhì)量監(jiān)控DQC（Data Quality Control）模塊是對(duì)數(shù)據(jù)庫(kù)里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具。您可從完整性、有效性、及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析。數(shù)據(jù)質(zhì)量支持對(duì)離線數(shù)據(jù)的監(jiān)控，當(dāng)離線數(shù)據(jù)發(fā)生變化時(shí)，數(shù)據(jù)質(zhì)量會(huì)對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)，并阻塞生產(chǎn)鏈路，以避免問(wèn)題數(shù)據(jù)污染擴(kuò)散。同時(shí)，數(shù)據(jù)質(zhì)量提供了歷史校驗(yàn)結(jié)果的管理，以便您對(duì)數(shù)據(jù)質(zhì)量分析和定級(jí)。
另外，數(shù)據(jù)質(zhì)量監(jiān)控DQC支持根據(jù)數(shù)據(jù)架構(gòu)中的數(shù)據(jù)標(biāo)準(zhǔn)，自動(dòng)生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，并進(jìn)行周期性的監(jiān)控。
數(shù)據(jù)質(zhì)量監(jiān)控主界面包括以下功能模塊。
|
功能
|
說(shuō)明
|
|---|---|
總覽 |
默認(rèn)首頁(yè)是總覽頁(yè)面，顯示了數(shù)據(jù)表的報(bào)警和阻塞情況。 主要包括以下幾部分內(nèi)容： 所選周期內(nèi)的作業(yè)數(shù)、實(shí)例數(shù)、異常表數(shù)，以及各種實(shí)例運(yùn)行狀態(tài)的分布和變化趨勢(shì)情況。 當(dāng)天告警分類統(tǒng)計(jì)、當(dāng)天數(shù)據(jù)表告警統(tǒng)計(jì)、最近7天規(guī)則告警分類趨勢(shì)的統(tǒng)計(jì)和最近7天規(guī)則數(shù)量的趨勢(shì)。 |
規(guī)則模板 |
質(zhì)量規(guī)則模板是數(shù)據(jù)質(zhì)量的核心功能，是配置規(guī)則的主要入口。它主要管理規(guī)則配置（內(nèi)置模板和自定義模板）的相關(guān)功能。 |
質(zhì)量作業(yè) |
質(zhì)量作業(yè)可將規(guī)則模板或自定義規(guī)則應(yīng)用到表中，進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控。 |
對(duì)賬作業(yè) |
對(duì)賬作業(yè)可將創(chuàng)建的規(guī)則應(yīng)用到兩張表中進(jìn)行質(zhì)量監(jiān)控，并輸出對(duì)賬結(jié)果。 |
運(yùn)維管理 |
運(yùn)維管理用于查看規(guī)則運(yùn)行狀態(tài)，處理運(yùn)維問(wèn)題。 |
質(zhì)量報(bào)告 |
系統(tǒng)根據(jù)作業(yè)的結(jié)果，會(huì)自動(dòng)生成質(zhì)量報(bào)告。 |