データ品質はデータガバナンスの中核的な要素の一つであり、ユーザーがData Integrationとデータ開発において発生したダーティデータをいち早く検出し、異常タスクを自動的にブロックし、ダーティデータが下流へ伝播するのを防ぎ、ユーザーの問題処理コストとリソース消費を削減することを目的としています。
適用ロール：データ開発エンジニア、数倉庫テーブル責任者。
料金説明
データ品質タスクの実行によって発生する費用は、主に以下の3つの部分で構成されます：
1. WeData製品機能バージョン費用（前提）。
2. WeData実行リソース費用：品質タスクインスタンスが消費するスケジューリングリソースに基づいて従量課金されます。
3. WeData直接費用以外：品質タスクの検証にはエンジン、データソースサービスの連携実行が必要です（例：EMR、DLC、TCHouse-D、TCHouse-Pなど）。これによりエンジン費用が発生し、この費用はエンジン側が請求し、WeDataの請求書の課金項目には含まれません。各エンジンの具体的な料金基準については、Tencent Cloud公式サイトで各エンジン製品ドキュメントの課金説明を参照してください。
コア機能
品質モジュールには、主に以下のコア機能が含まれます：
1. 複数のTencent Cloudビッグデータストレージエンジン（EMR、DLC、TCHouse-P、TCHouse-D）およびオープンソースのビッグデータストレージエンジン（Doris）をサポートします。
2. テーブルレベル、フィールドレベルでデータ品質検証ルールを設定できます。
3. 実際のビジネスシナリオに基づいて実行戦略を設定します。
4. ルールの強弱を設定することで、下流タスクをブロックするかどうかが決まります。
5. ユーザーへの複数の通知方法（WeComグループ、WeChat、電話、SMS、メール、Feishuグループ、DingTalkグループ）をサポートします。
6. 6つのディメンション（正確性、適時性、完全性、一意性、一貫性、有効性）から品質スコアを統計し、ライブラリ・テーブルディメンションの品質レポートを作成できます。
モジュール機能
データ品質各モジュールの機能紹介は以下の通りです：
|
品質概要 | 品質結果概要： 検出状況、ルール実行状況を確認します。 アラート状況、テーブルアラートランキングを表示します。 |
ルールテンプレート | ルールテンプレートを統一的に管理し、統一的な再利用を容易にします： 56以上のシステム内蔵テンプレート：表示のみサポートします。 カスタムルールテンプレート：追加・削除・変更・検索操作をサポートします。 |
データ監視 | 検出ルールを作成します： 複数のTencent Cloudビッグデータエンジン（EMR、DLC、TCHouse-P、TCHouse-D、Doris）をサポートします。 複数の新規作成方法（単一テーブル追加、複数テーブル追加、一括アップロード）をサポートします。 検出ルールを表示します： 複数の表示方法（すべて表示、テーブルディメンション、ルールディメンション）をサポートします。 特定のテーブルのルールリストを表示し、ルール管理を行うことをサポートします。 |
運用保守管理 | 実行インスタンスと結果： 品質タスクの実行結果の確認をサポートし、各ルールの履歴実行状況を確認できます。 実行結果のエクスポートをサポートし、履歴エクスポートログを確認できます。 品質タスク： 生成済みの品質検出タスクの表示をサポートします。 品質タスクにアラート情報を設定することをサポートします。 アラート情報： 履歴アラート状況の表示をサポートします。 |
品質レポート | 品質レポート： 履歴実行結果を複数のディメンション（テーブル、ルールディメンション）で品質スコアとして集計することをサポートします。 複数のディメンションで品質スコア（総合品質度、ディメンション品質スコア、品質スコア明細）を表示することをサポートします。 |
コアフロー
主要用語の説明：
|
独立周期 | 選択したデータベーステーブル、コアビジネスフィールドに対して、日次、時間次、分次などのカスタム頻度で周期的な品質検出を設定します。品質タスクは設定された周期で定期的に実行され、異常を検出した場合、直ちにサブスクライバーに通知します。 |
関連スケジューリング | 品質タスクを生産タスク（データ同期タスクまたはデータ開発タスク）と関連付けます。生産タスクの実行が終了した後、品質ルールタスクを挿入して実行します。異常を検出した場合、直ちに処理担当者に通知して処理を行い、タスクレベルに応じて下流タスクの実行をブロックし、問題データの拡散を防ぎます。 |
注意事項
EMR、DLC、TCHouse-P、TCHouse-Dでテーブル、フィールドのデータ品質ルールを設定した後、データを生成するスケジュールノードは、ネットワークが接続済みのスケジュールリソースグループを使用して実行する必要があります。また、実行マシンが安定しており、バージョンが最新版に更新されていることを保証することで、データ品質ルールの検証を正常にトリガーできます。
各テーブルに複数のテーブルレベル、フィールドレベルのデータ品質ルールを設定でき、同時に検証を実行できます。