監視タスクにルールを追加する
ダウンロード
フォーカスモード
フォントサイズ
事前説明
タイプ | 説明 |
データソースタイプ | 現在、WeDataは以下のデータソースタイプ：をサポートしています。 EMR：EMR-Hive、EMR-StarRocks、EMR-iceberg、 DLC TCHouse-P TCHouse-X TCHouse-D Doris |
追加方法 | 現在、WeDataは以下の3つの追加方法：をサポートしています。 監視タスクの作成-ルールの追加：監視の下で品質ルールを作成します。 ルールは1つのテーブルにのみ追加できます（監視タスクは1つのテーブルのみ監視できます）。 一度に複数のルールを追加できます。 複数テーブル追加：同じデータソース内の複数テーブルの複数フィールドに対して、監視ルールを一括作成します。 一度に複数のテーブル、複数のフィールドを選択できます。 一度に選択できる監視ルールは1つだけです。 一括アップロード：Excelテンプレートをアップロードして、一括インポートします。 一度に1種類のデータソースタイプのみを対象にできます。 カスタムSQLのみサポートされます（組み込みテンプレートとカスタムテンプレートはサポートされません）。 一度にアップロードできるのは100件のみです。 |
品質監視タスクの作成
ガバナンスセンター > データ監視 > EMR画面に入り、監視を新規追加をクリックして、品質監視の新規追加を開始します。
ステップ1：監視情報の設定
監視対象
監視を新規作成画面に入り、監視対象のデータソースタイプ、データソース、データベース、監視テーブルを順に選択します。
基本情報
監視名を入力します。デフォルトの監視名は監視テーブル名_監視作成タイムスタンプです。
説明：
識別しやすい監視名を入力することをお勧めします。監視タスクインスタンス内の検出結果のビジネス上の意味を理解しやすくなります。
例えば：監視名が「華北地区売上表の毎月定期検査」の場合、運用保守管理には「華北地区売上表の毎月定期検査」の各実行が検査成功か検査失敗かが表示されます。
また、解釈を容易にするために、業務説明を追加することもできます。
実行ポリシー
要素 | 説明 |
実行エンジン | ここでは Hive と Spark を選択できます。購入した EMR リソースに関係し、通常、Hive テーブルでは Hive エンジンを直接選択できます。 |
コンピューティングリソース | default を選択します。 ここでは EMR クラスタ内のリソースグループを選択できます。通常は default を直接選択できます。 |
実行リソース | ここでいう実行リソースとは、プロジェクトにすでにバインドされているスケジュールリソースグループです。 |
アプリケーションパラメータ | Sparkエンジンにアプリケーションパラメータを設定できます。 例：--executor-cores 2 --executor-memory 4G --num-executors 10 --driver-cores 1 --driver-memory 1G --conf spark_task_maxFailures=3 説明： 1. 【プロジェクト管理-ストレージ・コンピューティングエンジン構成-EMR-キュー情報】でプロジェクト構成優先が選択されている場合、アプリケーションパラメータに入力された--queueパラメータは有効にならず、タスクはタスク構成で選択されたリソースキューを使用します。 2. 広州地域では現在この機能をサポートしていません。 |
実行方式 | ここでは関連生産スケジュールとオフライン周期検出を選択できます： 関連生産スケジュール：品質タスクを生産タスク（データ同期タスクまたはデータ開発タスク）と関連付けます。生産タスクの実行が終了した後、品質監視タスクを挿入して実行します。異常を検出した場合、直ちに処理担当者に通知して処理を行い、監視下のルールレベルに応じて下流タスクの実行をブロックし、問題データの拡散を防ぎます： 説明： 同じ品質検出タスクは複数の生産タスクに関連付けることができます。同じ生産タスクも複数の品質検出タスクに関連付けることができます。 オフライン周期検出：独立スケジュールです。選択したデータベーステーブル、コアビジネスフィールドに対して、日次、時間次、分次などのカスタム頻度で周期的な品質検出を設定します。品質タスクは設定された周期で定期的に実行され、異常を検出した場合、直ちにサブスクライバーに通知します。 |
関連タスク | ここでは、関連付ける必要がある生産タスクが属するモジュールを選択できます。開発空間またはData Integrationで、最大5つのタスクのみ関連付けることができます： 開発スペース：開発スペース内のディレクトリツリー構造を表示し、フォルダまたはタスク名の検索をサポートします。 Data Integration：Data Integration内のタスクリストを表示します。 |
次へをクリックすると、監視の作成が完了し、関連ルール画面に移動します。
ステップ2：ルールの関連付け
関連ルールは同じテーブルに表示され、他の監視タスクに関連付けられていないルールです。品質ルールの編集または関連付けをサポートします（オプション）。
注意：
監視に関連付けられていない品質ルールは実行されません。
既存のルールで業務ニーズを満たせない場合は、既存ルールを関連付けをクリックします。
この監視に関連付けられているすべてのルールを表示します。以前に関連付けられたすべての品質ルールがここに表示されます。
新規ルールの作成
ルールリストの新規ルールをクリックすると、新規ルールダイアログが表示され、品質検証のための選択が可能です。
一度に複数のルールを追加できます。追加されたルールはこの監視に直接関連付けられます。
説明：
要素 | 説明 |
ルールタイプ | システムテンプレート、カスタムテンプレート、カスタムSQLを選択できます（左側のツリー図からルールテンプレートを選択した場合、ここには選択したテンプレートのパラメータがデフォルトで表示されます）： システムテンプレート：WeDataにはすでに76個のルールテンプレートが組み込まれており、無料で使用できます。そのうち20個のテンプレートは推論テーブルに適用されます。各テンプレートの詳細な紹介説明については、システムテンプレート説明を参照してください。 カスタムテンプレート：ルールテンプレートメニューで自社の業務に適したルールを追加でき、再利用に便利です。詳細な操作手順については、カスタムテンプレート説明をご覧ください。 カスタムSQL：SQL文を直接入力して検出ルールとして使用できます。詳細な操作手順については、品質ルールの新規追加を参照してください。 |
監視対象 | 監視対象は、テーブルレベルとフィールドレベルに分けられます（左側のツリー図からルールテンプレートを選択した場合、ここには選択したテンプレートのパラメータがデフォルトで表示されます）： テーブルレベルでは、テーブル行数、テーブルサイズ（Hiveテーブルのみ対応）を監視できます。 フィールドレベルでは、フィールドが空かどうか、重複しているかどうか、平均値、最大値、最小値などを監視できます。 |
テンプレートを選択 | （左側のツリー図からルールテンプレートを選択した場合、ここには選択したテンプレートのパラメータがデフォルトで表示されます） |
検出範囲 | 全表または条件スキャンを選択できます。 全テーブル：品質ルールはテーブル内の全データを検証します。 条件スキャン：品質ルールはここで入力した検出範囲のみを検証します。 例：
説明： ここには通常パーティションフィールドを入力し、毎回の品質タスクで全表スキャンが実行され、コンピューティングリソースが浪費されるのを防ぎます。 SQL内の${yyyy-MM-dd-1d} は日付変数であり、実行日の前日を表します。品質タスクの実行時に具体的な日付に置き換えられます。 例：品質タスクが2024 - 05 - 02 00:00:00に実行される場合、${yyyy-MM-dd-1d}は2024 - 05 - 01に置き換えられます。 |
トリガー条件 | 比較演算子：小なりを選択します。 比較値：1を入力します。 テーブル行数が1未満であり、検出範囲に入力された時間変数と組み合わせた場合、つまり昨日新しいデータが追加されなかったときにアラートがトリガーされます。 説明： ここで入力するトリガー条件は異常値、つまりアラートをトリガーする条件です。 |
トリガーレベル | 中を選択します。 トリガーレベルは高、中、低に分けられます。 高：アラートがトリガーされると、下流タスクの実行を直ちにブロックします（関連する本番タスクのみ有効）。 中：アラートのみをトリガーします。 低：アラートをトリガーせず、結果表示のみが異常です。 |
試用運転
1. テスト実行するルールを選択し、テスト実行をクリックします。
2. スケジュール時間を変更し、テスト実行を開始をクリックします。テスト実行が終了した後、クリックして実行結果を表示をクリックできます。
説明：
データ挿入時に入力したデータパーティションが2024-05-01であるため、ここには2024-05-02を入力できます。
試用運転結果の確認
1. 実行インスタンスと結果ページに入った後、左側のドロップダウン三角形をクリックして、ルール詳細を展開できます。
2. ある監視項目の実行履歴をクリックし、過去の実行結果を確認します。
一括関連解除
選択したルールとこの監視との関連付けを一括解除します。
注意：
監視に関連付けられていない品質ルールは実行されません。
このルールを再度関連付けたい場合は、ルール関連付けページで操作できます。
サブスクリプションの設定
品質検出タスクの実行結果がトリガー条件を満たした場合（つまり結果が予期せぬものであり、検出結果が失敗の場合）、どの方法で通知を送信し、誰に通知するかを設定します。
サブスクリプション設定画面に入り、サブスクリプション方法を選択し、受信者を設定し、保存をクリックします。
監視の有効化
監視のテスト実行結果に基づき、監視ステータス列で監視を有効化または監視を無効化できます（監視は作成後にデフォルトで有効になります）。
説明：
有効状態の監視タスクのみが自動的に実行されます。
添付：推論表テンプレート使用説明
推論テーブルに対して、20個の内蔵テンプレートがサポートされており、テンプレートごとに入力するパラメータが異なります。パラメータの違いに基づき、テンプレートは3つのカテゴリに分類されます。本文書では、3つのカテゴリからそれぞれ1つのテンプレートをサンプルとして説明します。
カテゴリ1：「カイ二乗検定」をサンプルとして使用します。
追加パラメータには特徴列、ベースラインデータテーブルがあります。必須項目です。
注意：
特徴列にはテーブル内のタグ列のフィールドを選択する必要があり、ベースラインデータテーブルにはベースラインテーブルを選択する必要があります。選択したフィールドが正しくない場合、以下の3つの結果が生じる可能性があります：
1. タスクが直接エラーを報告します。
2. 計算結果が空で、データがありません（ページには「-」と表示されます）。
3. データはありますが、モデルトレーニングにとって実際の参考価値はほとんどありません。
カテゴリ2：「正確率」をサンプルとして使用します。
追加パラメータにはタグ列と予測列があります。必須項目です。
注意：
タグ列と予測列には、テーブル内のタグ列と予測列のフィールドを選択する必要があります。選択したフィールドが正しくない場合、以下の3つの結果が生じる可能性があります：
1. タスクが直接エラーを報告します。
2. 計算結果が空で、データがありません（ページには「-」と表示されます）。
3. データはありますが、モデルトレーニングにとって実際の参考価値はほとんどありません。
カテゴリ3：「予測パリティ」をサンプルとして使用します。
追加パラメータにはタグ列、正クラスラベル値、予測列、比較列、保護値があります。必須項目です。
注意：
タグ列、正クラスラベル値、予測列、比較列、保護値には、テーブル内の正クラスラベル値、予測列、比較列、保護値のフィールドを選択する必要があります。選択したフィールドが正しくない場合、以下の3つの結果が生じる可能性があります：
1. タスクが直接エラーを報告します。
2. 計算結果が空で、データがありません（ページには「-」と表示されます）。
3. データはありますが、モデルトレーニングにとって実際の参考価値はほとんどありません。
フィードバック