ルールの一括追加
ダウンロード
フォーカスモード
フォントサイズ
ルールリストでは、複数テーブルへのルール追加とルールの一括アップロードを通じて、複数のテーブルに対して品質ルールを一括設定できます。
複数テーブルへのルール一括追加
複数のテーブルに対して監視ルールを設定することをサポートします。
適用シーン：複数のテーブルに同じ監視ルールを一度に追加します。
ステップ1：作成ページに入る
データ品質 > データ監視 > EMR 画面に入り、複数テーブルへのルール追加をクリックして、複数の品質ルールの追加を開始します。
説明：
現在、WeDataは以下のデータソースタイプをサポートしています：EMR-Hive、DLC、TCHouse-P、TCHouse-D、Doris。
ステップ2：監視範囲を設定する
1. ルールの一括追加をクリックし、ルールの一括追加画面に入ると、複数テーブルの監視または複数フィールドの監視を選択できます。
複数テーブル：同じデータソースの複数のテーブルを追加し、データベースをまたぐことができます。
複数フィールド：同じデータソースの複数のテーブルを追加し、データベースやテーブルをまたぐことができます。
2. テーブル追加をクリックし、テーブル/フィールドを追加します：
手動で追加：チェックを入れるだけで完了します。
一括アップロード：Excelをアップロードする必要があります。複数テーブル監視と複数フィールド監視ではテンプレートが異なります。
複数テーブルの監視：Excelには3つの列が含まれます：データソース名、データベース名、テーブル名。
複数フィールドの監視：Excelには4つの列が含まれます：データソース名、データベース名、テーブル名、フィールド名。
3. 次へをクリックし、ルール設定ページに進みます。
ステップ3：監視ルールを設定する
1. ルールテンプレートを選択：システムテンプレートとカスタムテンプレートのみサポートされます。
システムテンプレート：WeDataにはすでに56個のルールテンプレートが組み込まれており、無料で使用できます。各テンプレートの詳細な紹介説明については、システムテンプレート説明をご覧ください。
カスタムテンプレート：ルールテンプレートメニューで自社の業務に適したルールを追加でき、再利用に便利です。詳細な操作手順については、カスタムテンプレート説明をご覧ください。
テーブルパラメータ：カスタムテンプレートに入力されたSQL文に基づいて、ページを描画し、ユーザーが選択できるようにします。
table_1は現在選択されているテーブルを示します。table_2...table_nは他のテーブルを示し、確定が必要なテーブルです（現在は1つのみサポートされます）。
${table_1.column_1}...${table_1.column_n}はテーブル内のフィールドを示し、確定するフィールドを選択する必要があります。
whereパラメータ：カスタムテンプレートに入力されたSQL文に基づいて、ページを描画し、ユーザーが選択できるようにします。
${param_1}...${param_n}はwhere条件のパラメータを示し、確定した値を入力する必要があります。
2. テンプレートを選択：ここではルールタイプ、監視対象に基づいてフィルタリングされます。
例えば、システムテンプレートを選択し、監視対象としてテーブルレベルを選択した場合、ここではテーブル行数、テーブルサイズのみを選択できます。
3. トリガー条件：比較演算子は範囲値と大小値を選択できます。
例：テーブル行数が1未満であり、検出範囲に入力された時間変数と組み合わせた場合、つまり昨日新しいデータが追加されなかったときにアラートがトリガーされます。
比較演算子：
、を選択します。比較値：1を入力します。
説明：
ここで入力するトリガー条件は異常値、つまりアラートをトリガーする条件です。
4. 次へをクリックし、実行ポリシー設定ページに進みます。
ステップ4：監視の関連付け
1. 関連監視フィールドで、ドロップダウンリストをクリックし、このルールに対応するテーブル内の監視タスクを選択して関連付けます。
2. 品質監視タスクを一括で新規作成して関連付ける必要がある場合は、対応するルールを選択し、監視を一括作成をクリックします。
3. 監視を作成すると、選択したルールは自動的に作成済みの監視と関連付けられます。作成済みの監視は監視リストに表示されます。
ステップ5：サブスクリプションを設定する
サブスクリプション通知を設定します。品質検出タスクの実行結果がトリガー条件を満たした場合（つまり結果が予期せぬものであり、検出結果が失敗の場合）、どの方法で通知を送信し、誰に通知するかを設定します。
1. サブスクリプション情報を一括設定画面に入り、サブスクリプション情報を一括設定します。
2. サブスクリプション設定画面で、必要なサブスクリプション方法を選択し、受信者を設定します。保存をクリックします。
ステップ6：検出範囲を設定する
1. 検出範囲を一括設定をクリックし、検出範囲の設定画面に進むと、検出範囲を一括設定できます。
2. ポップアップ画面で以下の情報を入力します：
ここでは条件スキャンと全表を選択できます。条件スキャンを選択することを推奨します。
パーティションのwhere条件を入力できます。例えば：
pt_date='${yyyy-MM-dd-1d}'
説明：
ここには通常パーティションフィールドを入力し、毎回の品質タスクで全表スキャンが実行され、コンピューティングリソースが浪費されるのを防ぎます。
SQL内の${yyyy-MM-dd-1d} は日付変数であり、実行日の前日を表します。品質タスクの実行時に具体的な日付に置き換えられます。
例えば、品質タスクが2024 - 05 - 02 00:00:00に実行される場合、${yyyy-MM-dd-1d}は2024 - 05 - 01に置き換えられます。
ステップ7：試行実行
1. ルールを選択し、テスト実行をクリックします。
2. スケジュール時間を変更し、テスト実行を開始をクリックします。テスト実行が終了した後、クリックして実行結果を表示をクリックできます。
説明：
ここで入力したスケジュール時間は、パーティション時間変数を変更します。
例えば、ここに2024 - 05 - 02を入力した場合、${yyyy-MM-dd}は2024-05-02を表し、${yyyy-MM-dd-1d}は2024 - 05 - 01を表します。
ルールの一括アップロード
Excelをアップロードして添付ファイルを追加し、品質監視ルールを新規作成します。複数のテーブルに対して監視ルールを設定できます。
適用シーン：複数のテーブルに複数の監視ルールを一度に追加します。
ステップ1：作成ページに入る
データ品質 > データ監視 > EMR画面に入り、ルールの一括アップロードをクリックすると、複数の品質ルールを追加できます。
説明：
現在、WeDataは以下のデータソースタイプをサポートしています：EMR-Hive、DLC、TCHouse-P、TCHouse-D、Doris。
ステップ2：テンプレートをアップロードする
1. データ監視 > ルールの一括アップロード画面に入り、アップロードテンプレート画面でテンプレートをダウンロードをクリックします。ローカルで変更後、クリックしてアップロードをクリックすると、テンプレートをアップロードできます。
SQL文：ここにSQL文を入力する必要があります。要件は以下の通りです：
結果は1行1列、つまり固定値である必要があります。
パーティション変数のみを使用できます。例えば、${yyyy-MM-dd}です。
テーブル名と列名変数を使用することはできません。
トリガー条件：比較演算子と比較値は、半角コロンで区切ります。
比較演算子：漢字を入力するだけで十分です。
比較値：数値を入力するだけで十分です。
2. 次へをクリックして設定を続行します。
ステップ3：監視の関連付け
1. 関連監視フィールドで、ドロップダウンリストをクリックし、このルールに対応するテーブル内の監視タスクを選択して関連付けます。
2. 品質監視タスクを一括で新規作成して関連付ける必要がある場合は、対応するルールを選択し、監視を一括作成をクリックします。
3. 監視を作成すると、選択したルールは自動的に作成済みの監視と関連付けられます。作成済みの監視は監視リストに表示されます。
ステップ4：サブスクリプションを設定する
サブスクリプション通知を設定します。品質検出タスクの実行結果がトリガー条件を満たした場合（つまり結果が予期せぬものであり、検出結果が失敗の場合）、どの方法で通知を送信し、誰に通知するかを設定します。
1. サブスクリプション情報を一括設定画面に入り、サブスクリプション情報を一括設定します。
2. サブスクリプション設定画面で、必要なサブスクリプション方法を選択し、受信者を設定します。保存をクリックします。
ステップ5：検出範囲を設定する
1. 検出範囲を一括設定をクリックし、検出範囲の設定画面に進むと、検出範囲を一括設定できます。
2. ポップアップ画面で以下の情報を入力します：
ここでは条件スキャンと全表を選択できます。条件スキャンを選択することを推奨します。
パーティションのwhere条件を入力できます。例えば：
pt_date='${yyyy-MM-dd-1d}'
説明：
ここには通常パーティションフィールドを入力し、毎回の品質タスクで全表スキャンが実行され、コンピューティングリソースが浪費されるのを防ぎます。
SQL内の${yyyy-MM-dd-1d} は日付変数であり、実行日の前日を表します。品質タスクの実行時に具体的な日付に置き換えられます。
例えば、品質タスクが2024 - 05 - 02 00:00:00に実行される場合、${yyyy-MM-dd-1d}は2024 - 05 - 01に置き換えられます。
ステップ6：試行実行
1. ルールを選択し、テスト実行をクリックします。
2. スケジュール時間を変更し、テスト実行を開始をクリックします。テスト実行が終了した後、クリックして実行結果を表示をクリックできます。
説明：
ここで入力したスケジュール時間は、パーティション時間変数を変更します。
例えば、ここに2024-05-02を入力した場合、${yyyy-MM-dd}は2024-05-02を表し、${yyyy-MM-dd-1d}は2024-05-01を表します。
フィードバック