バッチタスクの作成
ダウンロード
フォーカスモード
フォントサイズ
一括で周期的な単一テーブルタスクを作成し、30以上のリレーショナルデータソースをサポートすることで、タスク構成効率を向上させます。
条件と制限
1. ソース側およびターゲット側のデータソースを設定済みで、後続タスクで使用できるようにしました。
2. Data Integrationリソースグループを購入しました。
3. Data Integrationリソースグループとデータソースのネットワーク接続が完了しました。
4. データソース環境の準備が完了しました。同期タスクを実行する前に、必要な同期構成に基づいて、データソース構成のアカウントにデータベースで対応する操作を実行する権限を付与できます。
5. データソースに設定されたデータベースアカウントに読み書き権限がない場合、タスクの実行が失敗します。実際の読み書きシナリオに応じて、対応する権限を持つアカウントを設定してください。
ステップ1：バッチ単一テーブル同期タスクの新規作成
1. WeDataコンソールにログインします。
2. 左側のメニューにあるプロジェクトリストをクリックし、操作が必要な対象プロジェクトを見つけます。
3. プロジェクトを選択した後、Data Integrationモジュールをクリックして入ります。
4. 左側のメニューにあるオフライン同期 > 単一テーブル同期タスクの一括作成をクリックします。
5. 新規作成をクリックすると、単一テーブル同期タスクの一括作成設定ページに入ります。タスク名と説明を入力した後、作成して設定をクリックします。
パラメータ | 説明 |
タスク名 | タスクの名前です。 |
説明 | 任意項目です。 |
ステップ2：データノードの設定
読み取りノード
読み取りノードの共通設定には、タイプ、データソース、ソーステーブルなどが含まれます。
パラメータ | 説明 |
タイプ | データソースタイプを選択 |
データソース | 選択したデータソースタイプで利用可能なデータソースを選択します。 |
ソーステーブル | ソースデータベースとテーブルを選択します。  注意： ソーステーブルの1回のバッチタスクでサポートされる最大テーブル数は500です。 |
その他の設定項目 | 具体的なデータソースの設定方法を参照できます。詳細は、オフライン同期でサポートされるデータソースをご参照ください。 |
書き込みノード
書き込みノードの共通設定には、タイプ、データの書き込み先、データベースマッチングポリシー、テーブルマッチングポリシーなどが含まれます。
パラメータ | 説明 |
タイプ | データソースタイプを選択 |
データの転送先 | 選択したデータソースタイプで書き込み可能なデータソースを選択します。 |
データベースマッチングポリシー | ソースデータベースと同名：読み取りノードで選択したデータベース名と一致するデータベースをマッチングします。 カスタム：マッチングルールを入力する必要があります。組み込みパラメータと文字列を組み合わせてターゲットライブラリ名を生成できます。 |
テーブルマッチングポリシー | ソーステーブルと同名：読み取りノードで選択したデータテーブル名と一致するデータテーブルをマッチングします。 カスタム：マッチングルールを入力する必要があります。組み込みパラメータと文字列を組み合わせてターゲットテーブル名を生成できます。 |
その他の設定項目 | 具体的なデータソースの設定方法を参照できます。詳細は、オフライン同期でサポートされるデータソースをご参照ください。 |
説明：
読み取り端でサポートされるデータソースタイプ：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、TCHouse-Pプライベートクラウド、PostgreSQL、Oracle、SQL Server、IBM DB2、達夢DM、SAP HNNA、SyBase、OceanBase、Doris、HBase、Hive、Kudu、Greenplum、Clickhouse、GaussDB、Gbase、Impala、Vertica、Tbase、HDFS、COS、FTP、SFTP、S3、Iceberg、StarRocks。
書き込み端でサポートされるデータソースタイプ：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、TCHouse-Pプライベートクラウド、PostgreSQL、Oracle、SQL Server、IBM DB2、達夢DM、SAP HNNA、Doris、HBase、Hive、Kudu、Greenplum、Clickhouse、GaussDB、Gbase、Tbase、Impala、Vertica、COS、HDFS、FTP、SFTP、S3、Iceberg、StarRocks。
ステップ3：マッピング関係の設定
ケース1：データベース - データベースリンクのマッピング関係設定
パラメータ | 説明 | |
番号 | | 小さい順に並べ替え、マッピング関係リストの番号を表示します。 |
ソースデータベース | | データノード設定で読み取り側が選択したデータベースです。 |
ソーステーブル | | データノード設定で読み取り側が選択したデータテーブルです。 |
ターゲットデータベース | | データノード設定で書き込み側が選択したデータベースです。入力モードと選択モードに対応しています。 |
ターゲットテーブル | | データノード設定で書き込み側が選択したデータテーブルです。入力モードと選択モードに対応しています。 |
作成 | | 書き込み側のデータテーブルを作成し、ソーステーブルに基づいてターゲットテーブル構造を自動的に構築生成します。キーテーブル文の手動変更に対応しています。  説明： 以下のリンクで書き込み端のデータテーブルを作成することをサポートします： MySQL、Oracle、SQL Server、PostgreSQL -> Hive MySQL、TDSQL-C MySQL、PostgreSQL -> Doris MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、SQL Server、PostgreSQL、達夢DM -> Iceberg MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、OceanBase、PostgreSQL、達夢DM -> TChouse-P |
フィールドマッピングルール | | フィールドマッピング関係は、連線方式でターゲットフィールドの内容のソースを指定することを目的としています。同名マッピング、同行マッピングの選択に対応しており、タスク編集を通じてカスタムフィールドマッピングルールを設定できます。 |
リソースグループを設定します | | 利用可能なリソースグループをドロップダウンで選択できます。 |
操作 | タスクを編集 | データソースやフィールドマッピングルールなどの詳細な個別設定が可能です。 |
| 削除 | この行のマッピング関係を削除します。 |
ターゲットテーブルを一括作成します | | リストをチェックすると、書き込み側のデータテーブルを一括作成できます。 キーテーブルルールの確認：データソース、ソースデータベースなどのキーテーブル情報を確認し、テーブルステートメントのプレビュー/編集をサポートします。 一括テーブル作成：テーブル作成結果を表示し、テーブル作成文の表示、再試行をサポートします。  |
フィールドマッピングルールを一括設定します | | リストをチェックすると、マッピング関係を一括設定できます。同名マッピング、同行マッピングを選択できます。 |
リソースグループを一括設定します | | リストをチェックすると、利用可能なリソースグループを一括設定できます。 |
一括削除 | | リストをチェックすると、チェックしたマッピング関係を一括削除できます。 |
ケース2：ファイル - ファイルリンクのマッピング関係設定
パラメータ | 説明 | |
番号 | | 小さい順に並べ替え、マッピング関係リストの番号を表示します。 |
ソースファイルパス | | 読み取り端がFTP、SFTP、HDFS、S3の場合、手動で入力する必要があります。 読み取り端がCOSの場合、手動入力、選択モードをサポートします。 |
ターゲットファイルパス | | 書き込み端がFTP、SFTP、HDFS、S3の場合、手動で入力する必要があります。 書き込み端がCOSの場合、手動入力、選択モードをサポートします。 |
フィールドマッピングルール | | フィールドマッピング関係は、連線方式でターゲットフィールドの内容のソースを指定することを目的としています。同名マッピング、同行マッピングの選択に対応しており、タスク編集を通じてカスタムフィールドマッピングルールを設定できます。 |
リソースグループを設定します | | 利用可能なリソースグループをドロップダウンで選択できます。 |
操作 | タスクを編集 | データソースやフィールドマッピングルールなどの詳細な個別設定が可能です。 |
| 削除 | この行のマッピング関係を削除します。 |
フィールドマッピングルールを一括設定します | | リストをチェックすると、マッピング関係を一括設定できます。同名マッピング、同行マッピングを選択できます。 |
リソースグループを一括設定します | | リストをチェックすると、利用可能なリソースグループを一括設定できます。 |
一括削除 | | リストをチェックすると、チェックしたマッピング関係を一括削除できます。 |
ケース3：データベース - ファイルリンクのマッピング関係設定
パラメータ | 説明 | |
番号 | | 小さい順に並べ替え、マッピング関係リストの番号を表示します。 |
ソースデータベース | | データノード設定で読み取り側が選択したデータベースです。 |
ソーステーブル | | データノード設定で読み取り側が選択したデータテーブルです。 |
ターゲットファイルパス | | 書き込み端がFTP、SFTP、HDFS、S3の場合、手動で入力する必要があります。 書き込み端がCOSの場合、手動入力、選択モードをサポートします。 |
ターゲットファイル名 | | 書き込み端がFTP、SFTP、HDFS、S3の場合、ユーザーが手動で入力します。 書き込み端がCOSの場合、手動入力、選択モードをサポートします。 |
フィールドマッピングルール | | フィールドマッピング関係は、連線方式でターゲットフィールドの内容のソースを指定することを目的としています。同名マッピング、同行マッピングの選択に対応しており、タスク編集を通じてカスタムフィールドマッピングルールを設定できます。 |
リソースグループを設定します | | 利用可能なリソースグループをドロップダウンで選択できます。 |
操作 | タスクを編集 | データソースやフィールドマッピングルールなどの詳細な個別設定が可能です。 |
| 削除 | この行のマッピング関係を削除します。 |
フィールドマッピングルールを一括設定します | | リストをチェックすると、マッピング関係を一括設定できます。同名マッピング、同行マッピングを選択できます。 |
リソースグループを一括設定します | | リストをチェックすると、利用可能なリソースグループを一括設定できます。 |
一括削除 | | リストをチェックすると、チェックしたマッピング関係を一括削除できます。 |
ケース4：ファイル - データベースリンクのマッピング関係設定
パラメータ | 説明 | |
番号 | | 小さい順に並べ替え、マッピング関係リストの番号を表示します。 |
ソースファイルパス | | 読み取り端がFTP、SFTP、HDFS、S3の場合、手動で入力する必要があります。 読み取り端がCOSの場合、手動入力、選択モードをサポートします。 |
ターゲットデータベース | | データノード設定で書き込み側が選択したデータベースです。入力モードと選択モードに対応しています。 |
ターゲットテーブル | | データノード設定で書き込み側が選択したデータテーブルです。入力モードと選択モードに対応しています。 |
フィールドマッピングルール | | フィールドマッピング関係は、連線方式でターゲットフィールドの内容のソースを指定することを目的としています。同名マッピング、同行マッピングの選択に対応しており、タスク編集を通じてカスタムフィールドマッピングルールを設定できます。 |
リソースグループを設定します | | 利用可能なリソースグループをドロップダウンで選択できます。 |
操作 | タスクを編集 | データソースやフィールドマッピングルールなどの詳細な個別設定が可能です。 |
| 削除 | この行のマッピング関係を削除します。 |
フィールドマッピングルールを一括設定します | | リストをチェックすると、マッピング関係を一括設定できます。同名マッピング、同行マッピングを選択できます。 |
リソースグループを一括設定します | | リストをチェックすると、利用可能なリソースグループを一括設定できます。 |
一括削除 | | リストをチェックすると、チェックしたマッピング関係を一括削除できます。 |
ステップ4：チャネル設定
パラメータ | 説明 | |
ダーティデータしきい値 | | ダーティデータとは、同期中に書き込みに失敗したデータを指します。ダーティデータしきい値とは、同期中に許容できるダーティデータの最大レコード数を指します。このしきい値を超えると、タスクは自動的に終了します。デフォルトのしきい値は0で、ダーティデータを許容しないことを意味します。 |
並列数 | | 実際の実行時に期待されるタスクの最大並列数です。実際の実行時には、リソース、データソースタイプ、タスク最適化結果などの理由により、並列数はこの値以下になる場合があります。この値が大きいほど、事前に割り当てられる実行マシンリソースが多くなります。 |
同期レート制限 | | トラフィックまたはレコード数に応じて同期レートを制限し、データソース側またはデータ転送先側の読み書き負荷を保護します。この値は最大実行レートです。デフォルトは-1で、レートを制限しないことを示します。 |
ステップ5：スケジュール設定
カテゴリ | パラメータ | 説明 |
スケジュール時間 | スケジュール方式 | 周期スケジュール：タスクは設定されたスケジュール計画に従って周期的に実行されます。 ワンタイム実行：タスクは指定された時間に一度だけ実行されます。 |
| 有効日 | スケジュール時間設定の有効期間です。システムはこの期間内に時間設定に従って自動的にスケジュールを実行し、有効期間を過ぎると自動的なスケジュールは行われません。 |
| スケジュール周期 | スケジュール計画の間隔ステップ単位です。年、月、週、日、時間、分に対応しています。 分：具体的な実行開始時間と間隔を指定する必要があります。タスクは毎時の実行分から開始し、時間間隔に従って周期的に実行されます。例えば、実行時間が02:00～23:59で、間隔が5分の場合、タスクは02:00から5分ごとに1回インスタンスを実行します。 時間：具体的な実行開始時間、終了時間、および間隔を指定する必要があります。例えば、実行時間が02:20～05:00で、間隔が1時間の場合、タスクは02:20、03:20、04:20にそれぞれ1回実行されます。 日：毎日の具体的な実行時刻を指定する必要があります。タスクは毎日その時刻にのみ実行されます。 週：毎週固定で実行する曜日（複数選択可）および時刻を指定する必要があります。タスクは指定された曜日のその時刻にのみ実行されます。 月：毎月固定で実行する日付および時刻を指定します。月末を選択した場合、月に応じて最終日に実行されます。 年：毎年固定で実行する日付および時刻を指定します。 |
| スケジュール計画 | 設定結果に基づいて生成された計画です。 |
| Cron式 | 設定結果に基づいて生成された式です。 |
依存属性 | 自己依存 | 自己依存とは、同一タスク内の異なるインスタンス間の依存関係を指します。 順序直列：現在のインスタンスは前の周期インスタンスの状態に依存します。 無秩序直列：現在のインスタンスと前の周期インスタンスには依存関係がありません。1つのタスクに同時に複数のインスタンスが存在する場合、システムはランダムに1つのインスタンスを選択して実行します。同時に実行状態にあるインスタンスは1つだけです。 並行：前の周期インスタンスと後の周期インスタンスの間に依存関係はありません。1つのタスクに同時に複数のインスタンスが存在する場合、複数のインスタンスが同時に実行されます。 |
| 再試行待機時間 | インスタンスの実行が失敗した後、再試行ごとの最大待機時間間隔です。この値を超えてもインスタンスが再試行されない場合、インスタンスは失敗として設定されます。 |
| 失敗再試行回数 | インスタンスの実行が失敗した後の最大再試行回数です。この値を超えると、タスクは失敗として設定されます。 |
保存して一括作成 | | バッチ作成タスク自体を生成し、単一テーブル同期タスクの作成を開始します。 |
保存のみ | | バッチ作成タスク自体を生成しますが、単一テーブル同期タスクの作成は開始しません。 |
ステップ6：生成された一括作成単表同期タスクの確認
パラメータ | 説明 | |
タスク名 | | ユーザーが定義したタスク名です。 |
ソース側 | | 読み取り側が選択したデータソース名です。 |
ターゲット側 | | 書き込み側が選択したデータソース名です。 |
総タスク数 | | バッチタスクに含まれる単一テーブルタスクの総数です。 |
成功タスク数 | | 正常に作成された単一テーブルタスク数を表示します（60秒ごとに更新）。クリックすると、タスクの詳細を確認できます。  |
失敗タスク数 | | 作成に失敗した単一テーブルタスク数を表示します（60秒ごとに更新）。クリックすると、タスクの詳細を確認できます。再試行操作に対応しています。  |
作成者 | | バッチタスクの作成ユーザー名です。 |
タスク状態 | | タスクの現在の状態です。初期化、作成中、完了済み、終了中、終了済みが含まれます。 |
開始時間 | | バッチで単一テーブルタスクの作成を開始した時間です。 |
終了時間 | | バッチで単一テーブルタスクの作成が完了した時間です。 |
操作 | 作成を開始 | バッチで単一テーブルタスクの作成を開始します。 |
| 強制終了 | 作成中のバッチタスクを強制終了します。終了後、作成済みのタスクはロールバックされず、未完了のタスクは作成されません。未完了のタスクは失敗タスク数にカウントされます。 |
| 削除 | 未開始または完了済みのバッチで作成された単一テーブルタスクを削除します。 |
フィードバック