単一タスクの作成
ダウンロード
フォーカスモード
フォントサイズ
使用上の注意
1. このページには、Data Integrationページから作成されたすべてのオフライン同期タスクが表示されます。
2. オフライン同期タスクを単独で一度だけ実行するか、または定期的に実行する必要がある場合、Data Integrationでスケジュールを設定し、タスクをData Integrationの運用保守センターに送信できます。
3. 他のタスクとの編成またはタスク依存関係の設定が必要な場合は、データ開発の編成スペースでオフライン同期タスクを作成するか、またはData Integrationでタスクを作成した後、データ開発のタスクインポート（Data Integration）機能を使用してタスクを編成スペースにインポートすることをお勧めします。
注意：
Data Integrationで送信済みのタスクはデータ開発の編成スペースにインポートできません。未送信のタスクのみインポート操作が可能です。
背景情報
単一テーブル同期は固定フィールド同期方式を採用し、タスク設定でマッピング関係を指定したソースフィールドデータのみをターゲット側に同期します。単一テーブルタスクはキャンバス、フォーム、スクリプトの3種類の設定モードをサポートし、MySQL、Hive、DLC、Dorisなどのデータソースをカバーします。
条件と制限
1. ソース側およびターゲット側のデータソースを設定済みで、後続タスクで使用できるようにしました。
2. Data Integrationリソースグループを購入しました。
3. Data Integrationリソースグループとデータソースのネットワーク接続が完了しました。
4. データソース環境の準備が完了しました。同期タスクを実行する前に、必要な同期構成に基づいて、データソース構成のアカウントにデータベースで対応する操作を実行する権限を付与できます。
5. データソースに設定されたデータベースアカウントに読み書き権限がない場合、タスクの実行が失敗します。実際の読み書きシナリオに応じて、対応する権限を持つアカウントを設定してください。
操作手順
ステップ1：オフライン同期タスクを新規作成し、設定モードを選択する
Data Integrationページで、設定センター > オフライン同期をクリックすると、同期タスクリストに移動できます。ポップアップウィンドウでタスクの基本情報を設定し、確定をクリックすると、タスク設定ページに移動できます。
パラメータ | 説明 |
タスク名 | 必須項目です。 |
タスクモード | フォームモード：読み取り、書き込みノードのみを提供し、単一テーブルから単一テーブルへの固定フィールド同期に適用されます。ODS層でデータクレンジングが不要なデータ同期に適用されます。 キャンバスモード：読み取り、書き込み、変換の3種類のノードを提供します。クレンジング工程や多対多のデータリンクを含む場合に適用されます。 スクリプトモード：初期化されたスクリプトモード設定ページをサポートし、ユーザーが異なるデータソース、データターゲットを選択することをサポートし、対応するスクリプトテンプレートを表示します： ユーザーは最初にデータソースとデータターゲットを選択する必要があります。未選択の状態では編集できません。 選択後、対応するスクリプトモジュールが表示されます。 スクリプトでは、ユーザーはデータソース、接続情報などのパラメータを手動で記述できます。 スクリプトでsql文を記述できます。querysqlをconnectionに記述します。  |
説明 | 任意項目です。 |
説明：
スクリプトモードは現在、以下のデータソースをサポートしています：
読み取り：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、PostgreSQL、TCHouse-P、SQL Server、Oracle、IBM DB2、達夢DM、SAP HANA、SyBase、Doris、Hive、HBase、Clickhouse、DLC、Kudu、HDFS、Greenplum、GaussDB、Impala、Gbase、TBase、Mongodb、COS、FTP、SFTP、REST API、Elasticsearch、Kafka、Iceberg、StarRocks、Graph Database。
書き込み：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、PostgreSQL、TCHouse-P、SQL Server、Oracle、IBM DB2、達夢DM、SAP HANA、Hive、HBase、Clickhouse、DLC、Kudu、HDFS、Greenplum、GaussDB、Gbase、TBase、Impala、COS、FTP、SFTP、Elasticsearch、Redis、Mongodb、Kafka、Iceberg、Doris、StarRocks、Graph Database。
ステップ2：データノードの設定
読み取りノードの構成
読み取りノード設定には、基本情報、データソース、データフィールドの3つの部分が含まれます。
基本情報
ノード名は空にできません。また、単一タスク内に同じ名前のデータノードが存在することはできません。
データソース
読み取り対象のテーブルオブジェクトおよび同期方式などの情報を設定します。
データフィールド
設定されたデータテーブルオブジェクトに基づき、システムはデフォルトでフィールドメタデータ情報を取得する方法と、手動でフィールドを設定する方法の2つをサポートします。
デフォルト取得：MySQL、Hive、PostgreSQLなどのタイプに対して、システムはそのライブラリテーブル情報に基づいてメタデータフィールドとタイプを自動的に取得することをサポートしており、手動で編集する必要はありません。
手動設定：ファイル（HDFS、COSなど）および列指向ストレージデータソース（HBase、Mongoなど）などのデータソースシステムはメタデータの自動取得をサポートしていません。フィールド追加/一括追加をクリックして、フィールド名とタイプを手動で追加できます。読み取りノードはさらに時間パラメータおよび定数の設定もサポートします。
一括追加
パラメータ | 説明 | |
データ型 | | 現在のノードのデータソースタイプです。 |
追加方法 | | フィールドの追加：テーブルの既存フィールドの後に、解析された新しいフィールドを追加します。 既存フィールドの上書き：解析された新しいフィールドが、現在のソーステーブルの既存フィールド情報を上書きします。 |
フィールド取得 | | テキスト解析：テキスト内容に基づいて解析します。 json解析：json内容を入力し、key/value値に基づいて迅速に内容を解析します。例：{"age":10,"name":"demo"}。 同一構造テーブル取得：1つのデータソースのテーブルオブジェクトを指定し、そのテーブルのフィールドを解析します。 |
解析対象テキスト | 区切り文字 | フィールド名と型を区切るために使用します。tab、｜、スペースに対応しており、例えば「age|int」のように指定します。 |
| フィールドタイプをすばやく入力します | よく使われるフィールドタイプです。定数、関数、変数、string、boolean、date、datetime、timestamp、time、double、float、tinyint、smallint、tinyint unsigned、int、mediumint、smallint unsigned、bigint、int unsigned、bigint unsigned、double precision、tinyint(1)、char、varchar、text、varbinary、blobに対応しています。 |
| データを解析します | 入力内容を解析します。 |
プレビュー | 一括削除 | プレビューリストをチェックした後、解析結果を一括削除します。 |
| フィールド名 | フィールドの名前です。 |
| タイプ | フィールドのタイプです。 |
説明
時間パラメータフィールド：オフラインタスクの読み取りノードのみが時間パラメータフィールドの設定をサポートします。通常、インスタンス実行時間値をテーブルの第1レベルまたは複数レベルのパーティションに書き込むために使用されます。
定数フィールド：読み取りノードのみが定数フィールドの設定をサポートします。定数フィールドは、ソーステーブルとターゲットテーブルのフィールド数が一致しない場合に、特定の定数値をターゲットテーブルに固定的に書き込むことができます。
変換ノードの構成
変換ノード設定には、基本情報、変換ルール、データフィールドの3つの部分が含まれます。変換ノードは読み取りノードの下流に配置する必要があります。読み取りノードとの接続を作成すると、システムは上流ノード内のフィールド情報を自動的に取得し、変換ルールに基づいてデータ変換を実行します。
基本情報
ノード名情報を設定します。ノード名は空にできず、かつ1つのタスク内に同名のデータノードが存在することはできません。
変換ルール
フィールドまたはデータレベルの変換ルールを設定します。フィールド情報は上流ノードから継承され、上流ノードと接続すると、システムは上流ノード内のフィールド情報を自動的に取得します。
データフィールド
デフォルトでは上流ノードの全データフィールドを取得し、後続の書き込みノードでのマッピングに使用します。
書き込みノードの構成
書き込みノード設定には、基本情報、データソース、データフィールド、フィールドマッピングの4つの部分が含まれます。書き込みノードは接続関係に基づいて、上流のデータ内容をターゲットオブジェクトに書き込みます。
基本情報
ノード名は空にできず、かつ1つのタスク内に同名のデータノードが存在することはできません。
データソース
読み取り対象のテーブルオブジェクトおよび同期方式などの情報を設定します。
データフィールド
設定されたデータテーブルオブジェクトに基づき、システムはデフォルトでフィールドメタデータ情報を取得する方法と、手動でフィールドを設定する方法の2つをサポートします。
デフォルト取得：MySQL、Hive、PostgreSQLなどのタイプに対して、システムはそのライブラリテーブル情報に基づいてメタデータフィールドとタイプを自動的に取得することをサポートしており、手動で編集する必要はありません。
手動設定：ファイル（HDFS、COSなど）および列指向ストレージデータソース（HBase、Mongoなど）などのデータソースシステムはメタデータの自動取得をサポートしていません。フィールド設定をクリックして、フィールド名とタイプを手動で追加できます。
フィールドマッピング
書き込みノードは読み取りノードと比較して、フィールドマッピング関係を追加で設定する必要があります。フィールドマッピング関係は、接続によってターゲットフィールド内容のソースを指定することを目的とし、同名マッピング、同行マッピング、および手動接続の3つの方式でソースとターゲットノード間の関係を設定することをサポートします。
パラメータ | 説明 | |
同名マッピング | | ソーステーブルのフィールドと、フィールド名が一致するターゲットテーブルのフィールドとの間にマッピング関係を確立します。 |
同行マッピング | | ソーステーブルのフィールドと、所在行数が一致するターゲットテーブルのフィールドとの間にマッピング関係を確立します。 |
マッピングをクリア | | 確立済みのソーステーブルフィールドとターゲットテーブルフィールド間のマッピング関係をクリアします。 |
マッピング済みを先頭に表示 | | マッピング関係が確立されたフィールドを先頭に表示し、フォーマットして表示します。このフォーマットはテーブルの実際の保存フィールド順序には影響せず、フロントエンドの表示最適化にのみ使用されます。 |
手動結線マッピング | | 結線による手動でのソーステーブルフィールドとターゲットテーブルフィールド間のマッピング関係の確立をサポートします。 |
ソーステーブル | ソーステーブルのフィールド名 | ソーステーブルフィールドの名前です。 |
| タイプ | ソーステーブルフィールドのタイプです。 |
| マッピング | マッピングをすばやく作成します。  |
ターゲットテーブル | ターゲットテーブルのフィールド名 | ターゲットテーブルフィールドの名前です。 |
| タイプ | ターゲットテーブルフィールドのタイプです。 |
説明
フィールドマッピングを設定する前提は、現在の書き込みノードに接続済みのソース（読み取りノードまたは変換ノード）があることです。
マッピング関係が設定されていないターゲットフィールドの内容は空になるか、または変更されません。
ソースフィールドタイプとターゲットフィールドタイプ間で変換できない場合、タスクが失敗する可能性があります。
ステップ3：オフラインタスクプロパティの設定
オフラインタスク属性設定には、タスク属性、タスクスケジュール、およびリソース設定の3つの部分が含まれます：
タスクプロパティ
タスクの基本属性、使用リソース、およびデータリンクチャネル情報を設定します。
カテゴリ | パラメータ | 説明 |
基本属性 | タスク名/タイプ | 現在のタスク名とタイプの基本情報を表示します。 |
| 責任者 | このタスクを担当する1人または複数のスペースメンバーの名前です。デフォルトはタスク作成者です。 |
| 説明 | 現在のタスクの備考情報を表示します。 |
| スケジュールパラメータ | スケジュールパラメータはタスクスケジュール時に使用されるパラメータです。タスクスケジュールの業務時間及びスケジュールパラメータの値フォーマットに基づいて値を自動的に置換し、タスクスケジュール時間内におけるパラメータの動的な値を実現します。 |
リソース設定 | 統合リソースグループ | 現在のタスクで使用する統合リソースグループ名を指定します。1つのタスクには1つのリソースグループのみバインドできます。 |
タスク実行ポリシー | アラート関連付け | 現在のタスクに対するアラートルールの関連付けをサポートします。 |
チャネル設定 | ダーティデータしきい値 | ダーティデータとは、同期中に書き込みに失敗したデータを指します。ダーティデータしきい値とは、同期中に許容できるダーティデータの最大レコード数またはバイト数を指します。このしきい値を超えると、タスクは自動的に終了します。デフォルトのしきい値は0で、ダーティデータを許容しないことを意味します。 |
| 並列数 | 実際の実行時に期待されるタスクの最大並列数です。実際の実行時には、リソース、データソースタイプ、タスク最適化結果などの理由により、並列数はこの値以下になる場合があります。この値が大きいほど、事前に割り当てられる実行マシンリソースが多くなります。 注意： 並行数が1を超える場合、ソースデータソースがシャーディングキーの設定をサポートしているときは、シャーディングキーが必須項目となります。それ以外の場合、設定した並行数は有効になりません。 |
| 同期レート制限 | トラフィックまたはレコード数に応じて同期レートを制限し、データソース側またはデータ転送先側の読み書き負荷を保護します。この値は最大実行レートです。デフォルトは-1で、レートを制限しないことを示します。 |
タスクスケジューリング
現在のタスクの周期実行計画を設定します。これにはスケジュール時間と依存属性が含まれます。
カテゴリ | パラメータ | 説明 |
スケジュール時間 | スケジュール方法 | 周期スケジュール：タスクは設定されたスケジュール計画に従って周期的に実行されます。 ワンタイム実行：タスクは指定された時間に一度だけ実行されます。 |
| 有効開始日 | スケジュール時間設定の有効期間です。システムはこの期間内に時間設定に従って自動的にスケジュールを実行し、有効期間を過ぎると自動的なスケジュールは行われません。 |
| スケジュール周期 | スケジュール計画の間隔ステップ単位です。年、月、週、日、時間、分に対応しています。 分：具体的な実行開始時間と間隔を指定する必要があります。タスクは毎時の実行分から開始し、時間間隔に従って周期的に実行されます。例えば、実行時間が02:00～23:59で、間隔が5分の場合、タスクは02:00から5分ごとに1回インスタンスを実行します。 時間：具体的な実行開始時間、終了時間、および間隔を指定する必要があります。例えば、実行時間が02:20～05:00で、間隔が1時間の場合、タスクは02:20、03:20、04:20にそれぞれ1回実行されます。 日：毎日の具体的な実行時刻を指定する必要があります。タスクは毎日その時刻にのみ実行されます。 週：毎週固定で実行する曜日（複数選択可）および時刻を指定する必要があります。タスクは指定された曜日のその時刻にのみ実行されます。 月：毎月固定で実行する日付および時刻を指定します。月末を選択した場合、月に応じて最終日に実行されます。 年：毎年固定で実行する日付および時刻を指定します。 |
依存属性 | 自己依存 | 自己依存とは、同一タスク内の異なるインスタンス間の依存関係を指します。 順序直列：現在のインスタンスは前の周期インスタンスの状態に依存します。 無秩序直列：現在のインスタンスと前の周期インスタンスには依存関係がありません。1つのタスクに同時に複数のインスタンスが存在する場合、システムはランダムに1つのインスタンスを選択して実行します。同時に実行状態にあるインスタンスは1つだけです。 並行：前の周期インスタンスと後の周期インスタンスの間に依存関係はありません。1つのタスクに同時に複数のインスタンスが存在する場合、複数のインスタンスが同時に実行されます。 |
| リトライ待機時間 | インスタンスの実行が失敗した後、再試行ごとの最大待機時間間隔です。この値を超えてもインスタンスが再試行されない場合、インスタンスは失敗として設定されます。 |
| 失敗リトライ回数 | インスタンスの実行が失敗した後の最大再試行回数です。この値を超えると、タスクは失敗として設定されます。 |
ステップ4：タスクのテスト実行と送信
オフライン同期タスクは設定完了後、オンラインテスト実行または本番スケジュール環境への送信が可能です。現在、タスク設定ページでは保存、送信、テスト実行、デバッグ停止、ロック/ロック解除、および運用保守への移動操作をサポートしています。
番号 | パラメータ | 説明 |
1 | 保存 | 現在のタスク設定情報を保存します。データノード設定、ノード接続、タスクプロパティ、タスクスケジュール設定が含まれます。 |
2 | 送信 | 現在のタスクを本番環境に送信します。送信後、タスクはスケジュール属性に従って定期的に実行されます。同時に、送信されたタスクはタスク運用保守 > オフライン運用保守にタスクおよびインスタンスレコードを生成します。 説明： 送信前、タスクはデフォルトで最新の設定を保存します。 送信前、タスクは必要性検出が行われます。これにはタスクノード設定、タスク接続、リソースグループなどが含まれます。必要性検出に合格しない場合、タスクの送信は失敗し、プロンプトが表示されます。 |
3 | テスト実行 | 現在のタスクをデバッグ実行します。 |
4 | デバッグ停止 | 現在テスト実行中のタスクを終了します。 |
5 | ロック/ロック解除 | デフォルトでは作成者が最初のロック保持者となり、ロック保持者のみがタスク設定の編集とタスクの実行を行うことができます。ロック保持者が5分以内に編集操作を行わなかった場合、他のユーザーがアイコンをクリックしてロックを取得できます。ロックの取得に成功すると、編集操作を行うことができます。 |
6 | 運用保守へ移動 | 現在のタスク名に基づいて、タスク運用保守ページへすばやく移動できます。 |
7 | キャンバス/フォーム変換 | キャンバス/フォームモードへの変換をサポートします。 説明： キャンバスモードとフォームモードは相互変換をサポートしています。キャンバスモードに変換ノードが存在する場合、フォームモードへの変換はサポートされません。 スクリプトモードからキャンバス/フォームモードへの変換はサポートされていません。 |
8 | スクリプト変換 | キャンバス/フォームモードからスクリプトモードへの変換をサポートします。変換後はキャンバス/フォームモードに戻すことはできません。 |
タスク送信チェック
パラメータ | 説明 |
検出に異常があります | 異常をスキップして直接送信するか、送信を中止することができます。 |
検出結果に警告以下のみが存在します | 直接送信できます。 |
送信結果
タスク送信中：
送信進捗のパーセンテージを表示します。
ユーザーにページを更新/閉じないよう促します。メッセージ：現在のタスクは正常に送信されました。運用保守に移動してタスクの状態とデータを管理できます。
タスク送信結果 - 成功：
タスク送信成功の結果を表示します。
成功とその後の遷移を通知します。メッセージ：「送信成功、10秒後に現在のタスクの運用保守詳細ページへ遷移します」「現在のタスクは正常に送信されました。運用保守に移動してタスクの状態とデータを管理できます」。
タスク送信失敗の原因を表示します：
失敗原因が返されます。
後続手順
タスク設定を完了すると、作成済みのタスクに対して運用保守と監視アラートを実行できます。例えば、タスクに監視アラームを設定し、タスク実行の主要指標を確認することなどが可能です。
フィードバック