単一タスクの作成
ダウンロード
フォーカスモード
フォントサイズ
説明：
オフライン同期タスクが他のタスクとの編成またはタスク依存関係の設定を必要とする場合は、データ開発の編成スペースでオフライン同期タスクを作成するか、またはData Integrationでタスクを作成した後、データ開発のタスクインポート（Data Integration）機能を使用してタスクを編成スペースにインポートすることをお勧めします。
Data Integrationで送信済みのタスクはデータ開発の編成スペースにインポートできません。未送信のタスクのみインポート操作が可能です。
背景情報
単一テーブル同期は固定フィールド同期方式を採用し、タスク設定でマッピング関係を指定したソースフィールドデータのみをターゲット側に同期します。単一テーブルタスクはキャンバス、フォーム、スクリプトの3種類の設定モードをサポートし、MySQL、Hive、DLC、Dorisなどのデータソースをカバーします。
条件と制限
1. ソース側およびターゲット側のデータソースを設定済みで、後続タスクで使用できるようにしました。
2. Data Integrationリソースグループを購入しました。
3. Data Integrationリソースグループとデータソースのネットワーク接続が完了しました。
4. データソース環境の準備が完了しました。同期タスクを実行する前に、必要な同期構成に基づいて、データソース構成のアカウントにデータベースで対応する操作を実行する権限を付与できます。
5. データソースに設定されたデータベースアカウントに読み書き権限がない場合、タスクの実行が失敗します。実際の読み書きシナリオに応じて、対応する権限を持つアカウントを設定してください。
操作手順
ステップ1：オフライン同期タスクを新規作成し、設定モードを選択する
1. Data Integrationページで、オフライン開発 > フォルダ > ワークフロー > Data Integration > 新規タスク > オフライン同期をクリックすると、同期タスクリストに移動できます。
2. ポップアップでタスクの基本情報を設定し、確定をクリックすると、タスク設定ページに入ります。
パラメータ | 説明 |
タスク名 | 必須項目です。 |
タスクタイプ | オフライン同期を選択します。 |
タスクモード | フォームモード：読み取り、書き込みノードのみを提供し、単一テーブルから単一テーブルへの固定フィールド同期に適用されます。ODS層でデータクレンジングが不要なデータ同期に適用されます。 キャンバスモード：読み取り、書き込み、変換の3種類のノードを提供します。クレンジング工程や多対多のデータリンクを含む場合に適用されます。 スクリプトモード：初期化されたスクリプトモード設定ページをサポートし、ユーザーが異なるデータソース、データターゲットを選択することをサポートし、対応するスクリプトテンプレートを表示します： ユーザーは最初にデータソースとデータターゲットを選択する必要があります。未選択の状態では編集できません。 選択後、対応するスクリプトモジュールが表示されます。 スクリプトでは、ユーザーはデータソース、接続情報などのパラメータを手動で記述できます。 スクリプトでsql文を記述できます。querysqlをconnectionに記述します。  |
所属ワークフロー | 既存のワークフローを選択します。 |
説明：
スクリプトモードは現在、以下のデータソースをサポートしています：
読み取り：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、PostgreSQL、TCHouse-P、SQL Server、Oracle、IBM DB2、達夢DM、SAP HANA、SyBase、Doris、Hive、HBase、Clickhouse、DLC、Kudu、HDFS、Greenplum、GaussDB、Impala、Gbase、TBase、Mongodb、COS、FTP、SFTP、REST API、Elasticsearch、Kafka、Iceberg、StarRocks、Graph Database。
書き込み：MySQL、TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、PostgreSQL、TCHouse-P、SQL Server、Oracle、IBM DB2、達夢DM、SAP HANA、Hive、HBase、Clickhouse、DLC、Kudu、HDFS、Greenplum、GaussDB、Gbase、TBase、Impala、COS、FTP、SFTP、Elasticsearch、Redis、Mongodb、Kafka、Iceberg、Doris、StarRocks、Graph Database。
ステップ2：データノードの設定
読み取りノードの構成
読み取りノード設定には、基本情報、データソース、データフィールドの3つの部分が含まれます。
基本情報
ノード名は空にできず、かつ1つのタスク内に同名のデータノードが存在することはできません。
データソース
読み取り対象のライブラリテーブルオブジェクトおよび同期方式などの情報を設定します。
データフィールド
設定されたデータテーブルオブジェクトに基づき、システムはデフォルトでフィールドメタデータ情報を取得する方法と、手動でフィールドを設定する方法の2つをサポートします。
デフォルト取得：MySQL、Hive、PostgreSQLなどのタイプに対して、システムはそのライブラリテーブル情報に基づいてメタデータフィールドとタイプを自動的に取得することをサポートしており、手動で編集する必要はありません。
手動設定：ファイル（HDFS、COSなど）および列指向ストレージデータソース（HBase、Mongoなど）などのデータソースシステムはメタデータの自動取得をサポートしていません。フィールド追加/一括追加をクリックして、フィールド名とタイプを手動で追加できます。読み取りノードはさらに時間パラメータおよび定数の設定もサポートします。
一括追加
パラメータ | 説明 | |
データ型 | | 現在のノードのデータソースタイプです。 |
追加方法 | | フィールドの追加：テーブルの既存フィールドの後に、解析された新しいフィールドを追加します。 既存フィールドの上書き：解析された新しいフィールドが、現在のソーステーブルの既存フィールド情報を上書きします。 |
フィールド取得 | | テキスト解析：テキスト内容に基づいて解析します。 json解析：json内容を入力し、key/value値に基づいて迅速に内容を解析します。例：{"age":10,"name":"demo"}。 同一構造テーブル取得：1つのデータソースのテーブルオブジェクトを指定し、そのテーブルのフィールドを解析します。 |
解析対象テキスト | 区切り文字 | フィールド名と型を区切るために使用します。tab、｜、スペースに対応しており、例えば「age|int」のように指定します。 |
| フィールドタイプをすばやく入力します | よく使われるフィールドタイプです。定数、関数、変数、string、boolean、date、datetime、timestamp、time、double、float、tinyint、smallint、tinyint unsigned、int、mediumint、smallint unsigned、bigint、int unsigned、bigint unsigned、double precision、tinyint(1)、char、varchar、text、varbinary、blobに対応しています。 |
| データを解析します | 入力内容を解析します。 |
プレビュー | 一括削除 | プレビューリストをチェックした後、解析結果を一括削除します。 |
| フィールド名 | フィールドの名前です。 |
| タイプ | フィールドのタイプです。 |
説明
時間パラメータフィールド：オフラインタスクの読み取りノードのみが時間パラメータフィールドの設定をサポートします。通常、インスタンス実行時間値をテーブルの第1レベルまたは複数レベルのパーティションに書き込むために使用されます。
定数フィールド：読み取りノードのみが定数フィールドの設定をサポートします。定数フィールドは、ソーステーブルとターゲットテーブルのフィールド数が一致しない場合に、特定の定数値をターゲットテーブルに固定的に書き込むことができます。
変換ノードの構成
変換ノード設定には、基本情報、変換ルール、データフィールドの3つの部分が含まれます。変換ノードは読み取りノードの下流に配置する必要があります。読み取りノードとの接続を作成すると、システムは上流ノード内のフィールド情報を自動的に取得し、変換ルールに基づいてデータ変換を実行します。
基本情報
ノード名情報を設定します。ノード名は空にできず、かつ1つのタスク内に同名のデータノードが存在することはできません。
変換ルール
フィールドまたはデータレベルの変換ルールを設定します。フィールド情報は上流ノードから継承され、上流ノードと接続すると、システムは上流ノード内のフィールド情報を自動的に取得します。
データフィールド
デフォルトでは上流ノードの全データフィールドを取得し、後続の書き込みノードでのマッピングに使用します。
書き込みノードの構成
書き込みノード設定には、基本情報、データソース、データフィールド、フィールドマッピングの4つの部分が含まれます。書き込みノードは接続関係に基づいて、上流のデータ内容をターゲットオブジェクトに書き込みます。
基本情報
ノード名は空にできず、かつ1つのタスク内に同名のデータノードが存在することはできません。
データソース
読み取り対象のライブラリテーブルオブジェクトおよび同期方式などの情報を設定します。
データフィールド
設定されたデータテーブルオブジェクトに基づき、システムはデフォルトでフィールドメタデータ情報を取得する方法と、手動でフィールドを設定する方法の2つをサポートします。
デフォルト取得：MySQL、Hive、PostgreSQLなどのタイプに対して、システムはそのライブラリテーブル情報に基づいてメタデータフィールドとタイプを自動的に取得することをサポートしており、手動で編集する必要はありません。
手動設定：ファイル（HDFS、COSなど）および列指向ストレージデータソース（HBase、Mongoなど）などのデータソースシステムはメタデータの自動取得をサポートしていません。フィールド設定をクリックして、フィールド名とタイプを手動で追加できます。
フィールドマッピング
書き込みノードは読み取りノードと比較して、フィールドマッピング関係を追加で設定する必要があります。フィールドマッピング関係は、接続によってターゲットフィールド内容のソースを指定することを目的とし、同名マッピング、同行マッピング、および手動接続の3つの方式でソースとターゲットノード間の関係を設定することをサポートします。
パラメータ | 説明 | |
同名マッピング | | ソーステーブルのフィールドと、フィールド名が一致するターゲットテーブルのフィールドとの間にマッピング関係を確立します。 |
同行マッピング | | ソーステーブルのフィールドと、所在行数が一致するターゲットテーブルのフィールドとの間にマッピング関係を確立します。 |
マッピングをクリア | | 確立済みのソーステーブルフィールドとターゲットテーブルフィールド間のマッピング関係をクリアします。 |
マッピング済みを先頭に表示 | | マッピング関係が確立されたフィールドを先頭に表示し、フォーマットして表示します。このフォーマットはテーブルの実際の保存フィールド順序には影響せず、フロントエンドの表示最適化にのみ使用されます。 |
手動結線マッピング | | 結線による手動でのソーステーブルフィールドとターゲットテーブルフィールド間のマッピング関係の確立をサポートします。 |
ソーステーブル | ソーステーブルのフィールド名 | ソーステーブルフィールドの名前です。 |
| タイプ | ソーステーブルフィールドのタイプです。 |
| マッピング | マッピングをすばやく作成します。  |
ターゲットテーブル | ターゲットテーブルのフィールド名 | ターゲットテーブルフィールドの名前です。 |
| タイプ | ターゲットテーブルフィールドのタイプです。 |
説明
フィールドマッピングを設定する前提は、現在の書き込みノードに接続済みのソース（読み取りノードまたは変換ノード）があることです。
マッピング関係が設定されていないターゲットフィールドの内容は空になるか、または変更されません。
ソースフィールドタイプとターゲットフィールドタイプ間で変換できない場合、タスクが失敗する可能性があります。
ステップ3：オフラインタスクプロパティの設定
オフラインタスク属性設定には、タスク属性、タスクスケジュール、およびリソース設定の3つの部分が含まれます：
タスクプロパティ
タスクの基本属性、使用リソース、およびデータリンクチャネル情報を設定します。
カテゴリ | パラメータ | 説明 |
基本属性 | タスク名/タイプ | 現在のタスク名とタイプの基本情報を表示します。 |
| 責任者 | このタスクを担当する1人または複数のスペースメンバーの名前です。デフォルトはタスク作成者です。 |
| 説明 | 現在のタスクの備考情報を表示します。 |
| スケジュールパラメータ | スケジュールパラメータはタスクスケジュール時に使用されるパラメータです。タスクスケジュールの業務時間及びスケジュールパラメータの値フォーマットに基づいて値を自動的に置換し、タスクスケジュール時間内におけるパラメータの動的な値を実現します。 |
チャネル設定 | ダーティデータしきい値 | ダーティデータとは、同期中に書き込みに失敗したデータを指します。ダーティデータしきい値とは、同期中に許容できるダーティデータの最大レコード数またはバイト数を指します。このしきい値を超えると、タスクは自動的に終了します。デフォルトのしきい値は0で、ダーティデータを許容しないことを意味します。 |
| 並列数 | 実際の実行時に期待されるタスクの最大並列数です。実際の実行時には、リソース、データソースタイプ、タスク最適化結果などの理由により、並列数はこの値以下になる場合があります。この値が大きいほど、事前に割り当てられる実行マシンリソースが多くなります。 注意： 並行数が1を超える場合、ソースデータソースがシャーディングキーの設定をサポートしているときは、シャーディングキーが必須項目となります。それ以外の場合、設定した並行数は有効になりません。 |
| 同期レート制限 | トラフィックまたはレコード数に応じて同期レートを制限し、データソース側またはデータ転送先側の読み書き負荷を保護します。この値は最大実行レートです。デフォルトは-1で、レートを制限しないことを示します。 |
スケジュール設定
機能 | 説明 |
スケジュール周期 | タスクスケジュールの実行周期単位です。分、時間、日、週、月、年、一回のみに対応しています。 |
有効開始日 | スケジュール時間設定の有効期間です。システムはこの期間内に時間設定に従って自動的にスケジュールを実行し、有効期間を過ぎると自動的なスケジュールは行われません。 |
実行時間 | ユーザーは、このタスクの各実行間隔の長さと、タスクの実行を開始する具体的な時間を自分で設定できます。 周期間隔が10分の場合、スケジュールタスクは2022年3月27日から2022年4月27日までの毎日00:00から23:59の間に10分ごとに1回実行されます。 |
スケジュール計画 | 周期時間の設定に基づいて自動的に生成されます。 |
自己依存 | 現在のワークフロー内の計算タスクに対して、タスクの自己依存属性を統一的に設定します。 |
ワークフロー自己依存 | 有効にすると、現在のワークフロー内の計算タスクは、現在のワークフローの前の周期のすべての計算タスクに依存することを示します。ワークフロー自己依存機能は、現在のワークフロー内のタスクが同一のスケジュール周期であり、かつ日周期である場合にのみ有効になります。 |
リソース構成
タスクを送信する前に、統合リソースグループをタスクの実行リソースとして選択する必要があります。
ステップ4：タスクのテスト実行と送信
オフライン同期タスクは設定完了後、オンラインテスト実行または本番スケジュール環境への送信が可能です。現在、タスク設定ページでは保存、送信、テスト実行、デバッグ停止、ロック/ロック解除、および運用保守への移動操作をサポートしています。
番号 | パラメータ | 説明 |
1 | 保存 | アイコンをクリックすると、現在のタスクノードを保存できます。 |
2 | 送信 | アイコンをクリックすると、タスクノードをスケジュールシステムに送信し（ノードの基本内容、スケジュール設定プロパティ）、新しいバージョン記録を生成できます。 機能制限：タスクのデータソースとスケジュール条件を完全に設定した後でのみ、正常に送信できます。 |
3 | ロック/ロック解除 | アイコンをクリックすると、現在のファイルの編集をロック/解除できます。タスクが他のユーザーにロックされている場合、編集できません。 |
4 | 実行します。 | アイコンをクリックすると、現在のタスクノードをデバッグ実行できます。 |
5 | 詳細実行 | アイコンをクリックすると、変数を含む現在のタスクノードを実行できます。システムはコードで使用される時間パラメータとカスタムパラメータを自動的にポップアップ表示します。  |
6 | 実行を停止 | アイコンをクリックすると、現在のタスクノードのデバッグ実行を停止できます。 |
7 | 更新 | アイコンをクリックすると、現在のタスクノードの内容を更新できます。 |
8 | プロジェクトパラメータ | アイコンをクリックすると、このプロジェクトのパラメータ設定が表示されます。変更が必要な場合は、プロジェクト管理に移動してください。  |
9 | タスク運用保守 | アイコンをクリックすると、タスク運用保守ページに移動します。 |
10 | インスタンス運用保守 | アイコンをクリックすると、インスタンス運用保守ページに移動します。 |
11 | フォーム変換 | アイコンをクリックすると、タスク設定をフォームモードに変換できます。 |
12 | キャンバス変換 | アイコンをクリックすると、タスク設定をキャンバスモードに変換できます。 |
13 | スクリプト変換 | アイコンをクリックすると、タスク設定をスクリプトモードに変換できます。変換後はフォーム/キャンバスモードに戻すことはできません。 |
タスク送信
データワークフローは編集のたびに運用保守に提出され、それに対応してワークフローバージョンが1つ生成されます。問題がないことを確認した後、提出方法でバージョンを提出してスケジュールを開始を選択し、変更説明欄に任意の内容を入力すると、オフライン同期タスクを運用保守段階に公開できます。
フィードバック