同期タスクの自動テーブル作成機能
ダウンロード
フォーカスモード
フォントサイズ
Data Integrationは、オフラインおよびリアルタイムのシナリオにおいて、ワンクリックテーブル作成や自動テーブル作成などの機能を提供し、同期前または同期中にターゲットデータテーブルを迅速に構築できるようにします。これにより、データリンクの使用効率を向上させます。本記事では、主に対応する機能の使用方法、サポートされるリンク、主要な異種データソース間の型変換関係などについて説明します。
機能紹介および利用シーン
Data Integrationは、ワンクリックテーブル作成、一括テーブル作成、およびDDLメッセージに基づく自動テーブル作成という3つのテーブル作成方式を提供します：
機能項目 | 機能イメージ | 機能紹介 | 適用シナリオ |
ワンクリックテーブル作成 |  | この機能は、ソース側で指定された複数のテーブルオブジェクトに基づいて、ソースからターゲットへのDDL変換を自動的に実行し、変換後のDDL内容をユーザーが手動で変更できるようにし、一括で作成します。
機能キーワード：異種DDL自動変換、一括テーブル作成、手動テーブル作成。 | この機能は、ソース側の既存データに対して、ソーステーブル構造に近いターゲットテーブルを迅速に構築するのに適しています。テーブルモデルが複雑で、業務によるカスタマイズが必要な場合、ユーザーは業務特性に応じて自動生成されたDDL文を編集し、異種DDLの作成効率を向上させることができます。 |
一括テーブル作成 |  | | |
ソース側DDLメッセージによる自動テーブル作成 |  | この機能は、ソース側に新規テーブルDDLが存在するかどうかをリアルタイムで監視できます。ソース側で認識可能な新規テーブルメッセージが生成されると、ターゲット側はソーステーブル構造に基づいてターゲット側のテーブルオブジェクトを自動的に生成できます。 機能キーワード：DDL自動感知と応答、自動テーブル作成。 | 本機能は、リアルタイムでデータベース全体を移行する際に、ターゲット側とソース側の構造をリアルタイムに一致させたいデータ同期シナリオに適しています。 |
ワンクリックテーブル作成対応リンク
オフライン単一テーブルタスクおよびリアルタイム単一テーブルタスクは、ソーステーブルに基づいてターゲットテーブルをワンクリックで作成することをサポートします。主に、少数のテーブルをデータレイクやデータウェアハウスに追加するシナリオを対象としています。
オフライン単一テーブル同期タスク
目標番号 | ターゲット側 | サポートされるソース側 |
1 | Doris | MySQL、TDSQL-C MySQL、PostgreSQL |
2 | Hive | MySQL、Oracle、SQL Server、OceanBase、PostgreSQL |
3 | Iceberg | MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、SqlServer、PostgreQL、Oceanbase、达梦 |
4 | TCHouse-P | MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、PostgreQL、Oceanbase、达梦 |
5 | DLC | MySQL、TDSQL-C MySQL、PostgreSQL、Elasticsearch、Kafka |
リアルタイム単一テーブル同期タスク
目標番号 | ターゲット側 | サポートされるソース側 |
1 | TCHouse-P | MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、PostgreQL、Oceanbase、达梦 |
2 | Iceberg | MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、PostgreQL、SQL Server、Oceanbase、达梦 |
3 | Doris | MySQL、TDSQL-C MySQL、PostgreQL |
4 | DLC | MySQL、TDSQL-C MySQL、PostgreSQL、Elasticsearch、Kafka |
一括テーブル作成対応リンク
オフライン一括単一テーブル作成タスクおよびリアルタイムデータベース全体タスクは、タスク構成段階でソーステーブルに基づいてターゲットテーブルを一括作成することをサポートします。主に、大量の既存テーブルをデータレイクやデータウェアハウスに追加するシナリオを対象としています。
オフライン一括同期タスク
目標番号 | ターゲット側 | サポートされるソース側 |
1 | Hive | MySQL、Oracle、SQL Server、PostgreSQL |
2 | Iceberg | MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、SqlServer、PostgreQL、达梦 |
3 | TCHouse-P | MySQL、TDSQL-C MySQL、TDSQLMySQL、Oracle、PostgreQL、OceanBase、达梦 |
4 | Doris | MySQL、TDSQL-C MySQL、PostgreSQL |
5 | DLC | MySQL、TDSQL-C MySQL、PostgreSQL |
リアルタイムデータベース全体移行タスク
目標番号 | ターゲット側 | サポートされるソース側 |
1 | Doris | MySQL、TDSQL-C MySQL、TDSQL MySQL |
2 | DLC | MySQL、TDSQL-C MySQL、TDSQL MySQL |
ソース側DDLメッセージに基づく自動テーブル作成対応リンク
以下のリンクを除き、その他のリアルタイムデータベース全体リンクは、ソース側のDDLメッセージに基づいて、タスク実行段階でターゲット側のデータベースとテーブルを自動作成することをサポートします：
番号 | ソース側 | ターゲット側 | 備考 |
1 | MySQL | PostgreSQL | 既存のデータベース、Schema、データテーブルの使用のみをサポートします。 |
2 | OceanBase | Doris、Iceberg | 既存のデータベース、データテーブルの使用のみをサポートします。 |
3 | Kafka | Doris | 既存のデータベース、データテーブルの使用のみをサポートします。 |
主要な異種データソースのテーブル作成における型変換関係
MySQLからDorisへのテーブル作成フィールドタイプ変換：
| MySQL（ソース側） | DORIS（ターゲット側） | 補足説明 | ||
| データ型 | 精度の説明 | データ型 | 精度の説明 | |
| BOOLEAN | 0はfalseを表し、1はtrueを表します。 | BOOLEAN | 0はfalseを表し、1はtrueを表します。 | - |
数値型 | TINYINT | 範囲[-128, 127] | TINYINT | 範囲[-128, 127] | - |
SMALLINT | 範囲[-32768, 32767] | SMALLINT | 範囲[-32768, 32767] | - | |
MEDIUMINT | 範囲[-8388608, 8388607] | INT | 範囲[-2147483648, 2147483647] | - | |
INT | 範囲[-2147483648, 2147483647] | INT | 範囲[-2147483648, 2147483647] | - | |
BIGINT | 範囲[-9223372036854775808, 9223372036854775807] | BIGINT | 範囲[-9223372036854775808, 9223372036854775807] | - | |
UNSIGNED TINYINT | 範囲[0, 255] | SMALLINT | 範囲[-32768, 32767] | - | |
UNSIGNED MEDIUMINT | 範囲[0, 16777215] | INT | 範囲[-2147483648, 2147483647] | - | |
UNSIGNED INT | 範囲[0, 4294967295] | BIGINT | 範囲[-9223372036854775808, 9223372036854775807] | - | |
UNSIGNED BIGINT | 範囲[0, 18,446,744,073,709,551,615] | LARGEINT | 範囲[-2^127 + 1 ~ 2^127 - 1] | - | |
FLOAT | 4バイト浮動小数点数 | FLOAT | 4バイト浮動小数点数 | - | |
DOUBLE | 8バイト浮動小数点数 | DOUBLE | 8バイト浮動小数点数 | - | |
DECIMAL | DECIMAL(M,D)、Mの範囲は[1, 65]、Dの範囲は[0, 30] | DECIMALV3 | DECIMAL(M,D)、Mの範囲は[1, 38]、Dの範囲は[0, precision] | - | |
日付時刻型 | YEAR | 範囲：1901～2155、表示形式：YYYY | SMALLINT | 範囲[-32768, 32767] | - |
TIME | 範囲：-838:59:59～838:59:59、表示形式：hh:mm:ssまたはhh:mm:ss | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | - | |
DATE | 範囲：1000-01-01～9999-12-31、表示形式：YYYY-MM-DD | DATEV2 | 範囲：0000-01-01～9999-12-31、表示形式：YYYY-MM-DD | - | |
DATETIME | 1000-01-01 00:00:00～9999-12-31 23:59:59、表示形式：YYYY-MM-DD HH:mm:ss | DATETIMEV2 | 0000-01-01 00:00:00～9999-12-31 23:59:59、表示形式：YYYY-MM-dd HH:mm:ss.SSSSSS、時間精度は省略可能です。 | - | |
TIMESTAMP | UTC 1970-01-01 00:00:01～2038-01-19 03:14:07、表示形式：YYYY-MM-DD HH:mm:ss | DATETIMEV2 | 表示形式：YYYY-MM-DD HH:mm:ss | TIMESTAMPフィールドのデータはシステムのタイムゾーンに応じて変化しますが、DATETIMEフィールドのデータは変化しません。業務シナリオに応じてタイムゾーンを変換することをお勧めします。 | |
文字列型 | CHAR | 0～255文字 | CHAR | 固定長文字列、範囲は1～255です。 | - |
VARCHAR | 0～65,535文字 | VARCHAR | 可変長文字列、範囲は1～65533です。 | MySQLフィールドの長さが65533を超える場合は、stringへの変換を推奨します。 | |
TINYTEXT、TEXT | 0～255文字 | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | - | |
MEDIUMTEXT、LONGTEXT | 0～65535文字 | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | MySQLフィールドの長さが1048576バイトを超えると、精度が失われる可能性があります。 | |
バイナリ文字列 | TINYBLOB、BLOB | バイナリ文字列、0～255バイト | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | - |
MEDIUMBLOB、LONGBLOB | バイナリ文字列、0～16,777,215バイト、最大16M | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | MySQLフィールドの長さが1048576バイトを超えると、精度が失われる可能性があります。 | |
BINARY、VARBINARY | 固定長バイナリデータ、最大255バイト | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | - | |
その他 | JSON | JSONデータ、最大ストレージサイズは1GBです。 | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | MySQLフィールドのサイズが1Mを超えると、精度が失われる可能性があります。 |
SET、BIT | 文字列集合、最大64メンバー | STRING | 可変長文字列、最大（デフォルト）で1048576バイト（1MB）をサポートします。 | - | |
ENUM | 列挙オブジェクト、最大65535メンバー | UNSUPPORTED | - | 現時点では未対応です。 | |
MySQLからDLC icebergテーブルへのテーブル作成フィールドタイプ変換：
Mysql タイプ（ソース側） | DLC Iceberg テーブル（ターゲット側） | 説明 |
tinyint(1) | int | - |
smallint | smallint | - |
int | int | - |
mediumint | int | - |
bigint | bigint | - |
float | float | - |
double | double | - |
decimal | decimal | - |
datetime | timestamp | - |
timestamp | timestamp | - |
date | date | - |
time | time | - |
tinytext | string | - |
text | string | - |
mediumtext | string | - |
longtext | string | - |
varchar | string | - |
char | string | - |
bool | boolean | - |
tinyblob | binary | - |
mediumblob | binary | - |
blob | binary | - |
longblob | binary | - |
varbinary | binary | - |
binary | binary | - |
decimal unsigned(p,x) | decimal(p+1, x) | 説明：decimal(p+1, x)/string（長さ超過後はstringに変更） |
decimal unsigned(p,x) | decimal(p+1, x) | 説明：decimal(p+1, x)/string（長さ超過後はstringに変更） |
int unsigned | bigint | - |
int unsigned zerofill | bigint | - |
smallint unsigned | int | - |
smallint unsigned zerofill | int | - |
mediumint unsigned | bigint | - |
mediumint unsigned zerofill | bigint | - |
float unsigned | double | - |
float unsigned zerofill | double | - |
double unsigned | decimal(20,0) | - |
double unsigned zerofill | decimal(20,0) | - |
bigint unsigned | decimal(20,0) | - |
フィードバック