Mongo/Tencent Mongo データソース
ダウンロード
フォーカスモード
フォントサイズ
Tencent Cloud MongoデータソースとMongoデータソースの設定方法は同じです。ここではMongoデータソースを例として説明します。
サポートバージョン
MongoDB 3.6、4.x、5.x、6.xバージョンをサポートします。
利用制限
1. 増分同期時、where 条件構文：
create_time>= '${yyyy-MM-dd-1d HH:mm:ss}' and create_time < '${yyyy-MM-dd HH:mm:ss}'Bound は現在、整数型と日付関数の設定をサポートしています。日付関数の設定方法は以下の通りです：
// 13桁のタイムスタンプ（ミリ秒）に変換しますTimestampMillis('yyyy-MM-ddTHH:mm:00+0800')TimestampMillis('2023-07-10T00:00:00+0800')TimestampMillis('2023-07-10 00:00:00')TimestampMillis('2023-07-10')// 10桁のタイムスタンプ（秒）に変換しますTimestampSeconds('yyyy-MM-ddTHH:mm:00+0800')TimestampSeconds('2023-07-10T00:00:00+0800')TimestampSeconds('2023-07-10 00:00:00')TimestampSeconds('2023-07-10')
2. MongoDBデータベースの対応するアカウントを使用して接続することをサポートしています。TencentDB for MongoDBを使用している場合、デフォルトでadminアカウントが1つあります。セキュリティポリシーを考慮し、MongoDBデータソースを追加する際は、アクセスアカウントとしてadminを使用しないでください。
3. MongoDBがシャードクラスタである場合、データソースを設定する際にmongosアドレスを設定し、mongod/shardノードアドレスを設定しないでください。そうしないと、同期タスクがMongoDBのデータを抽出する際に、指定したshardのデータのみがクエリされ、想定される全データではなくなる可能性があります。mongos、mongodの詳細については、mongos shardsを参照してください。
4. 並行度が1より大きい場合、同期タスクで設定されたコレクション内のすべての_idフィールドの型は一致している必要があります（例えば、_idフィールドがすべてstring型またはObjectId型であること）。そうでない場合、一部のデータが同期できない問題が発生します。
説明：
並行度が1より大きい場合、タスク分割では_idフィールドを使用して分割が行われます。そのため、このシナリオでは_idフィールドで混合型を使用することはできません。_idに複数のフィールド型がある場合、単一並行度でデータ同期を実行できます。このとき、splitFactorを設定しないか、splitFactorを1に設定してください。
Mongo オフライン単一テーブル読み取りノード構成
パラメータ | 説明 |
データソース | 使用可能なMongoデータソース。 |
データベース | 選択、または手動で読み取るライブラリ名を入力できます。 デフォルトでは、データソースにバインドされているデータベースがデフォルトデータベースとして使用されます。その他のデータベースは、データベース名を手動で入力する必要があります。 データソースのネットワークが不通でライブラリ情報を直接取得できない場合は、データベース名を手動で入力できます。Data Integrationのネットワークが接続されている場合は、引き続きデータ同期を実行できます。 |
コレクション | 選択、または手動で読み取るコレクションを入力できます。 |
区切り文字 | フィールドが配列型の場合、区切り文字を使用して配列の内容を連結します。 |
フィルタ条件（任意） | データ型に応じて対応するフィルタリングステートメントを入力します。このステートメントは、同期対象データのフィルタリング条件として使用されます。 |
詳細設定（任意） | 業務ニーズに応じてパラメータを設定できます。 |
Mongo オフライン単一テーブル書き込みノード構成
パラメータ | 説明 |
データの転送先 | 現在のプロジェクトで利用可能なMongoDBデータソースを選択します。 |
データベース | 選択、または手動で読み取るライブラリ名を入力できます。 デフォルトでは、データソースにバインドされているデータベースがデフォルトデータベースとして使用されます。その他のデータベースは、データベース名を手動で入力する必要があります。 データソースのネットワークが不通でライブラリ情報を直接取得できない場合は、データベース名を手動で入力できます。Data Integrationのネットワークが接続されている場合は、引き続きデータ同期を実行できます。 |
コレクション | 選択、または手動で読み取るコレクションを入力できます。 |
書き込みモード | データを書き込む際に、同じ主キーに対して上書き書き込みを行うかどうかを示します。デフォルトでは_idを各行レコードのビジネス主キーとして使用します。 |
前置ステートメント | 任意項目です。データ同期でMongoDBに書き込む前の事前操作を示します。事前ステートメントがJSONステートメントの要件を満たしていることを確認してください。例えば {"type": "remove"}。 |
詳細設定（任意） | 業務ニーズに応じてパラメータを設定できます。 |
データ型変換のサポート
読み取り
Mongo 読み取りでサポートされるデータ型および変換対応関係は以下の通りです（Mongo を処理する際、まず Mongo データソースのデータ型とデータ処理エンジンのデータ型のマッピングが行われます）：
Mongoデータ型 | 内部型 |
int32、int64、bigint | Long |
double、decimal | Double |
string、 array、map、list | String |
date、datetime | Date |
boolean | Boolean |
bytes | Bytes |
書き込み
Mongo 書き込みでサポートされるデータ型および変換対応関係は以下の通りです：
内部型 | Mongoデータ型 |
Long | int、 Long |
Double | double、decimal |
String | string、 array |
Date | date、datetime |
Boolean | boolean |
Bytes | bytes |
フィードバック