tencent cloud

Tencent Cloud WeData

オフラインノード詳細パラメータ

ダウンロード
フォーカスモード
フォントサイズ
最終更新日: 2026-10-29 16:23:26
AI翻訳
本文書は、WeData 2.0のData Integrationオフライン同期タスクでサポートされる詳細パラメータをまとめたものです。オフライン同期タスクの設定で「詳細パラメータ」をクリックして設定できます。

使用説明

パラメータ形式:パラメータ名=パラメータ値(例:ignoreDirEmpty=TRUE)。
パラメータの適用範囲:データソースによってサポートされるパラメータは異なります。対応するデータソースのオフライン同期タスクで利用可能なパラメータを確認してください。
パラメータの大文字と小文字:パラメータ名は大文字と小文字を区別します。ドキュメントに従って正確に入力してください。

詳細パラメータ明細

オフラインタイプ
読み取り/書き込み
パラメータ
値の参考
説明
選択可能な値
COS
読み取り側
ignoreDirEmpty
TRUE
このパラメータを追加すると、データ同期モードでソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合でも、タスクはエラーを報告しません。
このパラメータを追加しない場合、デフォルトでignoreDirEmpty=falseとなり、ソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合、タスクはエラーを報告します。
true,false
COS
読み取り側
ignoreFileNotFound
TRUE
このパラメータを追加すると、データ同期またはファイル転送モードでソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告しません。
このパラメータを追加しない場合、デフォルトでignoreFileNotFound=falseとなり、ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告します。
true,false
COS
読み取り側
transEmpFile
TRUE
このパラメータを追加すると、ファイル転送モードで空ファイルをFTP/SFTP/HDFS/S3/COSのターゲット側に同期できます。
このパラメータを追加しない場合、デフォルトでtransEmpFile=falseとなり、ファイル転送モードでは空ファイルを同期しません。
true,false
COS
書き込み側
splitFileSize
134217728
単一ファイル分割サイズ。
hive on COSには適用されません。text、orc、parquetタイプのファイルをサポートします。
-
COS
書き込み側
hadoopConfig
{}
hadoopConfigに設定を追加できます。
-
COS
書き込み側
saveEmpFile
TRUE
このパラメータを追加すると、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルが保持されます。
このパラメータを追加しない場合、デフォルトでsaveEmpFile=falseとなり、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されません。
true,false
DLC
読み取り側
fs.cosn.trsf.fs.ofs.data.transfer.thread.count
32
このパラメータを使用して、データの読み書き時の並列スレッド数を設定できます。設定しない場合、デフォルト値は32です。
-
DLC
読み取り側
fs.cosn.trsf.fs.ofs.prev.read.block.count
4
このパラメータを使用して、先読みデータブロック数を設定できます。設定しない場合、デフォルト値は4です。
-
DLC
読み取り側
ignoreNullFormat
TRUE
このパラメータを追加すると、ソース側の空文字列は空文字列としてターゲット側に書き込まれます。
このパラメータを追加しない場合、デフォルトでignoreNullFormat=falseとなり、ソース側の空文字列はデフォルトでnull値としてターゲット側に書き込まれます。
true,false
DLC
読み取り側
session
["spark.sql.xxx=value"]
DLC sessionパラメータを設定します。具体的なsessionサポートパラメータはDLCエンジンによってサポートされ、DLC公式ドキュメントで確認できます。
-
DLC
書き込み側
fs.cosn.trsf.fs.ofs.data.transfer.thread.count
32
このパラメータを使用して、データの読み書き時の並列スレッド数を設定できます。設定しない場合、デフォルト値は32です。
-
達夢 DM
読み取り側
queryTimeout
172800
このパラメータはデータベースクエリの最大実行時間を設定するために使用され、単位はデフォルトで秒(s)です。このパラメータを追加すると、データベースクエリの実行時間が設定時間を超えた場合、タスク状態は自動的に失敗に設定されます。
このパラメータを追加しない場合、デフォルトでqueryTimeout=172800となります。
-
達夢 DM
読み取り側
session
["SET SESSION QUERY_TIMEOUT = 60000"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
達夢 DM
書き込み側
session
["SET SESSION QUERY_TIMEOUT = 60000"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Doris
読み取り側
query_timeout
604800
クエリのタイムアウト時間(秒単位)
-
Doris
読み取り側
exec_mem_limit
4294967296
実行メモリ制限を設定し、クエリ実行中のメモリ使用を制限します。
-
Doris
読み取り側
parallel_fragment_exec_instance_num
8
並列フラグメント実行のインスタンス数を指定します。
-
Doris
書き込み側
sameNameWildcardColumn
TRUE
MySQL-Doris設定*は同名フィールドのマッピングをサポートします。
true,false
Doris
書き込み側
loadProps
{"format":"csv","column_separator":"\\x01","row_delimiter":"\\x03"}
CSV形式で書き込みます。デフォルトのJSON形式の書き込みよりも性能が高くなります。行区切り文字\\x03と併用する必要があります。区切り文字は\\r、\\bをサポートしません。16進数の隠し文字は\\形式で入力する必要があります。
-
DORIS
書き込み側
replaceDelimiter
置換文字
データ項目に区切り文字として使用される文字が含まれている場合、データをインポートする際に区切り文字でデータを分割するとフィールドの位置ずれが発生します。
このパラメータを追加すると、データ項目内の指定された行区切り文字または列区切り文字と一致する文字を、まずユーザー定義の文字に置き換えてから(置換操作によりデータが変更されます)、行区切り文字または列区切り文字に従ってデータを分割できます。
このパラメータを追加しない場合、区切り文字に従って直接データを分割します。
-
Elasticsearch /Tencent Cloud ElasticSearch
書き込み側
compression
TRUE
HTTPリクエストで圧縮を有効にします。
-
Elasticsearch /Tencent Cloud ElasticSearch
書き込み側
multiThread
TRUE
HTTPリクエストでマルチスレッドを使用するかどうかを指定します。
true,false
ElasticSearch /Tencent Cloud ElasticSearch
書き込み側
ignoreWriterError
FALSE
書き込みエラーを無視し、再試行せずに書き込みを続行します。
true,false
ElasticSearch /Tencent Cloud ElasticSearch
書き込み側
ignoreParseError
FALSE
解析データ形式エラーを無視し、書き込みを続行します。
true,false
ElasticSearch /Tencent Cloud ElasticSearch
書き込み側
alias

Elasticsearchのエイリアスはデータベースのビュー機構に類似しており、インデックスmy_indexにエイリアスmy_index_aliasを作成します。my_index_aliasへの操作はmy_indexへの操作と一致します。aliasを設定すると、データインポート完了後に指定されたインデックスにエイリアスが作成されます。
-
ElasticSearch /Tencent Cloud ElasticSearch
書き込み側
aliasMode
append
データインポート完了後にエイリアスを追加するモードです。append(追加モード)とexclusive(この1つのみを残す)が含まれます。appendは現在のインデックスをエイリアスaliasマッピングに追加することを示します(1つのエイリアスが複数のインデックスに対応)。exclusiveはまずエイリアスaliasを削除し、その後現在のインデックスをエイリアスaliasマッピングに追加することを示します(1つのエイリアスが1つのインデックスに対応)。その後、エイリアスは実際のインデックス名に変換されます。エイリアスはインデックスの移行や複数インデックスのクエリ統合に使用でき、ビューの機能を実現するためにも使用できます。
append,exclusive
ElasticSearch /Tencent Cloud ElasticSearch
書き込み側
nullToDate
null
null値をdate型に変換し、nullを埋め込みます。
-
FTP
読み取り側
ignoreFileNotFound
TRUE
このパラメータを追加すると、データ同期またはファイル転送モードでソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告しません。
このパラメータを追加しない場合、デフォルトでignoreFileNotFound=falseとなり、ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告します。
true,false
FTP
読み取り側
transEmpFile
TRUE
このパラメータを追加すると、ファイル転送モードで空ファイルをFTP/SFTP/HDFS/S3/COSのターゲット側に同期できます。
このパラメータを追加しない場合、デフォルトでtransEmpFile=falseとなり、ファイル転送モードでは空ファイルを同期しません。
true,false
FTP
書き込み側
deleteEmpFile
TRUE
このパラメータを追加すると、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されません。
このパラメータを追加しない場合、デフォルトでdeleteEmpFile=falseとなり、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されます。
true,false
HBase
書き込み側
hbase.client.keyvalue.maxsize
10485760
単一のKeyValueオブジェクトの最大サイズを制限するために使用します。デフォルトは10MBです。
-
HDFS
読み取り側
ignoreDirEmpty
TRUE
このパラメータを追加すると、データ同期モードでソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合でも、タスクはエラーを報告しません。
このパラメータを追加しない場合、デフォルトでignoreDirEmpty=falseとなり、ソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合、タスクはエラーを報告します。
true,false
HDFS
読み取り側
ignoreFileNotFound
TRUE
このパラメータを追加すると、データ同期またはファイル転送モードでソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告しません。
このパラメータを追加しない場合、デフォルトでignoreFileNotFound=falseとなり、ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーを報告します。
true,false
HDFS
読み取り側
transEmpFile
TRUE
このパラメータを追加すると、ファイル転送モードで空ファイルをFTP/SFTP/HDFS/S3/COSのターゲット側に同期できます。
このパラメータを追加しない場合、デフォルトでtransEmpFile=falseとなり、ファイル転送モードでは空ファイルを同期しません。
true,false
HDFS
書き込み側
splitFileSize
134217728
単一ファイル分割サイズ。
hive on hdfsには適用されません。text、orc、parquetタイプのファイルをサポートします。
-
HDFS
書き込み側
writeMode
overwrite
このパラメータはファイル転送方式に適用されます。このパラメータを追加すると、書き込み前に対象側でソース側と同じ名前のファイルがクリーンアップされます。このパラメータはファイル転送方式に適用されます。このパラメータを追加すると、書き込み前に対象側でソース側と同じ名前のファイルがクリーンアップされます。
このパラメータを追加しない場合、ファイル転送方式ではデフォルトでwriteMode=nonconflictとなり、ソース側とターゲット側で同じ名前のファイルがある場合は書き込みをスキップします。
append,overwrite,nonconflict,truncate
HDFS
書き込み側
saveEmpFile
TRUE
このパラメータを追加すると、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルが保持されます。
このパラメータを追加しない場合、デフォルトでsaveEmpFile=falseとなり、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されません。
true,false
Hive
読み取り側
hive.execution.engine
mr
hive.execution.engineはHiveクエリの実行エンジンをmrに指定するために使用します。mapreduce.job.queuename=root.defaultはジョブ(job)をどのキュー(queue)に送信して実行するかを指定するために使用します。両者は併用する必要があります。
-
Hive
読み取り側
mapreduce.job.queuename
root.default
hive.execution.engineはHiveクエリの実行エンジンをmrに指定するために使用します。mapreduce.job.queuename=root.defaultはジョブ(job)をどのキュー(queue)に送信して実行するかを指定するために使用します。両者は併用する必要があります。
-
Hive
読み取り側
session
["set hive.execution.engine=spark", "set spark.yarn.queue=default", "set spark.executor.instances=10", "set spark.executor.cores=4", "set spark.executor.memory=10g", "set spark.app.name=xxx"]
hive.execution.engine=sparkはHiveクエリの実行エンジンをsparkに指定するために使用します。spark.yarn.queue=defaultはYARNリソースキュー名を指定するために使用し、リソーススケジューリングに使用します。spark.executor.instances=10は起動するExecutorインスタンス数を指定するために使用します。spark.executor.cores=4は各Executorに割り当てるCPUコア数を指定するために使用します。spark.executor.memory=10gは各Executorに割り当てるメモリサイズを指定するために使用します。spark.app.name=xxxはSparkクラスタ監視画面でジョブを識別するために使用します。xxxプレースホルダは自身で入力する必要があります。
-
Hive
書き込み側
compress
none/snappy/lz4/bzip2/gzip/deflate
デフォルトはnoneです。textfile形式にのみ有効で、orc/parquetには無効です(orc/parquetはテーブル作成文で圧縮を指定する必要があります)。
none,snappy,lz4,bzip2,gzip,deflate
Hive
書き込み側
partition
static
静的パーティションモードです。単一パーティションの書き込みに適しており、メモリをより節約できます。
static
Hudi
読み取り側
session
["set spark.yarn.queue=default", "set spark.executor.instances=10", "set spark.executor.cores=4", "set spark.executor.memory=10g", "set spark.app.name=xxx"]
hudi.execution.engine=sparkはHudiクエリの実行エンジンをsparkに指定するために使用します。spark.yarn.queue=defaultはYARNリソースキュー名を指定するために使用し、リソーススケジューリングに使用します。spark.executor.instances=10は起動するExecutorインスタンス数を指定するために使用します。spark.executor.cores=4は各Executorに割り当てるCPUコア数を指定するために使用します。spark.executor.memory=10gは各Executorに割り当てるメモリサイズを指定するために使用します。spark.app.name=xxxはSparkクラスタ監視画面でジョブを識別するために使用します。xxxプレースホルダは自身で入力する必要があります。
-
Hudi
書き込み側
compress
none/snappy/lz4/bzip2/gzip/deflate
デフォルトはnoneです。textfile形式にのみ有効で、orc/parquetには無効です(orc/parquetはテーブル作成文で圧縮を指定する必要があります)。
none,snappy,lz4,bzip2,gzip,deflate
Hudi
書き込み側
partition
static
静的パーティションモードです。単一パーティションの書き込みに適しており、メモリをより節約できます。
static
Kafka
書き込み側
kafkaConfig
{}
Kafka Producer設定項目をサポートします。
-
MongoDB
読み取り側
batchSize
1000
バッチ読み取り件数
-
MongoDB
読み取り側
formatISODate
false
読み取り時にISODateをyyyy-MM-dd HH:mm:ssにフォーマットします。デフォルトはfalseです(フォーマットしません)。
true,false
MongoDB
書き込み側
replaceKey
id
書き込みモードが上書き書き込みの場合、更新用のビジネス主キーとして使用します。複合主キーをサポートしており、主キーはカンマで区切る必要があります。例:replaceKey=id,data
-
MongoDB
書き込み側
batchSize
2000
バッチ書き込み件数です。設定しない場合、デフォルトは1000です。
-
MySQL
読み取り側
splitFactor
5
シャーディング係数
-
MySQL
読み取り側
queryTimeout
172800
このパラメータはデータベースクエリの最大実行時間を設定するために使用します。単位はデフォルトで秒(s)です。このパラメータを追加した後、データベースクエリの実行時間が設定時間を超えると、タスク状態は自動的に失敗になります。このパラメータを追加しない場合、デフォルトはqueryTimeout=172800です。
-
MySQL
読み取り側
preserveTemporalScaleFromSchema
FALSE
書き込み時にソース側の時間値の精度を保持し、0.0000が0.00と書き込まれる問題を解決します(デフォルトはFALSEで、保持しません)。
-
MySQL
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
MySQL
書き込み側
sql_mode
ANSI
SQL文の構文規則、データ検証の厳格度、および互換性モードを制御するために使用します。データベースが非標準またはエラーの可能性があるデータと操作をどのように処理するかを決定します(デフォルトパラメータ sql_mode=ANSI)。
-
MySQL
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
OceanBase
読み取り側
splitFactor
5
シャーディング係数
-
Oracle
読み取り側
queryTimeout
172800
このパラメータはデータベースクエリの最大実行時間を設定するために使用します。単位はデフォルトで秒(s)です。このパラメータを追加した後、データベースクエリの実行時間が設定時間を超えると、タスク状態は自動的に失敗になります。このパラメータを追加しない場合、デフォルトはqueryTimeout=172800です。
-
Oracle
読み取り側
session
["ALTER SESSION SET NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Oracle
書き込み側
session
["ALTER SESSION SET NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Redis
書き込み側
redisMode
ClusterMode
Redis writerはclusterをサポートします。
ClusterMode
REST API
読み取り側
connectTimeout
30
このパラメータを追加すると接続タイムアウト時間を設定できます。単位はデフォルトで秒です。このパラメータを追加しない場合、デフォルトはconnectTimeout=5です。
-
REST API
読み取り側
socketTimeout
60
このパラメータを追加するとSocketタイムアウト時間を設定できます。単位はデフォルトで秒です。このパラメータを追加しない場合、デフォルトはsocketTimeout=10です。
-
REST API
読み取り側
recordNumPerPage
20
このパラメータは、各ページで返されるレコード数を指定するために使用します。このパラメータを追加すると、カスタムリクエストエンドポイントは無効になり、システムは指定値に基づいて自動的にページネーションを行います。maxPageNumパラメータを設定しない場合、デフォルトの最大リクエストページ数はmaxPageNum=10000です。サーバーから返されるレコード数が指定値より少ない場合、最後のページとみなしてリクエストを停止します(注意:返されるレコード数が指定値と等しい場合、最後のページかどうかを判断できず、再度リクエストします)。このパラメータを追加しない場合、デフォルトのカスタムリクエストエンドポイントに従ってデータを取得します。
-
REST API
読み取り側
maxPageNum
10000
このパラメータは最大リクエストページ数を指定するために使用します。また、recordNumPerPageパラメータと一緒に使用する必要があります。そうしないと、このパラメータは有効になりません。このパラメータを追加した後、リクエストページ数が指定値に達するとリクエストを停止します。
-
S3
読み取り側
ignoreDirEmpty
TRUE
このパラメータを追加すると、データ同期モードでソース側のファイルパスにファイルがない場合や空ファイルのみの場合、タスクはエラーになりません。このパラメータを追加しない場合、デフォルトはignoreDirEmpty=falseとなり、ソース側のファイルパスにファイルがない場合や空ファイルのみの場合、タスクはエラーになります。
true,false
S3
読み取り側
ignoreFileNotFound
TRUE
このパラメータを追加すると、データ同期またはファイル転送モードでソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーになりません。このパラメータを追加しない場合、デフォルトはignoreFileNotFound=falseとなり、ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーになります。
true,false
S3
読み取り側
transEmpFile
TRUE
このパラメータを追加すると、ファイル転送モードで空ファイルをFTP/SFTP/HDFS/S3/COSのターゲット側に同期できます。このパラメータを追加しない場合、デフォルトはtransEmpFile=falseとなり、ファイル転送モードで空ファイルは同期されません。
true,false
S3
書き込み側
saveEmpFile
TRUE
このパラメータを追加すると、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されます。このパラメータを追加しない場合、デフォルトはsaveEmpFile=falseとなり、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されません。
true,false
SAP HANA
読み取り側
isFullTableName
TRUE
このパラメータを追加すると、入力または選択したテーブル名は完全名として扱われます。このパラメータを追加しない場合、デフォルトはisFullTableName=falseとなり、テーブル名に「.」が含まれる場合は自動的にSchema.Tableとして解析されます。
true,false
SAP HANA
読み取り側
session
["SET SESSION 'statement_timeout' = '60'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
SAP HANA
書き込み側
isFullTableName
TRUE
このパラメータを追加すると、入力または選択したテーブル名は完全名として扱われます。このパラメータを追加しない場合、デフォルトはisFullTableName=falseとなり、テーブル名に「.」が含まれる場合は自動的にSchema.Tableとして解析されます。
true,false
SAP HANA
書き込み側
session
["SET SESSION 'statement_timeout' = '60'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
SFTP
読み取り側
ignoreFileNotFound
TRUE
このパラメータを追加すると、データ同期またはファイル転送モードでソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーになりません。このパラメータを追加しない場合、デフォルトはignoreFileNotFound=falseとなり、ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーになります。
true,false
SFTP
読み取り側
transEmpFile
TRUE
このパラメータを追加すると、ファイル転送モードで空ファイルをFTP/SFTP/HDFS/S3/COSのターゲット側に同期できます。このパラメータを追加しない場合、デフォルトはtransEmpFile=falseとなり、ファイル転送モードで空ファイルは同期されません。
true,false
SFTP
書き込み側
deleteEmpFile
TRUE
このパラメータを追加すると、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されません。このパラメータを追加しない場合、デフォルトはdeleteEmpFile=falseとなり、データ同期モードでソース側にデータがない場合、ターゲット側に生成された空ファイルは保持されます。
true,false
SQL Server
読み取り側
queryTimeout
172800
このパラメータはデータベースクエリの最大実行時間を設定するために使用します。単位はデフォルトで秒(s)です。このパラメータを追加した後、データベースクエリの実行時間が設定時間を超えると、タスク状態は自動的に失敗になります。このパラメータを追加しない場合、デフォルトはqueryTimeout=172800です。
-
SQL Server
読み取り側
session
["SET LOCK_TIMEOUT 30000"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
SQL Server
書き込み側
session
["SET LOCK_TIMEOUT 30000"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
StarRocks
読み取り側
splitFactor
5
シャーディング係数
-
StarRocks
読み取り側
query_timeout
604800
クエリのタイムアウト時間(秒単位)
-
StarRocks
読み取り側
exec_mem_limit
4294967296
実行メモリ制限を設定し、クエリ実行中のメモリ使用を制限します。
-
StarRocks
読み取り側
parallel_fragment_exec_instance_num
8
並列フラグメント実行のインスタンス数を指定します。
-
StarRocks
書き込み側
loadProps
{"format":"csv","column_separator":"\\x01","row_delimiter":"\\x03"}
CSV形式で書き込みます。デフォルトのJSON形式の書き込みよりも性能が高くなります。行区切り文字\\x03と併用する必要があります。区切り文字は\\r、\\bをサポートしません。16進数の隠し文字は\\形式で入力する必要があります。
-
StarRocks
書き込み側
replaceDelimiter
置換文字
データ項目に区切り文字として使用される文字が含まれている場合、データをインポートする際に区切り文字でデータを分割するとフィールドの位置ずれが発生します。このパラメータを追加すると、データ項目内の指定された行区切り文字または列区切り文字と一致する文字を、先にユーザー定義の文字に置き換えてから(置き換え操作によりデータは変更されます)、行区切り文字または列区切り文字でデータを分割できます。このパラメータを追加しない場合、区切り文字で直接データを分割します。
-
TDSQL MYSQL
読み取り側
splitFactor
5
シャーディング係数
-
TDSQL MYSQL
読み取り側
preserveTemporalScaleFromSchema
FALSE
書き込み時にソース側の時間値の精度を保持し、0.0000が0.00と書き込まれる問題を解決します(デフォルトはFALSEで、保持しません)。
-
TDSQL MYSQL
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TDSQL MYSQL
書き込み側
sql_mode
ANSI
SQL文の構文規則、データ検証の厳格度、および互換性モードを制御するために使用します。データベースが非標準またはエラーの可能性があるデータと操作をどのように処理するかを決定します(デフォルトパラメータ sql_mode=ANSI)。
-
TDSQL MYSQL
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TDSQLC
読み取り側
preserveTemporalScaleFromSchema
FALSE
書き込み時にソース側の時間値の精度を保持し、0.0000が0.00と書き込まれる問題を解決します(デフォルトはFALSEで、保持しません)。
-
TDSQLC
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TDSQLC
書き込み側
sql_mode
ANSI
SQL文の構文規則、データ検証の厳格度、および互換性モードを制御するために使用します。データベースが非標準またはエラーの可能性があるデータと操作をどのように処理するかを決定します(デフォルトパラメータ sql_mode=ANSI)。
-
TDSQLC
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Tencent Cloud MongoDB
読み取り側
batchSize
1000
バッチ読み取り件数
-
Tencent Cloud MongoDB
書き込み側
replaceKey
id
書き込みモードが上書き書き込みの場合、更新用のビジネス主キーとして使用します。複合主キーをサポートしており、主キーはカンマで区切る必要があります。例:replaceKey=id,data
-
Tencent Cloud MongoDB
書き込み側
batchSize
2000
バッチ書き込み件数です。設定しない場合、デフォルトは1000です。
-
Tencent Cloud MySQL
読み取り側
preserveTemporalScaleFromSchema
FALSE
書き込み時にソース側の時間値の精度を保持し、0.0000が0.00と書き込まれる問題を解決します(デフォルトはFALSEで、保持しません)。
-
Tencent Cloud MySQL
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Tencent Cloud MySQL
書き込み側
sql_mode
ANSI
SQL文の構文規則、データ検証の厳格度、および互換性モードを制御するために使用します。データベースが非標準またはエラーの可能性があるデータと操作をどのように処理するかを決定します(デフォルトパラメータ sql_mode=ANSI)。
-
Tencent Cloud MySQL
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TiDB
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TiDB
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
PostgreSQL
読み取り側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
PostgreSQL
書き込み側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
GaussDB
読み取り側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
GaussDB
書き込み側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Greenplum
読み取り側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Greenplum
書き込み側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Tbase
読み取り側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Tbase
書き込み側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TDSQL PostgreSQL
読み取り側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
TDSQL PostgreSQL
書き込み側
session
["SET statement_timeout='5min'"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
DB2
読み取り側
session
["SET CURRENT LOCK TIMEOUT 30"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
DB2
書き込み側
session
["SET CURRENT LOCK TIMEOUT 30"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Sybase
読み取り側
session
["SET QUERY_TIMEOUT 60"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Gbase
読み取り側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-
Gbase
書き込み側
session
["SET SESSION wait_timeout=28800"]
sessionパラメータを設定します。具体的なsessionサポートパラメータはデータソースの公式サイトで確認できます。
-

よくあるご質問

1. 複数の詳細パラメータを設定するにはどうすればよいですか。

オフライン同期タスク設定の「詳細パラメータ」では、各パラメータは1行を占め、形式はパラメータ名=パラメータ値です。例:
ignoreDirEmpty=TRUE
queryTimeout=172800

2. パラメータは大文字と小文字を区別しますか。

はい、パラメータ名は大文字と小文字を区別します。ドキュメントに記載されているパラメータ名に従って正確に入力してください。

3. パラメータ設定後、どのくらいで有効になりますか。

詳細パラメータはタスク保存後に有効になり、タスクを再起動すると設定が有効になります。

実践例

このドキュメントでは、一般的な詳細パラメータの使用シナリオをまとめ、オフライン同期タスクの問題を迅速に解決できるようにします。

例1:MySQLデータソース接続エラー(タイムゾーン問題)

エラー概要:
MySQLデータソースを設定した後、接続テスト時にエラーが発生し、エラーメッセージにタイムゾーン関連の例外が含まれます(例:The server time zone value 'XXX' is unrecognized)。
原因分析:
MySQL JDBC接続ではタイムゾーンパラメータserverTimezoneを指定する必要があります。未設定または設定が誤っている場合、接続に失敗します。WeData詳細パラメータのsessionパラメータはタイムゾーンの設定に使用できます。
パラメータ設定:
オフライン同期タスクの「詳細パラメータ」に、以下の設定を追加します(読み取り側と書き込み側の両方で設定が必要です):
session=["SET time_zone='+08:00'"]
説明:
+08:00は東八区(中国タイムゾーン)を表します。実際のビジネスニーズに応じて調整してください。

例2:Dorisデータ同期でデータ重複が発生

エラー概要:
Dorisデータ同期タスクが正常に実行された後、ターゲットテーブルを照会するとデータが重複していることが判明しました(データ件数がソース側より多い)。
原因分析:
Dorisに書き込む際は、主キーモード(sameNameWildcardColumn)を正しく設定する必要があります。設定されていないか、設定が正しくない場合、データが更新されずに重複して書き込まれます。
パラメータ設定:
オフライン同期タスクのターゲット側(Doris)の「詳細パラメータ」に、以下の設定を追加します:
sameNameWildcardColumn=TRUE
説明:
このパラメータは同名フィールドのマッピングをサポートし、データの重複書き込みを防ぐために使用されます。

例3:空ファイル読み取り時にジョブがエラーを報告

エラー概要:
オフライン同期タスクがCOS/SFTP/HDFSなどのファイルシステムを読み取る際に、ソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合、タスクはエラーで失敗します。
原因分析:
デフォルトでは、WeDataはソース側のファイルパスに有効なファイルが存在することを要求します。存在しない場合、タスクはエラーになります。業務シナリオで空ファイルや空ディレクトリが許可されている場合は、無視パラメータを設定する必要があります。
パラメータ設定:
データソースタイプに応じて、オフライン同期タスクの読み取り側の「詳細パラメータ」に、以下の設定を追加します:
COS/S3/FTP/SFTP/HDFS読み取り側:
ignoreDirEmpty=TRUE
ignoreFileNotFound=TRUE
ファイル転送モード(空ファイルの同期を許可):
transEmpFile=TRUE
説明:
ignoreDirEmpty=TRUE:ソース側のファイルパスにファイルがない場合や空ファイルのみが存在する場合、タスクはエラーになりません。
ignoreFileNotFound=TRUE:ソース側のファイルまたはファイルパスが存在しない場合、タスクはエラーになりません。
transEmpFile=TRUE:ファイル転送モードでは、空ファイルをターゲット側に同期することをサポートします。

例4:DLCで空文字列がNULLとして書き込まれデータ不整合が発生

エラー概要:
DLCをソース側としてデータ同期を行う際、ソース側の空文字列('')はターゲット側に書き込まれた後、NULLになります。これにより、ソース側とターゲット側のデータが不一致になります。
原因分析:
DLCの基盤ストレージメカニズムは空文字列をNULL値として書き込みます。ignoreNullFormatパラメータを設定しない場合、WeDataはデフォルトでソース側の空文字列をNULL値としてターゲット側に書き込みます。
パラメータ設定:
オフライン同期タスクのソース側(DLC読み取り側)の「詳細パラメータ」に、以下の設定を追加します:
ignoreNullFormat=TRUE
説明:
このパラメータを設定すると、ソース側の空文字列は空文字列としてターゲット側に書き込まれ、NULL値にはなりません。

例5:MySQLの日付フィールドが'0000-00-00 00:00:00'の場合に読み取り異常が発生

エラー概要:
MySQLソース側テーブルに日付フィールド値が0000-00-00 00:00:00である場合、オフライン同期タスクの読み取り時にエラーが発生します(例:Cannot convert value '0000-00-00 00:00:00' from column X to TIMESTAMP)。
原因分析:
MySQL JDBCドライバはデフォルトでは0000-00-00 00:00:00を有効なTIMESTAMP値に変換することをサポートしていません。sessionパラメータでSQLモードを設定し、不正な日付値を許可する必要があります。
パラメータ設定:
オフライン同期タスクのソース側(MySQL読み取り側)の「詳細パラメータ」に、以下の設定を追加します:
session=["SET SESSION sql_mode='ALLOW_INVALID_DATES'"]
説明:
ALLOW_INVALID_DATES:不正な日付値(例:0000-00-00)の保存と読み取りを許可します。
他のSQLモードも保持する必要がある場合は、sql_modeにこのオプションを追加してください。完全に置き換えないでください。

例6:Kafkaプロデューサーパラメータチューニング(batch.size、linger.ms)

エラー概要:
WeDataを使用してデータをKafkaに書き込む際に、スループットが低いことが判明した場合、またはKafkaプロデューサーのバッチ送信動作を最適化したい場合。
原因分析:
Kafkaプロデューサーには、バッチ送信性能に影響する2つの重要なパラメータがあります:
batch.size:各バッチで使用可能なメモリバイト数です。デフォルトは16384(16KB)です。
linger.ms:送信前に、より多くのメッセージがバッチに追加されるのを待つ時間(ミリ秒)です。デフォルトは0(即時送信)です。
パラメータ設定:
オフライン同期タスクのターゲット側(Kafka書き込み側)の「詳細パラメータ」に、以下の設定を追加します:
kafkaConfig={"batch.size":"32768","linger.ms":"100"}
説明:
batch.size:32768(32KB)に設定するとバッチ送信効率が向上しますが、メモリ使用量が増加します。
linger.ms:100msに設定すると、遅延とスループットのバランスを取ることができます。
実際のビジネスシナリオ(スループット vs 遅延)に応じてパラメータ値を調整してください。


ヘルプとサポート

この記事はお役に立ちましたか?

フィードバック