動向名 | 動向の説明 | 関連するドキュメンテーション |
Data Integration | 新規追加: 【リアルタイム】データベース全体の機能を単一テーブルに統合:テーブル名によるタスク検索をサポートします。送信時に同じテーブルの同期タスクが既に存在するかどうかを検証し、重複接続とデータ競合を回避します。 【オフライン】Dorisデータソースはより多くのパーティション設定をサポートします:Dorisに書き込む際、全パーティション、指定パーティション、範囲別パーティション上書きを選択できます。 最適化: 【リアルタイム】起動バージョンと実行バージョンの一致を維持:リアルタイム同期タスクの起動時に実行バージョンとの一致を維持し、バージョン差異による異常を回避します。 【リアルタイム】読み書き回数統計表示の最適化:統計指標の「リンク詳細」における読み書き回数の統計を最適化します。 【オフライン】オフラインタスクスクリプト厳格モード:モード有効時、データソース設定の接続文字列、データベース名、ユーザー名がスクリプト内の対応する設定を上書きし、一般的な移行シナリオに適応します。 【オフライン】Dorisパーティション上書きの原子化:データをまず一時パーティションに書き込み、その後正式パーティションと原子的に置き換えることで、パーティション上書きプロセスにおけるデータ不整合を回避します。 【オフライン】エラーメッセージとガイドの最適化:エラーメッセージを最適化し、フロントエンド設定のガイドと説明を追加します。 性能と安定性: 【リアルタイム】マッピング一致プレビューのパフォーマンス問題を修正:プレビューが長時間読み込み中のままになる、またはメッセージが表示される問題を解決します。 【リアルタイム】サービス安定性とメタデータ性能の向上:リアルタイム統合サービスの安定性とメタデータサービス全体の性能を向上させます。 | |
Studio/SQL探索 | 新規追加: Notebookセルは番号、メモをサポートし、目次を自動生成します:長いNotebookの可読性とナビゲーション効率を向上させます。 StudioとGit設定機能モジュールが全面的に開放されました:許可リストの申請なしでお試しいただけます。 最適化: Notebook環境管理はデフォルトのリソースグループ設定をサポートします:毎回の実行時にリソースグループを手動で選択する操作コストを削減します。 Notebook + EMRの使用フローの最適化:ネットワークセキュリティグループ設定の自動開放、およびCPUリソースアクセスの自動有効化をサポートし、手動操作は不要です。 | |
ワークフロー編成/スケジューリング | 新規追加: 【オーケストレーション】テスト実行は履歴とログの表示をサポートします:デバッグプロセスを容易に追跡できます。 【オーケストレーション】WeData dbtノードのサポート:dbtノードタイプを新規追加し、統合スケジューリングに組み込みます。 【オーケストレーション】ワークフロー権限はrun権限をサポートします:権限の粒度を細分化し、実行権限のみの付与をサポートします。 【スケジューリング】分単位のスケジューリング粒度の強化:標準スケジューリングの分単位タスクはスケジューリングオフセットをサポートします(例:02分から開始し、5分ごとに実行:02 / 07 / 12 …)。 【オーケストレーション】ワークフローオーケストレーション内でのフォルダ移動をサポートします。 最適化: 【スケジューリング】国際サイトの実行ログ時刻はプロジェクト管理のデフォルトスケジューリングタイムゾーンをサポートします:実行ログ時刻はプロジェクト管理で設定されたデフォルトスケジューリングタイムゾーンに基づいて表示でき、タイムゾーンをまたぐチームの問題調査が容易になります。 【スケジューリング】foreachループ回数の上限を1000回に引き上げます:foreachノードのループ回数制限を解除し、より大規模なバッチループシナリオをサポートします。 【スケジューリング】スケジューリングリソース使用率監視の粒度を1分単位にします:リソース使用率監視の精度を分単位に向上させ、きめ細かな容量観測を容易にします。 【スケジューリング】WeDataはTencent Cloud EMR 3.7バージョンとの連携をサポートします。 【オーケストレーション】Spark-jarタスクはリソースパッケージのスナップショットバージョンをサポートします:ワークフロースケジューリングモードでリソースパッケージのスナップショットを指定でき、バージョンの追跡可能性と再現性を保証します。 | |
データサイエンス | 新規追加: モデルサービスはイントラネット / VPCアクセスの制限をサポートします:イントラネットのみまたは指定VPCからのアクセスに限定でき、アクセスセキュリティを強化します。 最適化: 特徴テーブルの物理テーブル削除後の詳細表示の最適化:詳細ページの表示とプロンプトを最適化します。 MLflow登録モデルでエイリアスを設定できない問題を修正します:jupyter-serverカーネルによるtags検証とTCLakeカタログモデルのタグ保存の非互換性により、登録済みモデルでエイリアスを設定できない問題を解決します。 特徴管理クライアント権限の最適化:クライアントはsecretId / keyを使用しなくなり、デフォルトで現在のユーザー権限にバインドされ、DLC、EMRをカバーします。「Studioは正常に動作するが、ワークフロースケジューリングでエラーが発生する」という一時キーの問題を解決します。 | |
データガバナンス | 新規追加: メタデータ収集はTCHouse SRをサポートします:TCHouse SRデータソースタイプのメタデータ収集機能を追加します。 データリネージ:テーブルのINPUT / OUTPUTフィールドレベルのリネージを一括でクエリできます。 品質アラート通知はカスタムメールをサポートします:カスタムメールの内容と受信設定をサポートします。 セキュリティ監査ログのCLSへの配信をサポートします:お客様が長期的に保存し、Open APIを通じて取得・分析するのに便利です。 データサービスリソースグループのバージョンはサイレントアップグレードをサポートします:サイレントアップグレードをサポートし、手動介入を削減します。 最適化: 資産移管は移管明細の表示をサポートします:資産移管時に明細を確認でき、移管プロセスを追跡できます。 | |
基础プラットフォーム | 新規追加: 新バージョンのTeamsグループアラートをサポートします:アラート通知チャネルをアップグレードし、新バージョンのTeamsグループボットに適応し、アラート到達リンクの継続的な可用性を確保します。 Tag機能の最適化:リソースグループの作成、クエリインターフェースでTagパラメータをサポートし、Tagを変更するOpenAPIを追加し、リソースグループ操作後にTagが消える問題を修正します。 最適化: 承認プロセスの最適化:承認者が自分で提出した申請を承認できるかどうか、自動承認するかどうかを設定できます。公開パッケージでは承認プロセスを無効にできます。 リソースグループの設定調整後にTagが失われる問題を修正します:WeDataリソースグループの設定を増減した後に既存のTagが消える問題を解決します。 | - |
更新名 | 概要 | 関連するドキュメンテーション |
Data Integration | 新規追加: TRUNCATE TABLE同期:リアルタイム同期は、ソース側のTRUNCATE TABLE操作の同期をサポートします。 DDL暗号化フィールド同期:電話番号などprojectionで暗号化されたフィールドは、DDL変更時に同期をサポートします。 マルチソースアラート指標の統一:業務遅延、伝送遅延指標を統一します。 テーブル作成ロジックの統一:実行前のテーブル作成と実行中のテーブル作成ロジックを統一し、デュアルパスでの不整合問題を回避します。 実行中のデータベース・テーブル拡張はノンブロッキング:実行中のリアルタイム同期ジョブでデータベースやテーブルを追加する際、既存のデータベース・テーブルの同期性能をブロックしません。 Iceberg主キー重複排除:オフライン統合でupsertをIcebergテーブルに書き込む際、主キー重複排除をサポートします。 Redis JSON書き込み:オフライン統合でRedisに書き込む際、JSON形式での出力をサポートします。 MySQL sessionパラメータのカスタマイズ:オフライン統合タスクのsessionレベルのパラメータnet_write_timeout=600などは、ユーザーによるカスタマイズをサポートします。 TCHouse-Pデータ照合の無効化:オフラインデータ照合のシナリオでは、誤用を避けるため、インターフェース上でTCHouse-Pオプションを非表示または無効化します。 EMR Kerberos情報返却:EMRデータソースはKerberos認証情報の返却をサポートします。 JDBCソースパラメータ透過:JDBCデータソースはパラメータ透過をサポートします。 エンジンソースパラメータ補完:エンジンデータソースは追加パラメータ設定をサポートします。 高度なパラメータのセルフサービス化:高度なパラメータは、インスタンスタイプのパラメータをセルフサービスで設定することをサポートします。 最適化: TCHouse-D書き込みの主要な課題の解決:TCHouse-D書き込み側の高並行性、タイムアウト、接続再利用などの主要な課題に対して、全リンクにわたる最適化を実施します。 MySQL安定性最適化:リアルタイム同期のMySQLソース側全体の安定性が向上し、切断時の再試行やbinlog解析のフォールトトレランスなどに対応します。 シャーディング可用性向上:リアルタイムシャーディングシナリオにおける全体的な可用性の最適化。 Kafka空文字列処理:リアルタイム同期のKafka Debeziumシリアル化形式における空文字列処理ロジックの最適化。 Hiveデータソースパラメータ最適化:JDBCモードにおけるHiveデータソースパラメータ設定ルールの最適化と提示。HDFSモードでは両方式ともサポートされます。 リソースグループ縮小の検証:リアルタイムリソースグループ縮小時に事前検証を追加し、縮小によるタスク異常を回避します。 増分読み取りのみのリソース設定:増分読み取りのみのモードでは、統合リソース設定は同期段階ごとに割り当てられなくなり、リソースプロファイルが簡素化されます。 テーブル名交換DDL:リアルタイム同期では、テーブル名交換後にDDLが即時に有効になります。 | - |
データ開発 | 新規追加: Data Integration自動リネージ解析:Data Integrationタスクは、出力テーブル登録と上流・下流依存関係の自動解析をサポートし、リネージ関係を手動で維持する必要がなくなりました。 コード検索がData Integrationをカバー:コード検索機能の拡張により、Data Integrationタスクをサポートします。 制限時間超過未成功アラート:周期タスクに制限時間を設定でき、制限時間を超過して未成功の場合にアラートが発生し、このアラートは全スケジュール周期タイプのタスクに適用されます。 上流タスクスキップ時のアラート送信:上流タスクの実行をスキップした場合、担当者へのアラート通知を設定できます。 運用保守センターの失敗状態タスクにAI診断機能を追加:運用保守センターは、最後の実行に失敗したタスクに対してAI診断を実行し、問題を効率的に特定して解決することをサポートします。 Data Integrationタスクは出力登録と上流・下流依存関係をサポート:Data Integrationタスクは出力登録と上流・下流依存関係の自動解析をサポートします。 For-eachノードループパラメータの強化:ワークフロースケジューリングモードでは、For-eachノードのループパラメータで配列定数の定義をサポートします。 Spark、Kyuubiグローバルパラメータ設定:グローバルなSpark、Kyuubiパラメータ設定をサポートします。 インスタンス欠落リスク検出:タスク送信時に、スケジュール変更によってインスタンス欠落が発生する潜在リスクを検出して通知し、処理操作(成功設定、補足登録)をサポートします。 Data Integration時間パラメータ設定:Data Integrationタスクのフォームフィールドは、システムコンテンツの時間パラメータを設定できます。 OpenAPI強化:「タスク名/ID + 計画スケジュール時間」でタスク実行状態を照会するインターフェースを追加しました。 CI/CD強制deploy:CI/CDパイプラインは強制deployをサポートします。 CI/CDのStudio対応:CI/CDはStudioのコミット機能に対応し、deploy実行後にStudioファイルのコミットを自動的に実行します。 DLCタスクのインポート・エクスポートでエンジンとリソースグループのマッピングをサポート:DLCタイプのタスクは、インポート・エクスポート時にエンジンとリソースグループのマッピング関係の選択をサポートします。 DLCタスクのプロジェクト間クローンでエンジンとリソースグループのマッピングをサポート:DLCタイプのタスクは、プロジェクト間クローン時にエンジンとリソースグループのマッピング関係の選択をサポートします。 ワークフロースケジューリングの並行設定サポート:ワークフロースケジューリングモードは、ワークフロー実行の並行数とキューイングポリシーの設定をサポートします。同時に指定された数のワークフローのみ実行でき、並行数を超えた実行はキューイングまたは待機を選択できます。 NotebookタスクでのSparkパラメータのカスタマイズをサポート:ワークフロースケジューリングモードでは、NotebookタスクがDLCエンジンを使用する際に、ユーザーによるSparkパラメータ(executor数、メモリなど)のカスタマイズ設定をサポートし、さまざまなデータ処理シーンにおけるリソース構成のニーズに対応します。 オーケストレーションスペースのタスクパラメータプレビュー:ワークフロースケジューリングモードでは、オーケストレーションスペース内のタスクはパラメータプレビュー機能をサポートします。ユーザーは実行を送信する前にタスクの実際のパラメータ値を確認でき、問題の確認とトラブルシューティングに役立ちます。 ワークフロースケジューリングのタスク粒度での成功設定サポート:ワークフロースケジューリングモードで単一タスクに「成功設定」操作を実行することをサポートし、運用保守担当者がタスク異常時に手動でタスクを成功としてマークし、下流タスクの実行を継続できるようにします。 ワークフロースケジューリングのデータ品質ノードとCI/CDサポート:ワークフロースケジューリングモードでデータ品質ノードを新たにサポートし、データ品質タスクのCI/CD公開プロセスをサポートします。 ワークフロースケジューリングの残りタスクタイプの補充:ワークフロースケジューリングモードでのタスクタイプのカバレッジを補完し、すべてのタスクタイプがワークフロースケジューリングモードで編成・実行できることを保証します。 最適化: 一括アップロード:オーケストレーションスペースのリソース管理は一括アップロードをサポートします。 ワークフロー一括フィルタリング:ワークフロー内のフォルダフィルタリングの一括操作をサポートします。 クロス周期補録ソート:クロス周期依存(日次が時間次に依存するなど)の補録データは、一部の時間帯を選択した場合に順序が乱れなくなります。 ワークフロースケジューリングモードでFor-Eachループパラメータが空の場合の成功設定:For-Eachノードのループパラメータが空の場合にタスクが正しく成功設定されない問題を修正しました。 システム組み込み時間パラメータの修正:ワークフロースケジューリングモードで、タスクまたはワークフローに設定されたシステム組み込み時間パラメータ(タイムゾーンパラメータを含む)が正しく有効にならない問題を修正しました。 ワークフロースケジューリングモードの並行キューイングは先入れ先出し順で実行:ワークフロースケジューリングの並行実行メカニズムを最適化し、並行数が上限に達した場合、キュー内のタスクは送信された順序(先入れ先出し)に従って厳密に順次実行され、順序の乱れを防止します。 | - |
データ分析(Studio/SQL探索) | 新規追加: 複数GitLabリポジトリのバインディング:プロジェクトは複数のGitLabリポジトリのバインディングをサポートし、同一プロジェクト内の異なる業務モジュールのコードを独立してホスティングできます。 Notebookカーネルと環境管理:Notebookタスクはカーネルと実行環境の管理をサポートします。 Notebookの高度なパラメータ自動取り込み:Notebookファイルをアップロードする際に、高度なパラメータとその値を自動的に認識して取り込むことをサポートします。 ファイル権限の詳細化:プロジェクトファイルの権限制御にedit / run / viewの3種類の権限項目を追加し、従来の粗粒度な権限モデルを置き換えます。 最適化: SQL探索はLimit1000の自動追加をサポート:スクリプト実行は全量データの取得、または先頭1000件のデータ取得を選択できます。 データクエリ結果テーブル: JSONデータのフォーマット表示をサポートします。 データ結果の列幅の自動調整をサポートします。 セルフィールドの内容が長すぎる場合、折りたたみと展開表示をサポートします。 結果列のデータ型の表示をサポートし、結果データ型に基づいて並べ替えとフィルタリングを行います。 データ結果の検索機能をサポートします。 データクエリ完了後、ブラウザへのメッセージ通知プッシュをサポートします。 ESCで候補を閉じる:ESCキーを使用してメタデータ候補を閉じることをサポートします。 SQL探索ログの最適化:SQL探索ログ情報を最適化します。 SQL探索フィールド:SQL探索フィールドに「.」が含まれる場合のクエリ表示異常を修正しました。 SQL探索におけるスケジュールリソースグループと共有リソースグループの機能統一:SQL探索におけるスケジュールリソースグループと共有リソースグループの機能差異の問題を修正し、タスク実行時に両リソースグループの動作が一致することを保証します。 | - |
データガバナンス | 新規追加: 承認設定メタデータ:中高感度レベルのデータは多段階承認フローをサポートします。データベーステーブルの権限はロールに基づく一括付与をサポートします。 指標の承認サポート:Ownerが指標を指定ユーザーに承認することをサポートし、権限を持つユーザーは指標の計算結果を照会できます。 データリネージ:Kafkaリネージレポート、Spark SQL、Hive SQLリネージ解析の最適化をサポートします。 ガバナンスセンター:ガバナンス因子に「資産カタログ」を追加し、未ガバナンス問題のエクスポートをサポートします。 データアクセスログ:TCHouse-D、EMRエンジンのデータアクセスログ収集と監査の新規サポートを追加しました。 メタデータ:DLCメタデータのリアルタイム収集をサポートします。 Catalog:Catalog権限検証のプロンプト情報を最適化しました。 データサービス:TCHouse-Dデータソースをサポートします。国際サイトのフランクフルトではデータサービスをサポートします。 | - |
更新名 | 概要 | 関連するドキュメンテーション |
データ開発 | 新規追加: タスクスケジュール設定に下流依存の禁止項目を追加:タスク設定で「下流依存を許可しない」を設定できるようになりました。有効にすると、下流タスクによるこのタスクへの依存設定がブロックされ、一時タスクやテストタスクなど、下流から参照されたくないシナリオに適しています。 承認フローに承認記録とタスク指定承認者機能を追加:承認者は提出時に過去の承認記録を確認できます。また、「タスク指定承認者」モードを有効にすることができ、タスク提出時に開発者が具体的な承認者を指定することで、承認フローの効率を向上させます。 標準モードでの統合/スケジュールリソースグループの環境分離:標準モードで統合リソースグループとスケジュールリソースグループを開発環境と本番環境に分離して設定することをサポートします。 スケジュール設定に上流の直近周期タスク完了時間を追加:上流依存タスクリストに「直近周期実行終了時間」フィールドを追加し、ユーザーが上流の完了時間に基づいて現在のタスクの計画スケジュール時間を合理的に定義できるようにします。 クローン機能にターゲットスケジュールリソースグループのデフォルト値設定を追加:ソース側とターゲット側のスケジュールリソースグループのマッピング関係を事前に定義でき、クローン時にデフォルトでマッピングが選択されるため、ユーザーがリソースグループを誤って選択することを減らせます。 クローンタスクスクリプトの重複名処理の最適化:ターゲット側に同名のスクリプトが存在する場合、自動的に名前を変更し、1つのスクリプトが複数のタスクに参照されることによる競合問題を回避します。 クローン公開に承認フローを追加:クローン公開に承認フローを追加しました。シミュレーションクローン後の承認開始をサポートし、承認が通過した後にのみ本番環境へ正式に公開されるため、クローン公開のセキュリティ管理能力を向上させます。 DLCタスクの補録でエンジンリソースグループの再指定をサポート:DLCタスクはデータ補録の実行時にリソースグループを再指定できます。通常のスケジュールと補録タスクのリソース割り当てを区別し、補録操作が通常のスケジュールタスクに影響を与えることを回避します。 スマートベースライン機能の全面的な最適化:ベースライン詳細ページとインスタンス詳細ページで保障タスクのDAGリンクを表示できます。時間単位タスクのベースライン設定をサポートします。履歴実行記録がない場合でもベースラインを設定し、アラートを有効にできます。ベースラインイベント監視とイベント詳細ページを追加しました。 最適化: プロジェクト粒度のSparkパラメータがデバッグ実行で有効化:プロジェクト粒度で設定されたSparkパラメータがオーケストレーションスペースのテスト実行で有効にならない問題を修正し、Spark SQL、PySpark、Sparkタスクがデバッグ実行と周期実行の両方でプロジェクトレベルパラメータを正しく認識できるようにします。 | - |
Data Integration | 新規追加: ローカルファイルのEMR HiveおよびDLCへの同期をサポート:ローカルのtxt/excel/csvなどのファイルをアップロード、解析した後、EMR Hiveテーブル(システムソース)およびDLCテーブル(システムソースとカスタムソースをサポート)へ同期することをサポートします。 オフラインでシステムメタデータフィールド参照を追加:オフライン同期は、ソース側テーブル名をシステムフィールドとして下流テーブルに同期することをサポートし、マルチソース集約シナリオでデータソースを追跡しやすくします。 データソースTDSQL Boundlessを追加:TDSQL Boundlessデータソースの接続をサポートし、同時にこのデータソースのリアルタイム同期およびオフライン同期タスク管理もサポートします。 最適化: DLCオフラインタスクのリソースグループ選択戦略を最適化:DLCオフラインタスクのリソースグループオプションは「SQL分析」タイプのリソースグループのみを保持し、ユーザーの誤操作による重複修正を減らします。 統合並行読み取りがシャーディングクラスタをサポート:Data Integrationのマルチ並行読み取り機能はシャーディングクラスタをサポートし、MongoDBシャーディングコレクションのシナリオでデータソースを読み取れない問題を解決します。 データソースがHive 2.1バージョンに対応:Hive 2.1バージョンに対応したデータソースの作成をサポートし、低バージョンのHiveエンジンを使用するお客様の接続ニーズに対応します。 | - |
データガバナンス | 新規追加: 品質タスクがエンジンとリソースグループの一括調整をサポート:複数の品質タスクに対する一括操作をサポートし、実行エンジンとリソースグループの設定を統一的に調整します。 品質タスクの一括終了:実行中または待機中の品質タスクに対して一括終了操作をサポートし、異常シナリオで迅速に損失を抑止します。 メタデータがKafkaをサポート:メタデータ収集でKafkaデータソースのサポートを追加し、ストリーミングデータタイプのメタデータ収集タスクを作成できます。 最適化: 実行中の品質タスクインスタンスはログの表示をサポート:実行中の品質タスクインスタンスは実行ログのリアルタイム表示をサポートし、タスク実行中に問題を迅速に調査するのに便利です。 DLCパーティション情報の最適化:パーティションレコード数上限の表示を追加し、パーティション作成時間のヒント情報を最適化し、データ資産詳細ページの情報完全性を向上させます。 その他: 資産スコアリング機能の終了:テーブル詳細ページで資産スコアリング機能を終了します。 | - |
更新名 | 概要 | 関連するドキュメンテーション |
データ開発 | 新規追加: Studioデータ開発IDE:新しくリリースされたStudioデータ開発IDEは、SQLとNotebookの統一開発体験を実現します。Notebook開発、複数シンタックス切り替え、セルSQL実行をサポートし、オーケストレーションスペースでNotebookタスクをスケジュール実行できます。SQLデバッグ、コード再利用をサポートし、Git統合、ファイルバージョンなどの機能もサポートします。 オーケストレーションスペースにDLC Sparkリアルタイムコンピューティング機能を追加:DLC Spark Streamingタスクタイプを追加し、リアルタイムタスクの開発、オーケストレーション、監視をワンストップで管理する機能を提供します。 オーケストレーションスペースにデータ品質ノードを追加:データ品質タスクのオーケストレーションと運用保守をサポートします。 オーケストレーションスペースのワークフローに全体スケジューリング機能を追加:スケジューリングモードが二重にアップグレードされ、タスクレベルとワークフローレベルのスケジューリングをサポートし、異なる粒度のスケジューリング管理ニーズに対応します。 WeData Bundleエンジニアリングデリバリー機能を追加:CLIはコマンドライン操作と自動化統合をサポートし、Bundleはワークフロー、タスクの開発リソースをソースファイルとして記述して企業のソフトウェアエンジニアリング体系に統合します。GitLab PipelineなどのCI/CDと連携して環境間の自動公開移行を実現でき、同時にワークフローとタスクのYAMLオンラインプレビュー、クイック生成をサポートし、設定効率と保守性を向上させます。 最適化: 運用保守センターの手動タスクが監視アラートをサポート:ルールで手動タスクのアラートルールを設定でき、手動タスクに対して監視アラートを実行します。 運用保守センターのインスタンス詳細は品質タスク詳細の表示をサポート:インスタンス詳細ページは品質タスクの全体的な実行検出状況、実行検出リストの表示をサポートします。 | |
基础プラットフォーム | 新規追加: 基本モジュールのタイムゾーン対応:システムはUTCを基準時間として統一し、タイムスタンプ、イベント記録はUTC時間で保存され、タイムゾーンオフセットが付与されます。ユーザーのタイムゾーンに応じて自動的にローカル時間に変換して表示します。 データソース関連タスクの表示:データソース管理は、データソースを使用する関連タスクの表示をサポートします。 データ権限に機能を追加:データソース認可結果の照会、データソース認可の取り消し機能を追加します。 | - |
Data Integration | 新規追加: リアルタイム統合リンクにデータ照合機能を追加:データ照合機能を追加し、ソーステーブルとターゲットテーブルのデータ差異を監視し、データ整合性の問題をタイムリーに検出します。 リアルタイム統合のデータベース全体移行機能を拡張: データベース全体の単一テーブル設定機能を拡張し、データベース全体タスクはソーステーブルとターゲットテーブルのマッピング関係の表示をサポートし、単一テーブル粒度でフィールドマッピング、データフィルタリングなどを設定できます。 データベース全体タスクは固定リンクからスター型リンクに変更され、30以上の同期リンクが追加されました。 リアルタイム統合のデータベース全体/シャーディングタスクが変換関数をサポート:データ同期プロセス中に軽量ETL変換処理をサポートし、既存データに対して変換処理を行ってからターゲットテーブルに同期できます。 最適化: リアルタイム統合アラート機能の最適化:「データ書き込み件数」監視アラート指標を追加し、コア重要イベントはアラート購読をサポートし、累計再起動回数アラート指標のロジックを最適化し、デフォルトアラートルールを追加します。 リアルタイム統合のデータベース全体タスクが複数のKafkaトピックの消費をサポート:データベース全体タスクは複数のKafka Topicの同時消費をサポートし、各Topic配下で同期が必要なデータベースとデータテーブルを指定します。 | |
データサイエンス | 新規追加: データ、特徴、モデルのリネージュをジャンプして表示することをサポートします。 特徴、モデル、実験は、エンティティに基づいてユーザーレベルの権限を付与することをサポートします。 モデルサービスの品質監視、および再トレーニングのトリガーをサポートします。 特徴管理が全面的にアップグレードされ、DLC、EMRをオフライン特徴として、Redisをオンライン特徴としてサポートし、オフライン・オンライン特徴の同期をサポートします。 オンライン推論はカスタムイメージをサポートし、CLBをサポートします。 GPUベースのディープラーニングトレーニング、実験管理記録、ディープラーニングモデル管理、ディープラーニングモデルサービスデプロイなどを新たにサポートします。 分類、回帰、時系列予測などのシナリオに対応するノーコードAutoML実験を新たにサポートします。 | |
データガバナンス | 新規追加: 指標モデリング機能の拡張: 指標の加速をサポートし、指標ビューの作成をサポートし、指標ビューに対して加速タスクを作成し、指標クエリ時に自動的に加速結果セットへルーティングできます。 ディメンションとモデルを分離し、テーブルフィールドに基づいてディメンションを作成した後、複数のモデルで再利用でき、重複定義が不要になり、ディメンション管理効率が向上します。指標モデリングはMCP/JDBCおよびRestful APIの複数の指標サービスを開放し、指標モデリングはMCPサービスを開放することで、Agentが指標メタデータと指標計算結果を正確に取得しやすくなります。 JDBCサービスを開放し、指標プラットフォームとBIが直接連携して指標結果を取得し、可視化レポートを設定できるようにします。同時にRESTful APIインターフェースをサポートし、他の業務システムが指標やディメンションなどの情報を指定して指標計算結果を直接取得できるようにします。 Catalog機能の追加: DLCに接続済みでTCLakeを有効にしているシナリオに対して、Catalogモジュールを新たに追加し、TCLakeからの統合メタデータを表示します。統合CatalogはCatalog-Schema-Table/View/Model/Volume/Functionの3層構造で表示され、構造化データ、モデル、非構造化データを統合的にCatalog管理に組み込み、メタデータ基本情報、テーブルリネージ、モデルリネージ、変更履歴、データ品質、アクセスログ、使用説明などの内容を表示し、統一された権限管理をサポートします。 推論テーブルの品質監視を新たに追加し、デフォルトCatalogでテーブルにDashboardを設定し、推論タスクの主要指標を確認できるようにします。 Catalogのテーブル詳細ページの表示情報を充実させ、メタデータ情報を確認できるようにします。 テーブルの最終変更情報の表示をサポートし、テーブルのメタデータ変更操作の確認と分析に使用します。 テーブル詳細機能の追加: 資産詳細ページに使用説明を追加しました。フィールドレベルに使用説明を追加しました。 スナップショット/時系列テーブルの品質監視を新たに追加し、EMR Hiveテーブル詳細でDashboardを設定し、推論/スナップショット/時系列タスクの主要指標を確認できるようにします。 Catalogのテーブル詳細ページの表示情報を充実させ、メタデータ情報を確認できるようにします。 テーブルの最終変更情報の表示をサポートし、テーブルのメタデータ変更操作の確認と分析に使用します。 最適化: テーブル詳細の機能最適化: 変更監視通知を設定し、よく使う変更に対して通知情報を設定できるようにします。 DLCのテーブル詳細ページを公開し、DLCのメタデータを確認できるようにします。 | |
プラットフォーム全体 | 最適化:WeData コアリンクの OpenAPI を再構築:WeData プラットフォーム基盤、データ開発、タスク運用保守、データ資産の主要 API を再構築しました。 | - |
フィードバック