WeDataの主な機能は以下の通りです:
プロジェクト管理
システム/テナントレベルでプロジェクト分離を実現し、管理者にWeDataを使用するユーザー(メンバー)権限、基盤となるコンピューティングエンジン設定、実行リソースの管理能力を提供します。
データ計画
データウェアハウスの階層分類、論理モデル設計、指標・ディメンション定義、データ標準などを含むデータ全体計画設計能力を提供し、企業がデータウェアハウス規範設計と標準定義を統一し、設計態から開発態への自動移行を実現することを支援します。
データウェアハウス規範:データウェアハウス計画はグローバルに基づいて業務対象の統一計画と規範定義を行い、モデルに対して階層設計管理を行い、特定の業務テーマに従って分類・ドメイン分割管理を行い、階層構造を持つビジネスTagを形成します。
モデル設計:論理モデルに対して定義とエンティティ関係設計を行い、定義、コピー、変更、削除、インポート・エクスポート、バージョン管理機能を含み、同時に物理モデル、指標・ディメンションとの関連マッピングを確立し、モデルの設計態から開発態への自動同期を実現します。
標準管理:標準コンテンツ管理とベンチマークタスク管理を含み、標準ルールの設計とタスク設定を通じて、データ値、データベース、テーブル構造、テーブル名、指標・ディメンションTagなどのレベルにおける標準化を実現します。
業務定義:指標/ディメンションディクショナリであり、基礎/派生指標、ディメンション条件(通常ディメンション、業務限定、時間周期、退化ディメンション)に対してライフサイクル全体にわたる定義管理を行い、モデルとの関連関係を確立し、指標生成コードの自動生成を実現します。
Data Integration
操作の軽量化、プロセスの可視化、能力の開放化というData Integration能力は、複雑なネットワーク環境下で、豊富な異種データソース間の高速かつ安定した大量データ同期をサポートします。
全シーン同期:リアルタイム同期とオフライン同期を含みます。
複数タイプの異種データソース:30以上のデータソースをサポートし、スター型構造による読み書きの柔軟な組み合わせを提供します。
T変換
データレベル:同期中のデータに対してコンテンツ変換を行います。例えば、データフィルタリング、Joinなどです。
フィールドレベル:単一フィールドの変換処理を提供し、カスタムデータフィールド、フォーマット変換、時間形式変換などを含みます。
タスクおよびデータ監視
読み書き指標:タスクの読み書きに関するリアルタイム指標統計をサポートし、読み書き総量、速度、スループット、およびダーティデータなどを含みます。
監視アラート:タスクおよびリソース監視をサポートし、SMS、メール、HTTPなどの複数チャネルアラートをカバーします。
データ開発
厳格なCI/CDプロセス規範と自動化されたテスト公開運用保守のサポート能力により、元データの加工運用保守からビジネスアプリケーションデータまでの経路を短縮し、効率を向上させると同時にデータ品質を保証します。
オンラインコード開発:コード開発をサポートし、タスクワークフローをドラッグ&ドロップで簡単に編成できます。また、大規模タスクの可視化された編成表示もサポートします。
コード開発:HiveSQL、SparkSQL、JDBCSQL、Spark、Shell、MapReduce、PySpark、Python、TBase、DLC SQL、DLCSpark、CDW PostgreSQL、Impalaなどのタスクに対して、オンラインでのコード開発、デバッグ、およびバージョン管理をサポートします。
タスクテスト:タスクおよびワークフローのテストとバージョン管理をサポートします。
開発支援:プロジェクト、ワークフロー、タスクの3つの粒度のパラメータ設定を提供し、時間パラメータ演算および関数パラメータをサポートします。
バージョン管理:イベント、関数、タスク、パラメータのバージョン管理をサポートします。
コード管理:コードの統一的な管理、インポート、エクスポートを提供します。
編成スケジュール:タスクに対してフロー編成およびスケジュール送信を行います。
スケジューリング方式:周期、1回限り、イベントトリガーのスケジューリングをサポートし、周期スケジューリングではcrontab方式での設定を提供します。
依存ポリシー:タスク自己依存とワークフロー自己依存をサポートします。
周期間依存設定:周期間依存設定およびカスタム依存設定を提供し、上流・下流の依存インスタンス範囲は必要に応じてカスタム選択できます。
一括編成:Excelによるタスクおよび依存関係の一括作成機能を提供し、タスク依存関係の編成効率を向上させます。
リリース運用保守:開発が完了したタスクを必要に応じて本番環境にリリースし、タスクに対して統一的な監視と運用保守を行います。
タスク公開:開発成果の公開とリリースをサポートします。
監視運用保守:タスクに対してフロー編成およびスケジュール送信を行います。
分析探索:スマートで使いやすいデータ開発方式によりタスクの共同開発効率を向上させ、ユーザーがタスク処理プロセスを明確に確認できるようにし、データのアドホック探索効率を効果的に向上させます。
オンライン編集:可視化されたインタラクティブ分析IDEを提供します。
実行:実行情報の可視化を提供します。
開発支援:開発支援効率化ツールを提供します。
データ品質
柔軟なルール設定、全方位のタスク管理、多次元の品質評価を通じて、データの取り込み、統合、加工から消費までの全ライフサイクル各段階に包括的なデータ品質監査機能を提供します。
マルチソースデータ監視:監視可能なデータソース、エンジンタイプにはEMR Hive、Spark、DLC(パブリッククラウド)、CDW-PG、TBDS、Gbase(プライベートクラウド)などが含まれ、マルチソースデータの全量検証機能を提供します。
豊富なルールテンプレート:現在、6大ディメンション、56種類の業界標準のテーブルレベル、フィールドレベルの組み込みルールテンプレートを提供し、すぐに利用できる状態を実現し、品質管理ワークフローを大幅に効率化し、ユーザーがさまざまなディメンションからデータの変動およびETLプロセスで発生する問題データを把握するのを支援します。
品質管理の柔軟な設定:システム品質ルールテンプレート、カスタムテンプレート、カスタムSQLの3種類のルール作成モードをサポートし、ビジネス要件に応じてパラメータを調整し、タスク実行戦略を設定して、全リンクの品質管理検証を容易に実現します。
グローバルリンク保障:プロダクションスケジューリングおよびオフライン周期検出の2つの実行方式の関連付けをサポートし、事前、事中、事後の全リンクデータ保障運用保守機能を提供し、タイムリーにアラート、ブロック、遮断を実行し、ダーティデータが下流に広がるのを防ぎます。
ガバナンスの多次元可視化:品質概要および品質レポートモジュールはユーザーに全体像を提供し、ユーザーが品質タスクの実行状況、アラートおよびブロックの傾向、各ディメンションの品質スコアを詳細に把握し、問題を迅速に発見・特定し、品質向上効果を理解できるようにします。
データセキュリティ
集中化されたデータセキュリティ管理とコラボレーションの仕組みを提供し、データが安全な条件下で効果的に流通することを保証します。
統一データセキュリティ管理:バインドされたストレージ・コンピューティングエンジンに対してセキュリティポリシーを深く統合し、データアクセスを統一し、データ利用プロセスを簡素化します。
権限承認:ranger権限ポリシー体系を統合し、責任を個人に、データ粒度をテーブルにまで具体化した権限管理能力を実現します。権限申請および承認チャネルを提供し、データアクセス制御機能を安全に開放します。
データ運用
強力な基盤メタデータ機能に基づき、データカタログ、リネージ解析、ヒート分析、資産スコアリング、ビジネス分類、Tag管理などのデータ資産サービスを提供し、ユーザーの企業レベルの大規模データに対する理解、管理、コラボレーション能力を効果的に向上させます。
データ発見:統一されたメタデータの収集と管理。
データ概要:データ資産の概要統計を提供し、プロジェクト、テーブル、ストレージ容量、データタイプカバレッジなどの基本情報、およびデータ全景と人気ランキング機能を含みます。
データカタログ:全ドメインのデータテーブルレベル、フィールドレベルの迅速な検索と位置特定をサポートします。テーブル詳細は、データの全量技術、ビジネス情報、およびデータリネージ、温度、品質、生成と変更、プレビューなどの機能を提供します。
ライブラリ・テーブル管理:全ドメインのライブラリ・テーブルを管理することをサポートします。
ビジネス分類:業務ニーズに応じてテーマカテゴリ、データウェアハウス階層、ビジネスTagを作成・管理し、データテーブルに対して一括分類・階層化操作を実行することをサポートします。
データサービス
APIの生成、API管理、APIマーケットなど、APIの全ライフサイクルをカバーする機能を提供し、企業が社内外のAPIサービスを統一的に管理し、統一されたデータサービスバスを構築することを支援します。
クイックAPI生成。
API管理と運用。
API安全呼び出し。