WeData（以下「WeData」といいます）は、クラウド上に位置するワンストップのデータ開発・ガバナンスプラットフォームです。Data Integration、データ開発、タスク運用保守を含む全工程のDataOpsデータ開発能力、およびデータマップ、データ品質、データセキュリティなどの一連のデータガバナンス・運用能力を融合し、企業がデータ構築と応用のプロセスにおいてコスト削減と効率向上を実現し、データ価値を最大化することを支援します。
プロダクトポジショニング
対象業界とユーザー
政府、金融、インターネット、工業、エネルギー、交通、教育、文化観光、不動産、小売、医療、メディアなど多くの業界に適用されます。対象者は以下を含みますが、これらに限定されません：
データ開発、アルゴリズム開発、データ運用保守などの職務に従事する技術者。
データ分析、プロダクト運用などの職務に従事するビジネス担当者。
データセキュリティとコンプライアンス業務を担当する管理担当者。
会社のコアデータ資産を管理する担当者。
ビジネス課題と痛点
情報技術革命の勃発から、近年のモバイルインターネットの急速な発展、そしてインターネット+概念の継続的な深化と実用化に伴い、さまざまな業界の企業はますます多くのデータを蓄積してきました。それにより、データ処理とデータ応用に対する切実なニーズが生まれています。しかし、このプロセスにおいても、多くの問題と課題に直面しています：
インフラストラクチャの構築は複雑です。Hadoop、Sparkなどのビッグデータ技術は多種多様で、構築が複雑です。
技術的なリスク耐性が弱いです。開発とテストが分断され、データエラーの確率が高く、データタスクが多く、依存関係が複雑で、効果的な変更管理が欠如しています。
データリンクは複雑です。オープンソースプロジェクトは特定のシナリオの問題しか解決しないことが多く、完全なデータリンクを構築するには複数のオープンソースプロジェクトを組み合わせる必要があります。
データ管理の難易度は高いです。部門やチームをまたぐ連携が必要で、チームの役割が複雑であり、コミュニケーションコストも高くなります。
データガバナンスの実用化は困難です。データ品質やデータセキュリティなどを十分に確保できず、上位アプリケーションはデータを安心して利用できません。
ビジネス構築のサイクルが長いです：データウェアハウス構築のサイクルが長すぎて、半年から場合によっては1年かかります。データ要件への応答が遅く、2～3日の遅延が発生します。
コア機能
WeDataは、データの生産と消費に関する包括的なプロダクトサービスを提供しています。主なサービス能力は以下の通りです：
コラボレーション
データバリューチェーンを中心に、コラボレーションスペースを基盤として、データチームのさまざまな役割がより良く連携できるようにし、チーム間のサイロを打破し、生データからデータ価値までの道のりを短縮します。
DataOpsの理念
大規模なタスク開発シナリオにおいて、高い並列性でオンラインでデータ開発とテストを実行できます。
開発者はタスク開発と単体テストに専念し、ビジネスロジックの学習コストを回避します。
オーケストレーション担当者はタスクのオーケストレーションとスケジュール設定に専念し、専任者による専門対応で導入サイクルを短縮します。
アジャイル開発のシナリオでは、開発とオーケストレーションの一体化により効率を向上させます。
ビジネスロジックの実装をオーケストレーションする過程で、データタスクの開発を完了します。
データロジックとビジネスロジックを同時にテストできます。
実現プロセス
先に開発し、後で編成します。ワークフロー設計は開発作業を妨げず、開発者は編成ロジックを理解する必要はありません。
開発空間の完了後、編成空間にインポートし、専任者がタスクの編成を行います。
中心チームの大規模で高並列な開発タスクに適しています。
先に編成し、後で開発します。開発者はビジネスロジックを理解し、先にワークフローを設計してから開発します。
編成空間で直接タスクの編成と開発テストを行うことで、より俊敏になります。
拠点チームの小規模または増分タスクに適したアジャイル開発モデルです。
効率性
DataOpsのアジャイル反復、自動化プロセスとツールに基づき、データの信頼性を向上させ、データ生産と分析リンクの効率を加速します。
俊敏性と使いやすさ：増分式のコード開発とリリースをサポートします。コードの自動補完をサポートします。視覚的なドラッグ＆ドロップでプロセスを設計します。オンラインでのコードデバッグとログ確認をサポートします。
開発の柔軟性：開発モードは多様なシーンに適応し、先に開発して後で編成すること、および先に編成して後で開発することをサポートします。
高性能で拡張可能：高性能スケジューリングエンジンは、日あたり千万レベルのタスクスケジューリングをサポートし、多様なエンジンと連携可能でエンジン拡張もサポートします。デフォルトでほとんどのJDBCインターフェースのエンジンをサポートし、EMR、DLC、TBDS、RDSなど20以上のエンジンに対応します。
DataOpsの理念
送信、比較、遡及などのバージョン管理機能をサポートし、タスクのグレーリリースを可能にします。
タスク、イベント、パラメータ、関数の増分リリースをサポートし、従来の定期的なリリースではありません。
アジャイル開発と迅速な反復により、データ資産化のサイクルを全体的に短縮します。
実現プロセス
データタスクの開発完了後、バージョン送信を行い、ワークフローに反映させる必要があります。
異なるバージョンのタスクを、同じワークフロー内で迅速にデバッグできます。
異なるプロジェクトの同じワークフローは、異なるタスクバージョンに基づいてグレーリリースを実現します。
リリース管理において日付に基づいて増分リリースを行い、迅速に反復します。
一体
企業のデータ管理、データ生産、データ応用、データ運用の複数のロールにサービスを提供し、異なる視点に一体化された製品体験を提供します。
全链路生産ガバナンス：事前計画、事中異常ブロック、事後の品質・コスト分析、およびデータ流通セキュリティ管理を通じて、データの生産と消費に強力な品質・セキュリティ保証を提供します。
ワンストップ運用ガバナンス：データセルフサービスと民主化の理念に基づき、安全で安定した基盤の上で、データマップ、データインサイト、共有を通じて、データの検索、理解、分析、共有をより容易にします。
品質
事前・事中・事後を一貫するデータ品質管理を、DataOpsパイプライン式開発プロセスに組み込み、データ品質の向上を全面的に保証します。
DataOpsの理念
事後の品質スコアリングから事中の品質監視へと転換し、統合テストはコードテストとデータテストの両方で構成され、データ分析の高品質を保証します。
事後の標準ベンチマークから事前の標準適用へと転換し、データ分析時のデータ品質と統計口径の一貫性を保証します。
実現プロセス
データタスク/ワークフローはバージョンを送信する前にオンラインデバッグを通過する必要があります。オンラインデバッグはデータテーブルに対応する品質監視タスクを自動的に起動します。
アジャイルデータウェアハウスモデリングツールは、データモデリング時に事前に定義されたデータ標準を直接参照することをサポートし、ソースの段階で標準適用を実現します。
データ標準に準拠したテーブルは、Data Integrationタスクを実行する際に、ダーティデータに対してゼロトレランス閾値を設定して標準準拠を実現することをサポートします。