tencent cloud

Tencent Cloud WeData

ドキュメントTencent Cloud WeData操作ガイドデータサイエンスデータサイエンス概要

データサイエンス概要

ダウンロード
フォーカスモード
フォントサイズ
最終更新日: 2026-10-29 16:23:27
AI翻訳・品質チェック済み

製品設計理念

WeData（以下「WeData」といいます）は、MLOpsのプロダクト設計理念に基づき、データサイエンスモジュールを構築しました。

MLOpsの理念と価値

MLOps（Machine Learning Operations）は、モデル構築チームとビジネスチームおよび運用保守チームを結び付け、機械学習モデルの全ライフサイクルにわたって標準化、自動化、持続的改善が可能なプロセス管理体系を構築するためのエンジニアリング手法です。これにより、組織は安定的かつ信頼性が高く、スケーラブルで高品質かつ効率的に機械学習モデルを継続的に生産し、ビジネスに価値をもたらすことができます。その核心は、以下の問題を解決することで、企業の大規模AI開発におけるコスト削減と効率向上を実現することです：
モデルの全ライフサイクルには統一的な管理が欠けています。
コード、データ、アルゴリズム、モデルなどの資産には、統一されたバージョン管理とトレーサビリティ機能が欠けています。
企業はMLの本番環境からアプリケーションまでのプロセスにおいて、対応する規範が不足しています。
モデル開発・デプロイのイテレーションサイクルが長いです。
Algorithmia 2020：64%の企業は新しいモデルのデプロイに1か月以上かかり、そのうち18%の企業は90日以上かかっています。
モデルサービスの持続が不可能です。
モデルのイテレーションおよびデプロイによるリリース速度では、ビジネス要件の急速な変更にタイムリーに対応できません。
リリースした瞬間から、モデルには劣化や退化のリスク（データドリフト、効果ドリフト）が存在します。
自動化の程度は低いです。
手動プロセスが多く存在し、効率が低く、人件費が高くなります。
完備された監視・アラート体制が欠けており、損害が発生する前にエラーを検知して速やかに修正することができません。
チーム間の連携が困難です。
チームごとにツールとワークフローが大きく異なります。
ビジネスチーム、運用保守チーム、AIチーム間のサイロ化効果やコミュニケーションギャップは乗り越えられません。
潜在リスクが高いです。
技術的リスク：不安定なモデル効果、脆弱なインフラストラクチャ。
コンプライアンスリスク：政府の監督管理規制および会社のポリシーへの違反。

当社の洞察と優位性

WeDataのようなデータプラットフォーム上でデータサイエンス能力を構築することは、それ自体が強力なData Integration、データ開発、データガバナンス能力を備えており、従来のデータプラットフォームとAI開発プラットフォームの分断問題を自然に解決できます。
データ開発とAI開発は分離されています。
ビッグデータとAIは2つの独立したシステムであり、エンドツーエンドのプロセスにおけるサンプルクレンジング、ストレージ、分析、トレーニング、推論を実現するのは困難です。
ストレージとコンピューティングのコストが高いです。
データは2つのシステム間で双方向に流れる必要があります。
ビッグデータとAIのCPU、GPUコンピューティングリソースは再利用できません。

当社の核心理念

1. 常にビジネス目標を指針として、AIプロジェクトの研究開発を推進します。
2. データを中心として、AIの研究開発を実現します。
3. モジュール化プラットフォームの方式で全ライフサイクルの駆動を実現します：データ探索、特徴量エンジニアリング、モデルトレーニング、オンラインサービスなど。
4. 自動化プロセスを使用して、継続的トレーニング、継続的インテグレーション、継続的デリバリーを実現します。

機能概要

WeDataデータサイエンスモジュールは、実験管理、特徴量管理、モデル管理、モデルサービスの4つのコア機能モジュールを構築し、周辺の関連製品であるStudio、ワークフロー、データ品質、エンジンなどと緊密に連携することで、MLOps能力の構築を実現し、「データ--モデル--推論」の全ライフサイクルにおけるエンドツーエンドの能力を実現します。

コアモジュール

モジュール
核心機能
モデル実験
StudioでMLflowサービスを有効にすると、実験中にMLflowの関連関数を呼び出して各実験のパラメータ、指標、結果を記録し、実験管理で確認できます。これにより、実験の追跡と再現性を実現できます。
また、AutoML機能を提供し、ノーコード開発をサポートします。
特徴量管理
StudioでWeDataが提供する特徴処理APIを使用することで、特徴テーブルの作成、書き込み、読み取り、検索、同期、消費が可能です。また、特徴管理で特徴を表示・管理し、特徴の統一管理と統一消費を実現できます。
モデル管理
StudioでMLflowサービスを有効にすると、実験中にMLflowの関連関数を呼び出してモデルを登録できます。または、実験管理で視覚的にモデルを登録することもできます。モデルの主要情報や、実験/実行、サービスなどとの関連関係を確認できます。
モデルサービス
モデル管理内のモデルからAPIサービスを作成し、サービス監視などの機能を実行できます。また、モデルとの関連関係を確認でき、情報の追跡が容易になります。

周辺モジュール

モジュール
核心機能
Studio
AI開発の最も主要なワークスペースです。ユーザーはStudioでコードを編集、デバッグ、実行し、MLflowと特徴量エンジニアリングAPIを呼び出して、特徴量テーブルの追加・削除・変更・照会、モデルトレーニング、モデル登録などの操作を実行できます。
ワークフロー
自動化プロセスの主要なワークスペースです。ユーザーはStudioでコードをデバッグした後、ワークフローに送信して定期的なスケジュールを設定し、モデルの自動化・定期的な本番運用を実現できます。
データ品質
モデルサービス推論テーブル、特徴量テーブル、トレーニングデータテーブルは、データ品質タスクを開始することで、対応するフィールド分析、ドリフト分析、モデル指標などの品質情報を確認できます。
エンジン
データサイエンスはDLCとEMRの2種類のエンジンに接続されており、AI開発のデータソース、オフライン特徴量ストレージ、トレーニングリソースとして使用されます。

必要な説明と前提条件

タイプ
説明
Studio
Studioを有効にしなければ、データサイエンス関連機能を使用できません。
説明：
現在、WeData Studio機能は許可リスト機能です。利用する必要がある場合は、WeDataチームに連絡して有効化してください。
AI開発の最も主要なワークスペースです。ユーザーはStudioでコードを編集、デバッグ、実行し、MLflowと特徴量エンジニアリングAPIを呼び出して、特徴量テーブルの追加・削除・変更・照会、モデルトレーニング、モデル登録などの操作を実行できます。
エンジンサポート
DLC標準エンジン
モデルトレーニング、モデル実験レポート、特徴量管理、モデル登録などの操作に使用できます。
注意：DLCエンジンでリソースグループを作成する際に「wedata-data-science」イメージを選択した場合のみ、AutoML実験に使用できます。
EMR on CVM、EMR on TKE（EGコンポーネントを含める必要があります。含めない場合、WeDataで使用できません）
モデルトレーニング、モデル実験レポート、特徴量管理、モデル登録などの操作に使用できます。
注意：AutoML実験には使用できません。
EMR：Ray on TKE（EGコンポーネントを含める必要があります。含めない場合、WeDataで使用できません）
モデルトレーニング、モデル実験レポート、モデル登録などの操作に使用できます。
注意：AutoML実験、特徴量処理には使用できません。
MLflow バージョン
WeDataの実験管理はデフォルトでMLflowの2.17.2バージョンと互換性があります。関連イメージは事前にインストールされています。Studio実行環境に接続後、コマンドを実行して確認できます：
%pip list | grep mlflow
オフライン特徴ストア
WeDataが管理するオフライン特徴テーブルは、現在DLCのIcebergテーブルとEMRのHiveテーブルのみをサポートしています。また、特徴テーブルを登録する際には、テーブルの主キーとタイムスタンプキーを指定する必要があります。その後の操作では、指定した主キーとタイムスタンプキーに基づいて特徴インデックスが作成されます。
テーブル操作権限
DLC：
Catalogを有効にした場合：
DLCの「DLC--システム管理--ユーザーと権限管理」で、ユーザーに対応するデータベースとテーブルの権限を付与する必要があります。
また、WeDataの「データ資産--Catalogディレクトリ--対応するCatalog--権限」でユーザーに権限を付与します。
Catalogを有効にしていない場合：
DLCの「DLC--システム管理--ユーザーと権限管理」で、ユーザーに対応するデータベースとテーブルの権限を付与するだけで済みます。
EMR：
WeDataの「プロジェクト管理 > ストレージとコンピューティングエンジンの設定」でエンジンアクセスアカウントとアカウントマッピングを設定し、データベースとテーブルへのアクセス権限を決定します。
モデル操作権限
DLC：
Catalogを有効にした場合：
WeDataの「データ資産 > Catalogディレクトリ > 対応するモデルCatalog > 権限」でユーザーに権限を付与する必要があります。
Catalogを有効にしていない場合：
認可は不要です。
EMR：
認可は不要です。
オンライン特徴ストア
WeDataはRedisをオンライン特徴ストアとしてサポートしています。準備は以下のとおりです：
第一步：Distributed CacheにアクセスしてRedisインスタンスを作成します。
地域とネットワークは、スケジューリングリソースグループおよび使用するエンジン（DLCまたはEMR）と一致させる必要があります。
第二步：WeDataの「プロジェクト管理 -- データソース管理」でRedisデータソースを追加し、スケジューリングリソースグループへの接続をテストします。
第三步：WeDataの「オフライン開発 -- Studio」でリモートカーネルに接続した後、Redisが接続されているかどうかを確認します。以下のとおりです：

import redis

realtime_feature_redis_pwd = "mypwd" #キーがない場合はこの行をコメントアウトできます。
REDIS_HOST = "myhost" #例："10.0.0.51"
REDIS_PORT = "myport" #例："6379"

try:
    r = redis.Redis(
        host=REDIS_HOST,
        port=REDIS_PORT,
        socket_connect_timeout=3,
        password=realtime_feature_redis_pwd #キーがない場合はこの行をコメントアウトできます。
    )

    result = r.ping()

    if result:
        print("✅ Redisに接続可能で、かつPINGが成功しました")
    else:
        print("❌ Redisが応答しません")

except Exception as e:
    print("❌ Redis接続に失敗しました")
    print("エラー情報:", e)
特徴量エンジニアリングパッケージ
エンジンに接続後、以下のコマンドを実行すると、最新の特徴量エンジニアリングパッケージをインストールできます：
%pip install tencent-wedata-feature-engineering
DLCエンジンを使用する場合、リソースグループを構築する際に「wedata-data-science」イメージを選択してください。特徴量エンジニアリングパッケージはすでにプリインストールされています。コマンドを実行してバージョンを確認できます：
%pip list | grep tencent-wedata-feature-engineering
最新のバージョン情報はtencent-wedata-feature-engineeringで確認できます。
キー管理についての説明
特徴量エンジニアリングパッケージの呼び出しにはTencentCloud APIのIDとキーが必要です。Tencent Cloud CAMにアクセスしてアクセスキーを作成できます。
組織でキー情報を平文で送信できないことが要求されている場合は、Tencent Cloud SSMまたはTencent Cloud KMSを使用してキーを管理できます。
環境変数設定
DLC：
Catalogを有効にした場合、追加設定は不要です。
Catalogを有効にしていない場合、環境変数を設定する必要があります。設定しないと、実験およびモデルの報告でエラーが発生する可能性があります：
import os
os.environ["MLFLOW_REGISTRY_URI"]   = ""
EMR：
環境変数を設定する必要があります。設定しないと、実験およびモデルの報告でエラーが発生する可能性があります：
import os
os.environ["MLFLOW_REGISTRY_URI"]   = ""
前の記事へ: SQL探索次の記事へ: 汎用実験

ヘルプとサポート

この記事はお役に立ちましたか？

フィードバック

キーワードで検索
    Enter keywords to search documentation