Catalog
ダウンロード
フォーカスモード
フォントサイズ
概要
説明：
ユーザーがWeDataでDLCエンジンをバインドし、かつDLCエンジンでTCLakeを有効にした場合、資産カタログはCatalogページに変換されます。
Catalogは、WeDataが提供する統一データガバナンスのソリューションであり、複数形式の構造化データと非構造化データを統一的な管理に組み入れることを目的とし、同時に機械学習モデルなどのAIアセットのきめ細かな管理をサポートします。マルチモーダル統一データカタログ、統一権限管理を内蔵し、変更、リネージュ、データ品質、アクセスログなどのコア機能を提供します。
Catalogでは、メタデータは3層構造で設計および管理されます：Catalog-Schema-Table/View/Function/Model/Volume：
第一層Catalog：最上位の名前空間であり、組織単位/チーム/プロジェクト/データドメインなどに対応します。
第二層Schema：Catalogの下で、さらに分類するために使用され、モジュール、サブシステム、ビジネスドメインなどによって区分されます。
第三層データオブジェクト：Data/AIオブジェクト、例えばtables、modelsです。
テーブル（tables）
ビュー（views）
Volumes（非構造化/半構造化データ）
関数（functions、UDF）
モデル（AI/ML models）— MLflowを使用して登録した後もガバナンス体系に組み入れられます。
機能紹介
Catalogはデータガバナンスに一連の機能を提供し、権限、ガバナンス、リネージュ、アクセス記録、変更記録などの機能をカバーします。具体的には以下の3層構造に反映されます。
1. Catalog層
Catalog層では、現在データCatalog、モデルCatalog、ボリュームCatalogに分かれています。データCatalogではtable/view/functionエンティティオブジェクトの管理をサポートし、モデルCatalogではmodelエンティティオブジェクトの管理をサポートし、ボリュームCatalogではvolumeエンティティオブジェクトの管理をサポートします。
左側の具体的なCatalog名をクリックすると、Catalog詳細ページに移動します。Catalogの説明、Catalog配下のスキーマリスト情報、Catalogの基本情報と技術情報の表示と管理をサポートします。新しいCatalogを作成すると、デフォルトスキーマであるdefaultとinformation_schemaが自動的に作成され、ユーザーがスキーマとエンティティオブジェクトを迅速に管理できるようになります。
基本情報：タグと担当者を表示し、編集をサポートします。
技術情報：作成時間、作成者、データ変更時間を表示します。
権限：Catalogに対する権限制御をサポートします。詳細はCatalog権限のセクションを参照してください。
2. Schema層
Schema層では、Catalogタイプに応じて異なるタイプのschemaが作成されます。例えば、データschema、モデルschema、ボリュームschemaです。ただし、表示情報はほぼ共通しており、Schemaの説明とschema配下のデータオブジェクトの基本情報（例：tableの名前、説明情報、作成時間）が表示され、右側にはSchemaの基本情報と技術情報が表示されます。
3. エンティティオブジェクト層
第三層のエンティティオブジェクト層では、データオブジェクトによって表示される詳細情報が異なります。主な分類は以下の通りです：
3.1 データテーブル
データテーブルには豊富なメタデータ情報が表示され、主に概要情報、権限、テーブル変更情報、リネージュ、データ品質、アクセスログなどが含まれます（「リネージュ」、「生成と変更」、「データ品質」、「アクセス記録」、「使用説明」の詳細については、データ検出>テーブル詳細の内容を参照してください）。以下は各タブページの概要説明です：
概要ページ：テーブルの説明、テーブルフィールドの基本メタデータ情報を表示し、右側に基本情報と技術情報を表示します。技術情報では、このテーブルが属するデータソースタイプ、データベース、関連データソースなどを確認でき、テーブルのソースを追跡できます。また、ストレージパスと最近のDDL変更時間を確認でき、テーブルのメタデータ変更時間とストレージ状況を把握できます。
リネージュ：データテーブルのリネージュ表示であり、データフローの全経路を表示します。データ/モデルのソース、宛先、および関連タスクなどが含まれます。
生成と変更：生成ページにはデータ生成タスクの詳細が記録され、タスクID、実行回数、計画スケジュール時間、開始時間、生成時間、実行所要時間、生成所要時間が表示され、生成タスクの基本状況を把握できます。変更ページにはメタデータの変更記録が表示され、ユーザーが直近30日間に行ったメタデータ変更の状況が記録されます。
データ品質：データ品質は、データテーブルに設定された品質監視ルール、およびテーブルのデータダッシュボード品質概要を提供します。詳細な操作説明については、データ検出>テーブル詳細のデータ品質を参照してください。
アクセスログ：ユーザーによるWeDataでのデータテーブルへのアクセス状況を記録し、異なるユーザーによるこのテーブルへのアクセス時間、アクセスタイプ、関連タスクID、およびそのタスクの実行回数の表示をサポートします。
使用説明：ユーザーがエンティティオブジェクトに対して補足説明を行うことをサポートします。主にビジネス側がエンティティオブジェクトに対してビジネス情報を補足するために使用されます。
権限：tableタイプのオブジェクトに対する権限（privilege）の付与と取消をサポートします。詳細はCatalog権限のセクションを参照してください。
3.2 モデル
モデルの詳細ページは概要ページと権限ページに分かれています。概要ページでは、モデルの基本情報（説明、モデルバージョン、デプロイ状態、エイリアスタグなど）がまとめて表示されます。また、Catalogモジュールでのデプロイと削除操作をサポートしています。特定のモデルバージョンをクリックすると、そのモデルバージョンのリネージュ情報を表示できます。権限情報の詳細については、Catalog権限のセクションを参照してください。
3.3 Volume
Volumeの詳細では、volumeの説明、ファイルの詳細情報（作成時間、サイズ、所有者など）が表示され、フォルダの新規作成、ファイルのアップロード、プレビュー（現在はCSV、TEXT、PDFに対応）およびダウンロードをサポートしています。同時に、volumeは統一権限管理に組み込まれます。権限情報の詳細については、Catalog権限のセクションを参照してください。ページ右側にはvolumeの基本情報と技術情報が表示され、volumeの担当者とタグの確認・変更、作成時間と作成者の確認が容易になります。
Catalog権限
Catalog権限は、WeDataプラットフォームおよびプロジェクト権限管理の基盤の上に、さらに特権とオブジェクト所有権に基づいて、誰がどのCatalog / Schema / Table / View / Volume / Functionなどのオブジェクトにアクセスまたは管理できるかを決定し、Catalog権限モデルを確立しています。
権限の理念と原則
全体理念：Catalogをデータセキュリティ境界とし、階層化された名前空間権限モデルを採用し、検出権限とアクセス権限を区別することで、制御された、拡張可能で、最小権限の原則に準拠したデータガバナンス体系を実現しています。
原則1：階層化（Hierarchical）権限検証モデルを採用
catalog-schema-table/view/model/volume/functionの階層に従って権限管理を行います。オブジェクトへのアクセスは、階層に沿って上位から下位へ逐次検証する必要があります。いずれかの階層で権限が不足している場合、アクセスは拒否されます。
例：テーブルのアクセス権限は、use catalog、use schema、select table権限が必要です。これらの権限があって初めてテーブルのアクセス権限が有効になります。select権限のみでは有効になりません。
USE CATALOG自体は、データの閲覧、テーブルの検索、テーブルの変更ができることを意味するものではありません。これはデータ権限ではなく、コンテキスト権限/スコープ権限にすぎません。ただし、catalog内の任意のオブジェクト（schema / table / view / volume）を実際に操作するには、まずUSE CATALOGが必要です。
原則2：Owner責任モデル
Ownerはオブジェクトの完全な管理権限を持ちますが、その権限は依然として上位のガバナンス境界による制約を受け、グローバル特権を構成しません。
例：schema ownerの権限が有効になるには、親catalogのuse権限が必要です。owner権限があって初めて有効になります。
原則3：最小権限の原則（Principle of Least Privilege）
システムはデフォルトでアクセスを拒否し、明示的な承認を通じてのみ必要な権限を開放し、暗黙的な継承や自動的な許可を回避します。
例：tableのselect権限を付与する際、use catalogおよびuse schema権限も必要であるというプロンプトが表示されますが、デフォルトでは付与されません。
原則4：発見（Discover）≠ 使用（Use）
サポートデータはすべて可視化されるべきですが、使用は厳しく制限されます。
例：
BROWSE：オブジェクトの存在を確認できます。
USE CATALOG：実際にカタログに入り、使用します。
ロールと権限の説明
WeDataプラットフォームは資産管理者ロールを定義しています。資産管理者はCatalog内で、すべてのcatalog-schema-tableなどのエンティティオブジェクトに対する管理権限および読み書き権限を持ちます。
また、Catalogは特権とオブジェクト所有権を定義し、3つの階層に対してきめ細かな権限制御を行います。具体的には以下の通りです：
オブジェクト所有権：
Catalog内の各階層およびエンティティオブジェクト（catalog / schema / table / view / volume / function / model）には、それぞれownerが存在します。Ownerは該当オブジェクトに対する完全な制御権を持ち、変更 / 承認 / 譲渡 / メタデータ管理を含み、同時に承認と権限回収をサポートします。
権限リスト：承認主体が関連ユーザーに付与できる権限リスト：
リソースタイプ | 権限ポイント | 権限対象 | 依存権限ポイント（権限が有効な場合） | 権限ポイントの説明 |
MetaLake | create catalog | MetaLake | - | データカタログを作成する権限を付与します。 |
Catalog | use catalog | Catalog | - | データカタログを使用する権限を付与します。 |
| alter catalog | Catalog | use catalog | データカタログを変更する権限を付与します。 |
| drop catalog | Catalog | use catalog | データカタログを削除する権限を付与します。 |
| create schema | Catalog | use catalog | Schemaを作成する権限を付与します。 |
| browse | Catalog | - | データカタログ内のメタデータオブジェクトを表示する権限を付与します。 |
| grant | Catalog | - | メタデータオブジェクトの権限を管理できる権限を付与します。 |
| all privileges | Catalog | - | 現在のオブジェクトに対するすべての権限を付与します。 |
Schema | use schema | Catalog、Schema | use catalog | Schemaを使用する権限を付与します。 |
| alter schema | Catalog、Schema | use catalog、use schema | Schemaを変更する権限を付与します。 |
| drop schema | Catalog、Schema | use catalog、use schema | Schemaを削除する権限を付与します。 |
| create table | Catalog、Schema | use catalog、use schema | テーブルまたはビューを作成する権限を付与します。 |
| create function | Catalog、Schema | use catalog、use schema | 関数を作成する権限を付与します。 |
| create volume | Catalog、Schema | use catalog、use schema | ボリュームを作成する権限を付与します。 |
| create model | Catalog、Schema | use catalog、use schema | モデルを作成する権限を付与します。 |
| grant | Schema | use catalog | メタデータオブジェクトの権限を管理できる権限を付与します。 |
| all privileges | schema | use catalog | 現在のオブジェクトに対するすべての権限を付与します。 |
Table | select table | Catalog、Schema、Table | use catalog、use schema | テーブルまたはビューのデータをクエリする権限を付与します。 |
| alter table | Catalog、Schema、Table | use catalog、use schema | テーブルまたはビューのメタデータを変更する権限を付与します。 |
| drop table | Catalog、Schema、Table | use catalog、use schema | テーブルまたはビューを削除する権限を付与します。 |
| insert table | Catalog、Schema、Table | use catalog、use schema | テーブルデータを挿入する権限を付与します。 |
| delete table | Catalog、Schema、Table | use catalog、use schema | テーブルデータを削除する権限を付与します。 |
| grant | Table | use catalog、use schema | メタデータオブジェクトの権限を管理できる権限を付与します。 |
| all privileges | Table | use catalog、use schema | 現在のオブジェクトに対するすべての権限を付与します。 |
Function | use function | Catalog、Schema、Function | use catalog、use schema | 関数を使用する権限を付与します。 |
| alter function | Catalog、Schema、Function | use catalog、use schema | 関数を変更する権限を付与します。 |
| drop function | Catalog、Schema、Function | use catalog、use schema | 関数を削除する権限を付与します。 |
| grant | Function | use catalog、use schema | メタデータオブジェクトの権限を管理できる権限を付与します。 |
| all privileges | Function | use catalog、use schema | 現在のオブジェクトに対するすべての権限を付与します。 |
Volume | read volume | Catalog、Schema、Volume | use catalog、use schema | ボリュームを読み取る権限を付与します。 |
| write volume | Catalog、Schema、Volume | use catalog、use schema | ボリュームに書き込む権限を付与します。 |
| alter volume | Catalog、Schema、Volume | use catalog、use schema | ボリュームを変更する権限を付与します。 |
| drop volume | Catalog、Schema、Volume | use catalog、use schema | ボリュームを削除する権限を付与します。 |
| grant | Volume | use catalog、use schema | メタデータオブジェクトの権限を管理できる権限を付与します。 |
| all privileges | Volume | use catalog、use schema | 現在のオブジェクトに対するすべての権限を付与します。 |
Model | use model | Catalog、Schema、Model | use catalog、use schema | モデルを使用する権限を付与します。 |
| alter model | Catalog、Schema、Model | use catalog、use schema | モデルを変更する権限を付与します。 |
| drop model | Catalog、Schema、Model | use catalog、use schema | モデルを削除する権限を付与します。 |
| create model version | Catalog、Schema、Model | use catalog、use schema | モデルバージョンを作成する権限を付与します。 |
| grant | Model | use catalog、use schema | メタデータオブジェクトを管理できる権限を付与します。 |
| all privileges | Model | use catalog、use schema | 現在のオブジェクトに対するすべての権限を付与します。 |
クイックスタート
1. Catalogの作成と権限付与
ユーザーが初めてCatalogを使用する際には、catalogを作成し、他のユーザーに承認してさらに操作を進める必要があります。
1.1 事前準備
WeDataの資産管理者は、データガバナンスモジュールの管理権限を持ち、catalogの作成権限を有し、かつ「catalog作成」権限を他のプラットフォームユーザーに付与できます。Catalogを作成する前に、ユーザーは資産管理者であるか、またはすでに「catalog作成権限」を付与されている必要があります。具体的な操作は以下の通りです：
1. WeDataのホームページで、左側のユーザー管理をクリックし、該当するユーザーに「資産管理者」ロールを付与します：
2. 資産管理者はCatalogページでデータディレクトリの作成をクリックして、catalogを作成します：
またはCatalogホームページの「権限」タブで、承認をクリックし、該当するプロジェクトメンバーまたはユーザーに「catalog作成」権限を付与します：
3. 承認ページに入り、プロジェクトまたはユーザーを選択し、create catalog権限を付与します：
1.2 Catalogの作成
create catalog権限を取得した後、Catalogホームページの右上にあるデータディレクトリの作成をクリックして、catalogを作成します：
データ型に応じて、対応するタイプのcatalogを選択し、名前を付けて説明を入力します。
1.3 権限付与
1. catalogを作成すると、作成者は自動的にそのcatalogのownerになります。ownerはcatalogの承認ページで、関連ユーザーに異なる権限を付与できます。例えば、use catalog、use schema、select table権限です：
2. use catalog、use schema、select table権限を付与します：
1.4 ユースケース
通常、catalog層は最上位のデータ資産パーティションであり、データの所有権帰属とガバナンス責任主体を表します。企業は異なる部門や業務ドメインに応じて複数のcatalogを作成し、データと業務を連携させ、権限を用いて管理することができます。例えば、企業は業務領域に基づいて、異なる業務を表すcatalogを作成できます：EC業務、物流管理、マーケット管理、リスク管理、財務管理などです。
異なる業務ドメインに応じて、異なるcatalog権限を割り当てます。例えば、Browse権限、use catalog権限、alter catalog権限などです。また、異なる業務ドメインのcatalog ownerを対応する業務ドメイン責任者に引き継ぎ、ガバナンス責任主体を明確にすることもできます。
2. スキーマおよびその他のデータオブジェクトの作成
2.1 スキーマの作成</0>
Catalogを作成した後、schema作成権限を持ち、かつ親catalogのuse catalog権限も持つユーザーは、catalogページでschemaを作成できます。もちろん、Catalog ownerも同様にSchema作成権限を持ちます：
2.2 データテーブルなどのデータオブジェクトの作成
Schema配下のデータテーブルは、DLCデータソースで作成するか、またはWeDataでcreate tableなどのステートメントを使用して作成できます。Modelはモデルモジュールで作成できます。VolumeはCatalog配下のSchemaで作成でき、同時にファイルのアップロード、ダウンロード、プレビューを行うことができます。
2.3 ユースケース
Schema層では、「データ加工段階またはデータテーマ」に基づいて分割できます。例えば、「EC業務」のCatalogの下で、データ加工段階に基づいて複数のSchemaを作成できます：
スキーマ名 | 意味 | データソース | 対象者 |
ods | 原始データ層 | ビジネスシステム/ログ/Kafkaから直接取得されます。 | データエンジニア |
dwd | 明細標準層 | クレンジングおよび構造化済みのファクトデータ | データアナリスト |
dws | 主題サマリー層 | テーマ別ワイドテーブル、軽度集計 | BI、運用 |
ads | アプリケーションデータ層 | レポート/指標/タグ結果 | ビジネス担当者、プロダクト担当者 |
feature | 特徴層 | 機械学習特徴量 | アルゴリズムエンジニア |
異なるSchemaの下で複数のデータテーブルを管理できます。または、複数のmodelおよびモデルバージョンなどを管理できます。
次に、異なるschemaを異なる利用者グループに応じて、対応する権限の組み合わせを付与します。例えば、BIおよび運用保守担当者に対しては、use catalog、use schema、select table、alter tableなどの権限を付与し、業務分析のニーズを満たす必要があります。
フィードバック