GVAP データ分析基盤 設計ドキュメント¶
グローバル展開を前提とした Lakehouse 型データ分析基盤(GVAP)の開発に必要な設計文書一式。
ドキュメント構成¶
| # | ドキュメント | 内容 |
|---|---|---|
| 01 | 全体アーキテクチャ設計書 | アーキテクチャスタイル、技術選定、全体データフロー |
| 02 | データレイヤー設計書 | Landing / Bronze / Silver / Gold の各レイヤー定義と責務 |
| 03 | データ取り込み設計書 | S3 受信(時間バッチ)、マスターデータ取り込み、オーケストレーション |
| 04 | dbt 開発標準 | dbt プロジェクト構成、モデリング規約、テスト、CI/CD |
| 05 | データガバナンス・個人情報保護設計書 | 仮名化方式、PII の取り扱い、アクセス統制との関係 |
| 06 | IAM・アクセス制御設計書 | 日本一元管理の IAM 設計、クロスリージョンアクセス、Lake Formation |
| 07 | グローバル展開設計書 | マルチリージョン構成、標準化方針、リージョン展開手順 |
| 08 | 外部分析環境接続設計書 | Snowflake / Databricks からの Iceberg テーブルアクセス |
| 09 | 命名規約・標準化ガイドライン | S3 パス、データベース/テーブル、dbt モデル等の命名規約 |
| 10 | 未決事項・検討課題(ADR) | マスター取り込み方式ほか、意思決定が必要な事項の整理 |
| 11 | ドキュメント体系・トレーサビリティ設計書 | 文書の階層構造、工程との対応(V 字)、要求〜テストの追跡方法と具体例(UC-001) |
| 12 | 品質ゲート設計書 | 工程ごとの品質ゲート(QG-0〜QG-5)の判定基準・判定者・エビデンス |
補助資料: summary.html — 設計成果物全体のまとめ解説書(ブラウザで開く)
読み方¶
- 初めて読む場合は 01 → 02 → 03 の順で全体像を把握する。
- 開発者は 04(dbt 標準)と 09(命名規約)を必読とする。
- セキュリティ・ガバナンス担当は 05・06 を参照する。
- 未決事項は 10 に集約しており、決定後に各設計書へ反映する。
- 開発プロセス(文書体系・トレーサビリティ・品質ゲート)は 11・12 を参照する。
用語¶
| 用語 | 意味 |
|---|---|
| Lakehouse | データレイク(S3)上にテーブルフォーマット(Iceberg)を載せ、DWH 相当の管理性を実現するアーキテクチャ |
| Bronze | 受信層。ソースのデータをほぼそのままの粒度で保持する層 |
| Silver | DWH 層。クレンジング・統合・履歴管理済みの正規化データ |
| Gold | DM(データマート)層。利用部門・ユースケース単位に最適化された層 |
| 仮名化 | 個人を直接識別できる情報を、追加情報なしには個人を特定できない形式に置き換えること |
| ハブリージョン | 日本(ap-northeast-1)。IAM・ガバナンスを一元管理する拠点 |
| スポークリージョン | 各展開先リージョン。データはリージョン内に保持する |