外觀
Data Science › Data Engineering › 資料治理
資料治理 (Data Governance)
資料治理是讓資料可信、可取得、受保護、被負責任使用的一套原則、角色、標準與流程。它回答兩組問題:了解資料(有哪些、從哪來、品質如何、誰負責)與保護資料(誰能存取、敏感資料怎麼保護、是否合規)。前半是平台與技術面,後半是組織面的治理計畫;品質規則見 資料品質檢查,個資法規與去識別化見 隱私與法規。
治理不等於資料管理:治理定義「應該發生什麼、誰負責」,資料管理提供讓它實現的工具與流程。只有治理沒有管理會停在紙上;只有管理沒有治理,各團隊做法會各自為政。
Metadata 與 Catalog
治理的基礎不是先寫規則,而是先把 metadata 建起來,才有可用的 catalog、lineage 與稽核。
| Metadata 類型 | 內容 | 例子 |
|---|---|---|
| 技術 (technical) | 型別、欄名、來源、表關係 | counts.parquet 的 schema、上游表 |
| 業務 (business) | 定義、規則、負責人 | 「responder」的定義、資料 owner |
| 營運 (operational) | 時間戳、ETL 執行狀態、品質指標 | 上次更新時間、規則通過率 |
| 使用 (usage) | 誰在何時用過、怎麼用 | 存取紀錄 |
生資專案常見的 metadata 標準:樣本層級用 MINSEQE 等報告規範、本體論 (ontology) 標註組織與疾病(UBERON、MONDO)、資料集遵循 FAIR 原則(Findable、Accessible、Interoperable、Reusable),見 Responsible AI。
Lineage 與影響分析
| 概念 | 回答 |
|---|---|
| Lineage | 資料從哪來、經過哪些轉換、流向哪裡 |
| 影響分析 (impact analysis) | 改了這張表,哪些下游表、報表、模型會受影響 |
資料出錯時要同時回答「哪裡出問題」與「影響了誰」。在分享項目、修改 semantic model、調整表結構、更新 pipeline 或上游來源前,先看 dependency graph。真正高成本的問題常不是單一物件壞掉,而是不知道哪些下游會被一起波及。
存取控制、加密與遮罩
| 控制 | 作用 | 雲端對應 |
|---|---|---|
| 存取控制 | 誰能存取哪些資料、能做什麼(讀、寫、擁有) | IAM、RBAC、Unity Catalog / Snowflake roles |
| 加密 | 保護靜態 (at rest) 與傳輸中 (in transit) 的資料 | KMS、TLS |
| 遮罩 (masking) | 資料可用但不直接暴露敏感內容 | dynamic data masking、column-level security |
| 列層級安全 (row-level security) | 不同使用者看到不同列 | Power BI RLS、warehouse row access policy |
| 網路 / 情境限制 | 只允許特定網路或裝置存取 | private endpoint、conditional access |
最小權限 (Least Privilege)
| 做法 | 理由 |
|---|---|
| 預設給最低必要權限 | 內部權限過大是常見的資料風險 |
| 用安全群組管理,不逐一指派個人 | 人員異動時不會遺漏 |
| 區分只讀、可修改、擁有者 | 權限層級不同,風險不同 |
| 定期審查分享與角色 | 專案結束後權限常沒收回 |
| 例外權限留下文件與理由 | 稽核時說得清楚 |
整合式分析平台(Microsoft Fabric、Databricks)的權限分布在多層:tenant 設定、capacity、workspace 角色、個別項目分享、semantic model 的安全規則。只檢查其中一層,容易誤以為已有控管,實際上分享路徑仍然過寬;而且同一平台連著 lakehouse、warehouse、報表與模型,過大的權限會同時擴散到多個下游。
敏感度標籤與分類
敏感度標籤 (sensitivity label) 標示哪些資料需要更嚴格對待,讓同類資料有一致的處理方式,也方便合規與稽核溝通。標籤本身不等於保護,但它把「哪些資料要更小心」提前明確化。
| 等級例子 | 生醫資料例子 | 典型控管 |
|---|---|---|
| 公開 | 公開參考基因體、彙總統計 | 無特別限制 |
| 內部 | 去識別化的分析中間檔 | 組織內可存取 |
| 機密 | 假名化的臨床資料 | 依專案授權、存取紀錄 |
| 高度敏感 | 可識別個人的基因體、病歷 | 受控存取、可信研究環境、不可下載 |
角色
| 角色 | 責任 |
|---|---|
| Data owner | 對某資料領域與使用決策負責 |
| Data steward | 品質、定義與日常治理實務 |
| Data producer | 產生或擷取來源資料 |
| Data engineer | 建立與維護 pipeline 與轉換邏輯 |
| Data custodian | 維護儲存、存取與技術保護 |
| 分析師 / data scientist | 使用受治理的資料,回報品質與解讀問題 |
| 高層、法務 | 支援治理策略與合規 |
職稱因組織而異,重點是擁有、管理、產生、保管的責任不要模糊。較大的組織會設治理辦公室:CDO(資料策略與文化)、治理負責人(框架與政策)、領域顧問(把政策轉成實務)、品質分析師(profiling、寫規則)、資料架構師(安全整合的資料流)。治理辦公室應該協調、引導與衡量,而不是脫離實際作業的文件團隊。
治理計畫
支柱
| 支柱 | 實際意義 |
|---|---|
| 擁有與問責 | 有具名的人負責資料決策與問題處理 |
| 資料品質 | 資料準確、一致、足夠完整、適合用途 |
| 保護與安全 | 存取、遮罩、加密、復原 |
| 使用與可用性 | 對的人能可靠地取得與使用 |
| 監控與溝通 | 衡量並分享進度、品質、風險、合規 |
| 資料素養與文化 | 組織成員理解治理為什麼重要 |
策略、政策、標準
| 元件 | 角色 |
|---|---|
| 策略 (strategy) | 資料應如何被使用與對待以支援目標;含願景、使命、價值主張、指導原則 |
| 政策 (policy) | 原則、權利、期待與責任 |
| 標準 (standard) | 遵循政策的具體規則或最佳實務 |
支援治理的流程包括品質監控、問題修正、資料分享審查、metadata 管理、主資料管理 (MDM)。
從現況開始
text
找出關鍵資料來源與利害關係人 → 訪談痛點與責任 → 評估現有能力與成熟度
→ 記錄現況與目標 → 分析差距、排優先順序 → 選定行動、導入工具 / 流程 / 訓練 → 監控並調整不是每個差距都同樣緊急,也沒有一體適用的成熟度目標;適合的模式取決於目標、團隊結構、風險與起點。治理常失敗的原因不是框架錯,而是優先順序衝突時沒有人能跨團隊協調,所以需要高層支持、跨部門委員會與明確的升級路徑。
衡量
| 面向 | 指標例子 |
|---|---|
| 資料品質 | 錯誤率、完整性、新鮮度、規則通過率 |
| 風險與隱私 | 暴露程度、未解決問題、控制例外 |
| 合規 | 政策遵循、修正時效、稽核發現 |
| 計畫價值 | 採用率、流程涵蓋率、業務影響 |
無法衡量進度的治理,通常也無法維持高層支持。
工具
| 工具 | 幫助 |
|---|---|
| 業務詞彙表 (glossary) | 標準定義與共同語言 |
| Metadata 管理 / catalog | 探索、lineage、脈絡 |
| 品質工具 | 規則執行、profiling、問題追蹤 |
| 主資料管理 | 核心實體的一致處理 |
| 工作流程與 issue 系統 | 修正、核准、可稽核 |
先定義擁有權與流程再買工具;反過來通常只會得到沒人用的軟體。
治理計畫上線前應該說得出
- 哪些資料領域最重要、誰擁有
- 團隊要遵循哪些政策與標準
- 品質、保護與存取怎麼衡量
- 問題怎麼升級與修正
- 治理計畫預期帶來什麼價值