Skip to content

Data Science › Data Engineering › 資料治理

資料治理 (Data Governance) ​

資料治理是讓資料可信、可取得、受保護、被負責任使用的一套原則、角色、標準與流程。它回答兩組問題:了解資料(有哪些、從哪來、品質如何、誰負責)與保護資料(誰能存取、敏感資料怎麼保護、是否合規)。前半是平台與技術面,後半是組織面的治理計畫;品質規則見 資料品質檢查,個資法規與去識別化見 隱私與法規。

治理不等於資料管理:治理定義「應該發生什麼、誰負責」,資料管理提供讓它實現的工具與流程。只有治理沒有管理會停在紙上;只有管理沒有治理,各團隊做法會各自為政。

Metadata 與 Catalog ​

治理的基礎不是先寫規則,而是先把 metadata 建起來,才有可用的 catalog、lineage 與稽核。

Metadata 類型內容例子
技術 (technical)型別、欄名、來源、表關係counts.parquet 的 schema、上游表
業務 (business)定義、規則、負責人「responder」的定義、資料 owner
營運 (operational)時間戳、ETL 執行狀態、品質指標上次更新時間、規則通過率
使用 (usage)誰在何時用過、怎麼用存取紀錄

生資專案常見的 metadata 標準:樣本層級用 MINSEQE 等報告規範、本體論 (ontology) 標註組織與疾病(UBERON、MONDO)、資料集遵循 FAIR 原則(Findable、Accessible、Interoperable、Reusable),見 Responsible AI。

Lineage 與影響分析 ​

概念回答
Lineage資料從哪來、經過哪些轉換、流向哪裡
影響分析 (impact analysis)改了這張表,哪些下游表、報表、模型會受影響

資料出錯時要同時回答「哪裡出問題」與「影響了誰」。在分享項目、修改 semantic model、調整表結構、更新 pipeline 或上游來源前,先看 dependency graph。真正高成本的問題常不是單一物件壞掉,而是不知道哪些下游會被一起波及。

存取控制、加密與遮罩 ​

控制作用雲端對應
存取控制誰能存取哪些資料、能做什麼(讀、寫、擁有)IAM、RBAC、Unity Catalog / Snowflake roles
加密保護靜態 (at rest) 與傳輸中 (in transit) 的資料KMS、TLS
遮罩 (masking)資料可用但不直接暴露敏感內容dynamic data masking、column-level security
列層級安全 (row-level security)不同使用者看到不同列Power BI RLS、warehouse row access policy
網路 / 情境限制只允許特定網路或裝置存取private endpoint、conditional access

最小權限 (Least Privilege) ​

做法理由
預設給最低必要權限內部權限過大是常見的資料風險
用安全群組管理,不逐一指派個人人員異動時不會遺漏
區分只讀、可修改、擁有者權限層級不同,風險不同
定期審查分享與角色專案結束後權限常沒收回
例外權限留下文件與理由稽核時說得清楚

整合式分析平台(Microsoft Fabric、Databricks)的權限分布在多層:tenant 設定、capacity、workspace 角色、個別項目分享、semantic model 的安全規則。只檢查其中一層,容易誤以為已有控管,實際上分享路徑仍然過寬;而且同一平台連著 lakehouse、warehouse、報表與模型,過大的權限會同時擴散到多個下游。

敏感度標籤與分類 ​

敏感度標籤 (sensitivity label) 標示哪些資料需要更嚴格對待,讓同類資料有一致的處理方式,也方便合規與稽核溝通。標籤本身不等於保護,但它把「哪些資料要更小心」提前明確化。

等級例子生醫資料例子典型控管
公開公開參考基因體、彙總統計無特別限制
內部去識別化的分析中間檔組織內可存取
機密假名化的臨床資料依專案授權、存取紀錄
高度敏感可識別個人的基因體、病歷受控存取、可信研究環境、不可下載

角色 ​

角色責任
Data owner對某資料領域與使用決策負責
Data steward品質、定義與日常治理實務
Data producer產生或擷取來源資料
Data engineer建立與維護 pipeline 與轉換邏輯
Data custodian維護儲存、存取與技術保護
分析師 / data scientist使用受治理的資料,回報品質與解讀問題
高層、法務支援治理策略與合規

職稱因組織而異,重點是擁有、管理、產生、保管的責任不要模糊。較大的組織會設治理辦公室:CDO(資料策略與文化)、治理負責人(框架與政策)、領域顧問(把政策轉成實務)、品質分析師(profiling、寫規則)、資料架構師(安全整合的資料流)。治理辦公室應該協調、引導與衡量,而不是脫離實際作業的文件團隊。

治理計畫 ​

支柱 ​

支柱實際意義
擁有與問責有具名的人負責資料決策與問題處理
資料品質資料準確、一致、足夠完整、適合用途
保護與安全存取、遮罩、加密、復原
使用與可用性對的人能可靠地取得與使用
監控與溝通衡量並分享進度、品質、風險、合規
資料素養與文化組織成員理解治理為什麼重要

策略、政策、標準 ​

元件角色
策略 (strategy)資料應如何被使用與對待以支援目標;含願景、使命、價值主張、指導原則
政策 (policy)原則、權利、期待與責任
標準 (standard)遵循政策的具體規則或最佳實務

支援治理的流程包括品質監控、問題修正、資料分享審查、metadata 管理、主資料管理 (MDM)。

從現況開始 ​

text
找出關鍵資料來源與利害關係人 → 訪談痛點與責任 → 評估現有能力與成熟度
  → 記錄現況與目標 → 分析差距、排優先順序 → 選定行動、導入工具 / 流程 / 訓練 → 監控並調整

不是每個差距都同樣緊急,也沒有一體適用的成熟度目標;適合的模式取決於目標、團隊結構、風險與起點。治理常失敗的原因不是框架錯,而是優先順序衝突時沒有人能跨團隊協調,所以需要高層支持、跨部門委員會與明確的升級路徑。

衡量 ​

面向指標例子
資料品質錯誤率、完整性、新鮮度、規則通過率
風險與隱私暴露程度、未解決問題、控制例外
合規政策遵循、修正時效、稽核發現
計畫價值採用率、流程涵蓋率、業務影響

無法衡量進度的治理,通常也無法維持高層支持。

工具 ​

工具幫助
業務詞彙表 (glossary)標準定義與共同語言
Metadata 管理 / catalog探索、lineage、脈絡
品質工具規則執行、profiling、問題追蹤
主資料管理核心實體的一致處理
工作流程與 issue 系統修正、核准、可稽核

先定義擁有權與流程再買工具;反過來通常只會得到沒人用的軟體。

治理計畫上線前應該說得出 ​

  1. 哪些資料領域最重要、誰擁有
  2. 團隊要遵循哪些政策與標準
  3. 品質、保護與存取怎麼衡量
  4. 問題怎麼升級與修正
  5. 治理計畫預期帶來什麼價值