Skip to content

Data Science › Responsible AI › 資料偏誤與代表性

資料偏誤與代表性 (Data Bias and Representativeness) ​

資料偏誤 (data bias) 是資料、標籤、抽樣過程或結果解讀系統性地偏離真實,導致不公平或誤導的決策。乾淨、完整、格式正確的資料集仍可能嚴重不具代表性。統計上的偏誤與干擾見 干擾與偏誤;抽樣與代表性的 ML 觀點見 抽樣與代表性。

如果評估資料和訓練資料有同樣的偏差,偏誤的模型在紙面上依然看起來很準確。

偏誤從哪裡進來 ​

text
問題定義 → 資料收集 → 標註 → 特徵設計 → 建模與評估 → 解讀與部署 → 新資料(回饋迴圈)
(代理目標)(選擇偏誤)(標註偏誤)(代理變數)(只看整體指標)(認知偏誤)
階段偏誤生醫例子
問題定義用代理目標 (proxy) 取代真正目標以「醫療花費」代表「健康需求」:花費少的群體可能是就醫機會少,而非比較健康(Obermeyer et al., 2019, Science)
資料收集選擇 / 抽樣偏誤GWAS 參與者以歐洲血統為主
標註標註者不一致、歷史判斷有偏不同病理師對分級的標準不同
測量儀器對不同群體準確度不同脈搏血氧儀在深膚色者可能高估血氧
特徵敏感屬性的代理變數郵遞區號 ≈ 社經地位、族群
評估整體指標掩蓋子群失敗整體 AUC 0.90,少數族群只有 0.70
解讀認知偏誤只採信支持假說的結果

選擇偏誤 (Selection Bias) ​

類型意義例子
抽樣偏誤抽樣方法本身不隨機便利樣本:只收門診病人
涵蓋不足 (undercoverage)重要群體缺席線上問卷排除沒有網路的人
無回應偏誤 (non-response)不回應者與回應者不同病情重者不回追蹤問卷
自我選擇 (self-selection)自願參與者有特定傾向消費型基因檢測使用者偏高收入、高教育
存活者偏誤 (survivorship)只看到留下來的只分析完成療程的病人
轉診 / 醫院偏誤 (Berkson)住院樣本中的關聯不代表一般族群兩種疾病在住院病人中看似相關

多種選擇偏誤常同時存在。生物資料庫(如 UK Biobank)的參與者通常比一般族群更健康、社經地位更高("healthy volunteer" bias),推論到一般族群時要小心。

生醫資料的常見偏誤 ​

族群 (Ancestry) 偏誤:GWAS 與多基因風險分數 ​

問題原因後果
GWAS 樣本以歐洲血統為主研究資源與生物資料庫分布不均其他族群的風險位點較少被發現
多基因風險分數 (PRS) 跨族群可遷移性差連鎖不平衡 (LD) 結構、等位基因頻率、效應大小在族群間不同用歐洲樣本建立的 PRS 套用在非洲血統族群時,預測力通常大幅下降
參考基因體與變異資料庫偏向特定族群參考資料的組成非歐洲族群的罕見變異較常被判為「意義不明」(VUS)
緩解做法
報告樣本的血統組成在論文與 Model Card 中說明適用族群
分族群評估各族群分別報告 PRS 表現,不只報合併結果
多族群方法跨族群 meta-analysis、多族群 PRS 方法
納入多元族群資料All of Us、H3Africa、台灣人體生物資料庫等

電子病歷 (EHR) 偏誤 ​

偏誤機制後果
就醫選擇只有就醫的人有紀錄;就醫頻率與保險、地區、社經相關「沒有診斷」≠「沒有疾病」
資訊性缺失 (MNAR)醫師依病情決定是否檢驗;有檢驗本身就代表懷疑有問題「有沒有驗」比「驗出什麼」更能預測結果(見 缺失資料)
編碼偏誤ICD 碼受給付規則影響診斷碼不等於真實病況
治療混淆治療決策依病情而定模型學到「用藥者死亡率高」
時間漂移診斷標準、檢驗儀器、編碼版本改變舊資料訓練的模型在新資料失準

單一機構與批次 (Site / Batch Effect) ​

只用一家醫院、一台掃描儀、一個定序批次訓練的模型,常學到機構特有的訊號(影像標記、染色差異、定序深度),換到別處就失準。驗證時用外部機構資料,並依機構做分組交叉驗證(見 交叉驗證)。

歷史偏誤 (Historical Bias) ​

過去的決策紀錄被當成中性的真相。

歷史模式AI 風險
過去的招募偏好特定性別履歷篩選模型學到同樣偏好(Amazon 招募工具的著名案例)
某些族群的疼痛被低估、轉診較少以轉診或治療紀錄為標籤的模型延續低估
臨床試驗以特定族群為主劑量與療效證據對其他族群不足

歷史資料記錄的是「過去怎麼決定」,不是「應該怎麼決定」。目標變數本身有偏時,修模型沒用,要重新定義目標與標籤。

認知偏誤 (Cognitive Bias) ​

資料沒問題,分析者也會扭曲結論。

偏誤模式防範
確認偏誤 (confirmation)只採信支持既有假說的結果事先註冊分析計畫;主動找反證
過度自信高估分析的可靠度報告不確定性、做敏感度分析
近因偏誤 (recency)過度重視最近的事件看長期趨勢
可得性捷思 (availability)以印象深刻的案例判斷機率用資料估計頻率
錨定偏誤 (anchoring)被最初的數字或假設綁住獨立估計後再比較
分岔路徑 (garden of forking paths)嘗試多種分析後只報告顯著的預先指定分析、多重檢定校正

偏誤的回饋迴圈 ​

text
有偏的資料 → 有偏的模型 → 影響人的決策 → 產生新的有偏資料 → 下一版模型更偏

例:模型預測某群體風險低 → 該群體較少被安排檢查 → 較少被診斷 → 新資料中該群體「疾病較少」→ 模型更確信風險低。高影響系統需要定期重新檢視標籤與目標,而不只是重訓。

偵測與緩解 ​

子群評估 ​

python
import pandas as pd
from sklearn.metrics import roc_auc_score, recall_score

df = pd.DataFrame({"y": y_test, "score": proba, "pred": proba >= 0.5, "group": ancestry_test})

def subgroup_metrics(g):
    return pd.Series({
        "n": len(g),
        "prevalence": g["y"].mean(),
        "auc": roc_auc_score(g["y"], g["score"]) if g["y"].nunique() == 2 else float("nan"),
        "recall": recall_score(g["y"], g["pred"]),                 # 偽陰性率 = 1 - recall
        "flag_rate": g["pred"].mean(),                             # 被判為陽性的比例
    })

df.groupby("group").apply(subgroup_metrics)    # 各群樣本數小時,指標要附信賴區間
公平性準則要求各群相等的是何時適用
人口統計均等 (demographic parity)被判陽性的比例資源分配;但各群真實盛行率不同時不合理
機會均等 (equal opportunity)recall(真陽性率)篩檢:不希望某群體更容易被漏掉
均等化勝算 (equalized odds)TPR 與 FPR兩種錯誤都重要
校準 (calibration within groups)預測機率與實際比例一致臨床風險分數

各群盛行率不同時,這些準則在數學上無法同時滿足。依用途決定哪種錯誤最需要避免,並記錄這個取捨。小樣本子群的指標波動很大,要報告 信賴區間。

緩解手段 ​

階段手段說明
資料補收缺漏群體、分層抽樣根本解法;成本最高
資料重新加權、重新抽樣調整群體比例(見 類別不平衡)
標籤重新審查標籤、改用較不偏的目標如以實際疾病指標取代醫療花費
訓練加入公平性限制(如 Fairlearn)通常犧牲部分整體表現
後處理各群使用不同門檻簡單;在某些法規情境下可能有爭議
部署限縮適用範圍、人工覆核在 Model Card 寫明不適用的族群
監控上線後持續追蹤子群表現偏誤會隨時間與使用情境改變

建模前檢查 ​

問題沒回答時
資料代表誰?漏掉誰?模型在缺席群體上失準
標籤反映的是想要的決策,還是過去的行為?自動化歷史偏誤
有哪些選擇偏誤影響收集或參與?推論到錯誤的母體
如何評估子群表現?採用哪個公平性準則、為什麼?整體指標掩蓋傷害
外部機構 / 外部族群驗證了嗎?只在單一來源有效