Skip to content

Data Science › 認識資料科學

認識資料科學 (Understanding Data Science) ​

資料科學把資料轉成可用的理解、預測與決策。它不只是建模:真實的工作流程包含問題定義、資料取得、整理、探索、實驗或建模,以及解讀與溝通,而很多專案在建模之前就已經失敗。

工作流程 ​

text
問題定義 → 取得資料 → 整理資料 → 探索 → 實驗 / 建模 → 解讀與溝通 → 行動
   ↑                                                              │
   └──────────────────────── 新問題 ←─────────────────────────────┘
階段目標產出詳見
問題定義釐清要回答什麼問題、假設、成功指標形成分析問題
取得資料找到相關的內部或外部資料原始表、log、檔案、API 回應Python 匯入資料、Databases
整理資料清理與標準化可分析的資料集pandas、缺失值
探索了解結構、模式與風險摘要統計、圖、假設EDA
實驗或建模檢驗主張或預測結果統計結果或訓練好的模型Statistics、Machine Learning
解讀與溝通把結果連回決策建議、報告、下一步溝通分析結果

很多專案失敗在建模之前:問題模糊、資料品質差、或跳過整理步驟。

資料來源 ​

類型說明例子
組織內部資料組織運作產生網站事件、客戶資料、交易、物流;醫院 EHR、實驗室 LIMS、定序產出
公開資料可公開使用與分享政府資料、研究資料集;GEO、SRA / ENA、TCGA、GTEx、UniProt、PDB
受控存取資料需申請與簽署使用協議dbGaP、EGA、UK Biobank、All of Us,見 隱私與法規
收集方式例子特性
觀察 / 被動收集log、交易、clickstream、營運紀錄、EHR量大、反映實際行為;但記錄目的不是研究,可能有選擇偏差與缺漏
主動徵求問卷、評論、焦點團體、病人自評量表能取得行為紀錄看不到的意見與感受;受題目措辭、抽樣與回應偏差影響
實驗產生A/B 測試、臨床試驗、定序實驗能回答因果問題;需要事先設計

知道資料從哪裡來和知道欄位內容一樣重要:來源決定可信度、偏差、新鮮度與使用限制。主動徵求的資料是有自己收集過程的證據,不是中立的事實,見 調查抽樣。

為什麼資料整理要早做 ​

真實資料很亂。整理不是行政雜務,而是資料科學推理的一部分:它避免明顯錯誤、錯誤的分析結果,以及之後模型或決策中隱藏的偏差。

常見工作例子
修正型別ID 被讀成數字("001" → 1)、日期被讀成字串
標準化格式與單位mg/dL vs mmol/L、大小寫不一致的類別
移除真正的重複同一樣本重複匯入(技術重複不是重複資料)
有意識地處理缺值先問為什麼缺,再決定刪除或補值
檢查類別一致性Male / M / male;基因名被 Excel 改成日期

實驗 ​

text
提出問題 → 形成假設 → 收集資料 → 用合適的統計方法檢驗 → 解讀結果

A/B 測試是商業上常見的版本,比較兩個標題、介面、方案或流程;生醫研究中則是對照實驗與臨床試驗。實驗在目標是支持決策(「如果這樣做會怎樣」)而不只是描述發生了什麼時特別有價值,見 A/B 測試、Experimental Design。

建模與機器學習 ​

建模是用變數之間的數學關係描述真實世界的過程。

概念著重例子
統計建模解釋關係、假設與不確定性迴歸係數與信賴區間、差異表現分析
機器學習從資料學習模式以提升預測流失預測、推薦系統、影像分類、蛋白質結構預測

監督式學習從有標籤的例子學習,再預測新輸入的結果。

目標問題取捨
預測 (predictive)模型能否準確預測或分類未來案例?預測力強的模型可能難以解釋
解釋 (explanatory)模型能否幫助理解什麼驅動了結果?可能刻意犧牲部分預測準確度換取可解釋性

兩者重疊但不相同;先決定要哪一個,因為它影響模型選擇、評估方式與能下的結論(預測模型的重要特徵不代表因果)。見 解釋性建模(R)、Machine Learning。

模型可以看起來很精密,卻建立在薄弱的假設、品質差的標籤或沒整理好的資料上。

接下來讀什麼 ​

想做的事章節
整理與探索資料Data Manipulation and EDA
定義問題、和利害關係人對齊、報告Data Communication
估計、檢定、實驗設計Statistics
預測、評估、部署Machine Learning
依讀者類型的完整路線Data Science 建議路線