Skip to content

Notably › Data Science

資料科學 (Data Science) ​

從 Python / R 基礎、資料整理與 EDA、統計推論,到機器學習、深度學習與 LLM 應用。主軸是先理解資料,再建立模型,最後把結果說清楚。

相同概念只在最適合的章節完整說明,其他地方以交叉連結為主。不知道從哪開始時,先讀 認識資料科學。

找方法:統計方法速查、模型選擇。

執行環境:命令列、遠端伺服器、環境與容器、HPC 與工作流引擎見 Computing(SSH、Conda、Docker、Slurm、Snakemake、GitHub Actions)。

章節地圖 ​

核心 ​

章節核心內容回答的問題
Python 基礎語法、函式、腳本、NumPy、pandas、scipy.sparse、AnnData / scanpy、效能與擴展如何有效率地讀取、整理與轉換資料?
R 基礎資料結構、tidyverse、data.table、函數式程式設計、R Markdown如何在 R 裡整理資料、重用邏輯並產出可重現報告?
資料整理與 EDAEDA 流程、資料剖析、缺失值、視覺化資料可信嗎?分布、關係與問題欄位在哪?
統計推論、迴歸、多重檢定、貝氏、時間序列、多變量、實驗設計、存活分析這個差異或趨勢可靠嗎?不確定性多大?
機器學習前處理、監督 / 非監督學習、評估、解釋、套件(scikit-learn、tidymodels)、部署如何建立可泛化、可監控的預測模型?
深度學習張量與反向傳播、訓練流程、CNN / U-Net、序列與 Transformer、VAE / GNN、生資序列與單細胞模型如何用神經網路處理影像、序列等複雜資料?
LLM 應用LLM 基礎、prompt、API 整合、fine-tuning、RAG、agents、評估與幻覺、LLMOps、生醫文獻探勘模型要接上知識庫、工具與流程時,系統怎麼設計?

方法與領域支線 ​

章節核心內容回答的問題
影像分析scikit-image、細胞核分割(watershed)、regionprops、DICOM / NIfTI spacing、mask、registration(古典方法,非 DL)不訓練模型時,如何從顯微鏡或醫學影像抽出可量測的結構?
網路分析graph、centrality、路徑、隨機基準、社群偵測、二分網路;PPI(STRING)、WGCNA、單細胞 kNN + Leiden資料核心是「誰和誰相連」時,如何找重要節點與群體結構?
Responsible AI倫理與治理、偏誤(含 GWAS / EHR)、隱私與法規(GDPR / HIPAA / 個資法 / EU AI Act 醫材)、基因資料受控存取、匿名化與差分隱私、AI 資安模型進入真實決策時,如何可控、可問責、合規?
應用領域finance、行銷反應模型、最佳化、process mining通用方法放進特定領域時要注意什麼?

資料取得與工程(選讀) ​

章節核心內容回答的問題
資料庫SQL 查詢、window functions、交易、效能、方言對照、SQLAlchemy、DuckDB / Parquet、PyMongo如何在資料庫端先篩選、聚合再抽取?
網頁爬蟲Scrapy、BeautifulSoup / Selenium、rvest資料不在 API 或 CSV 時,如何合法抓取?
資料工程ingestion、檔案格式、pipelines、out-of-core、Spark、Glow / Hail 基因體資料、Databricks、雲端資料倉儲、dbt、串流、治理、資料品質資料如何穩定流進分析與模型,而不是每次手動整理?
資料溝通問題定義、結果溝通、dashboard 設計、BI 工具(Power BI / Tableau)如何把模糊需求翻成分析問題,並讓結果回到決策?

建議路線 ​

讀者路線
初學認識資料科學 → Python 基礎 → 資料整理與 EDA → 統計 → 機器學習
生物資訊pandas / R 基礎 → EDA 與缺失值 → 統計(生資路線) → 機器學習 → 深度學習 → 依資料型態選 影像分析 / 網路分析;生物背景、檔案格式與資料庫見 Biology(生資速查)
機器學習NumPy / pandas → EDA → 統計(ML 路線) → 機器學習 → 深度學習 → LLM 應用 → Responsible AI
工程與 BI(選讀)資料庫 → 資料工程 → 資料溝通;資料要自己抓時插入 網頁爬蟲
mermaid
flowchart LR
    A[Python / R 基礎] --> B[資料整理與 EDA]
    B --> C[統計]
    B --> D[資料溝通]
    C --> E[機器學習]
    E --> F[深度學習]
    E --> G[LLM 應用]
    E --> H[Responsible AI]
    C --> I[網路分析 / 應用領域]
    B --> J[影像分析]
    K[資料庫 / 爬蟲] --> B
    K --> L[資料工程]
    L --> E

一套一致的分析節奏 ​

步驟要做的事對應章節
1. 資料盤點欄位型別、缺失值、重複值、異常值、時間範圍EDA
2. 看分布與關係視覺化、描述統計、收集偏差視覺化、敘述統計
3. 選方法檢定、迴歸、分類、分群、時間序列統計方法速查、模型選擇
4. 回到決策結果穩定嗎?可解釋、可重現、可部署嗎?結果溝通、部署

很多錯誤不是模型不夠複雜,而是前面的資料理解不夠。模型章節卡住時,先回頭補 EDA、視覺化與統計。