外觀
Notably › Data Science
資料科學 (Data Science)
從 Python / R 基礎、資料整理與 EDA、統計推論,到機器學習、深度學習與 LLM 應用。主軸是先理解資料,再建立模型,最後把結果說清楚。
相同概念只在最適合的章節完整說明,其他地方以交叉連結為主。不知道從哪開始時,先讀 認識資料科學。
執行環境:命令列、遠端伺服器、環境與容器、HPC 與工作流引擎見 Computing(SSH、Conda、Docker、Slurm、Snakemake、GitHub Actions)。
章節地圖
核心
| 章節 | 核心內容 | 回答的問題 |
|---|---|---|
| Python 基礎 | 語法、函式、腳本、NumPy、pandas、scipy.sparse、AnnData / scanpy、效能與擴展 | 如何有效率地讀取、整理與轉換資料? |
| R 基礎 | 資料結構、tidyverse、data.table、函數式程式設計、R Markdown | 如何在 R 裡整理資料、重用邏輯並產出可重現報告? |
| 資料整理與 EDA | EDA 流程、資料剖析、缺失值、視覺化 | 資料可信嗎?分布、關係與問題欄位在哪? |
| 統計 | 推論、迴歸、多重檢定、貝氏、時間序列、多變量、實驗設計、存活分析 | 這個差異或趨勢可靠嗎?不確定性多大? |
| 機器學習 | 前處理、監督 / 非監督學習、評估、解釋、套件(scikit-learn、tidymodels)、部署 | 如何建立可泛化、可監控的預測模型? |
| 深度學習 | 張量與反向傳播、訓練流程、CNN / U-Net、序列與 Transformer、VAE / GNN、生資序列與單細胞模型 | 如何用神經網路處理影像、序列等複雜資料? |
| LLM 應用 | LLM 基礎、prompt、API 整合、fine-tuning、RAG、agents、評估與幻覺、LLMOps、生醫文獻探勘 | 模型要接上知識庫、工具與流程時,系統怎麼設計? |
方法與領域支線
| 章節 | 核心內容 | 回答的問題 |
|---|---|---|
| 影像分析 | scikit-image、細胞核分割(watershed)、regionprops、DICOM / NIfTI spacing、mask、registration(古典方法,非 DL) | 不訓練模型時,如何從顯微鏡或醫學影像抽出可量測的結構? |
| 網路分析 | graph、centrality、路徑、隨機基準、社群偵測、二分網路;PPI(STRING)、WGCNA、單細胞 kNN + Leiden | 資料核心是「誰和誰相連」時,如何找重要節點與群體結構? |
| Responsible AI | 倫理與治理、偏誤(含 GWAS / EHR)、隱私與法規(GDPR / HIPAA / 個資法 / EU AI Act 醫材)、基因資料受控存取、匿名化與差分隱私、AI 資安 | 模型進入真實決策時,如何可控、可問責、合規? |
| 應用領域 | finance、行銷反應模型、最佳化、process mining | 通用方法放進特定領域時要注意什麼? |
資料取得與工程(選讀)
| 章節 | 核心內容 | 回答的問題 |
|---|---|---|
| 資料庫 | SQL 查詢、window functions、交易、效能、方言對照、SQLAlchemy、DuckDB / Parquet、PyMongo | 如何在資料庫端先篩選、聚合再抽取? |
| 網頁爬蟲 | Scrapy、BeautifulSoup / Selenium、rvest | 資料不在 API 或 CSV 時,如何合法抓取? |
| 資料工程 | ingestion、檔案格式、pipelines、out-of-core、Spark、Glow / Hail 基因體資料、Databricks、雲端資料倉儲、dbt、串流、治理、資料品質 | 資料如何穩定流進分析與模型,而不是每次手動整理? |
| 資料溝通 | 問題定義、結果溝通、dashboard 設計、BI 工具(Power BI / Tableau) | 如何把模糊需求翻成分析問題,並讓結果回到決策? |
建議路線
| 讀者 | 路線 |
|---|---|
| 初學 | 認識資料科學 → Python 基礎 → 資料整理與 EDA → 統計 → 機器學習 |
| 生物資訊 | pandas / R 基礎 → EDA 與缺失值 → 統計(生資路線) → 機器學習 → 深度學習 → 依資料型態選 影像分析 / 網路分析;生物背景、檔案格式與資料庫見 Biology(生資速查) |
| 機器學習 | NumPy / pandas → EDA → 統計(ML 路線) → 機器學習 → 深度學習 → LLM 應用 → Responsible AI |
| 工程與 BI(選讀) | 資料庫 → 資料工程 → 資料溝通;資料要自己抓時插入 網頁爬蟲 |
mermaid
flowchart LR
A[Python / R 基礎] --> B[資料整理與 EDA]
B --> C[統計]
B --> D[資料溝通]
C --> E[機器學習]
E --> F[深度學習]
E --> G[LLM 應用]
E --> H[Responsible AI]
C --> I[網路分析 / 應用領域]
B --> J[影像分析]
K[資料庫 / 爬蟲] --> B
K --> L[資料工程]
L --> E一套一致的分析節奏
| 步驟 | 要做的事 | 對應章節 |
|---|---|---|
| 1. 資料盤點 | 欄位型別、缺失值、重複值、異常值、時間範圍 | EDA |
| 2. 看分布與關係 | 視覺化、描述統計、收集偏差 | 視覺化、敘述統計 |
| 3. 選方法 | 檢定、迴歸、分類、分群、時間序列 | 統計方法速查、模型選擇 |
| 4. 回到決策 | 結果穩定嗎?可解釋、可重現、可部署嗎? | 結果溝通、部署 |
很多錯誤不是模型不夠複雜,而是前面的資料理解不夠。模型章節卡住時,先回頭補 EDA、視覺化與統計。