Skip to content

Notably › Computing

運算與工程 (Computing) ​

讓分析跑得起來、跑得動、跑得出同樣結果的工程基礎:電腦科學概念、命令列、開發工具、版本控制、環境與容器、HPC 與工作流引擎、雲端、DevOps、Web 開發。分析方法本身在 Data Science,生物背景與資料在 Biology。

生資分析的工程問題通常不是演算法,而是:軟體裝不起來、換台機器結果不同、在登入節點跑到被砍、中斷後不知道從哪裡重跑、資料傳輸損壞。本領域的筆記大多在回答這些問題。

章節地圖 ​

基礎 ​

章節核心內容回答的問題
CS 基礎電腦架構、Big-O、線性 / 非線性資料結構、搜尋、排序、圖走訪、可計算性、範式為什麼這段程式慢?該用 list 還是 set?
程式語言語言比較、Java(8 篇)、Scala、JuliaPython / R 以外的語言何時會用到?
作業系統與命令列WSL、Linux 指令、regex、命令列資料處理、shell 腳本怎麼在 Linux 上找檔案、處理表格、寫腳本?

日常工具 ​

章節核心內容回答的問題
開發者工具SSH、tmux / screen、rsync、檢查碼、壓縮、編輯器怎麼連伺服器、傳資料、保持工作不中斷?
版本控制Git、GitHub 協作怎麼記錄、還原、合併程式碼?
Web 開發Web 基礎、FastAPI、React怎麼把模型包成 API、做查詢介面?

環境、規模化與部署 ​

章節核心內容回答的問題
容器與環境conda / mamba、Docker、Apptainer、Kubernetes、VM環境怎麼固定、在別台電腦重現?
工作流引擎Slurm、Nextflow、Snakemake、Airflow多步驟、多樣本的分析怎麼平行、重跑、上 HPC?
雲端雲端概念、AWS / Azure / GCP 服務對照、安全與成本、Boto3什麼時候上雲?用哪個服務?成本怎麼控?
DevOpsCI/CD、IaC、DORA、GitHub Actions怎麼讓每次變更自動測試、可靠部署?

建議路線 ​

讀者路線
生資分析WSL(Windows 使用者)→ Linux 基礎 → 命令列資料處理 → SSH → tmux → rsync / 檢查碼 → Conda → Slurm → Nextflow 或 Snakemake → Apptainer → Git
資料工程Linux 基礎 → Shell 腳本 → Git → Docker → Airflow → 雲端 → GitHub Actions;搭配 資料工程
一般開發者CS 基礎 → Git → 編輯器 → Web 基礎 → FastAPI / React → Docker → DevOps

一個分析專案的工程骨架 ​

text
本機(VS Code + WSL)──Git──► GitHub(PR、Actions 自動測試)
   │ SSH / rsync
   ▼
HPC 登入節點(tmux)── Nextflow / Snakemake ──► Slurm ──► 計算節點(Apptainer 容器)
   │                                                         │
   └──────────── 環境:conda environment.yml / 容器映像檔 tag ─┘
結果 ──md5sum 驗證──► 長期保存(物件儲存 / 封存);Git tag + 環境檔 = 可重現