Skip to content

Computing › 工作流引擎

工作流引擎 (Workflow Engines) ​

多步驟分析(QC → 修剪 → 比對 → 定量 → 報告)用腳本串起來,很快會遇到:哪些步驟已經跑過?失敗後從哪裡重跑?怎麼平行處理 100 個樣本?怎麼換到 HPC 或雲端?工作流引擎把步驟與依賴建成 DAG(有向無環圖),自動處理平行、重跑、軟體環境與執行位置。

比較 ​

MakeSnakemakeNextflowAirflow
定位建置工具檔案導向的分析流程檔案導向的分析流程定時的資料編排
語言MakefilePython + 規則Groovy DSLPython
單位目標檔案規則(輸入 → 輸出檔案)process + channeltask(任何動作)
觸發手動手動手動 / Seqera Platform排程、事件
平行make -j自動自動自動
重跑依檔案時間戳記依檔案與程式碼變更-resume 任務快取重試、補跑日期區間
HPC / 雲端—Slurm、雲端 executor pluginSlurm、AWS / Google / Azure Batch、K8sKubernetes、Celery
容器 / conda—每條規則每個 process每個 task(K8s / Docker operator)
社群 pipeline—Snakemake Workflow Catalognf-coreproviders(整合各系統)
典型用途小專案、報告建置學術生資分析標準化生資 pipeline、臨床與大型專案ETL / ELT、資料倉儲、跨系統協調
text
樣本級的生資分析(FASTQ → BAM → VCF / counts)?
├─ 有現成 nf-core pipeline → Nextflow(nf-core)
├─ 自己寫、偏好 Python      → Snakemake
└─ 自己寫、要跨 HPC / 雲端標準化部署 → Nextflow
定時從資料庫 / API 擷取、轉換、寫入倉儲? → Airflow(或 Dagster、Prefect)
幾個指令的小流程? → shell 腳本或 Makefile

生資引擎與資料工程編排器的分工:前者處理「一批樣本檔案經過一串工具」,後者處理「每天定時協調多個系統」。兩者可以合用:Airflow 每天觸發一次 Nextflow pipeline。資料工程的觀點見 處理與 Pipeline。

筆記 ​

筆記內容回答的問題
Slurmsbatch 腳本、squeue / sacct / seff、array job、依賴、srun 互動式HPC 上怎麼申請資源、送工作?
Nextflowprocess / channel、範例、成對 FASTQ、容器Nextflow pipeline 怎麼寫?
執行 Nextflow pipeline參數、-resume、nf-core、nextflow.config、profile、除錯怎麼跑 nf-core、怎麼換到 HPC?
Snakemake規則、萬用字元、expand、乾跑、conda / 容器、Slurm executor用 Python 風格寫分析流程?
AirflowDAG、TaskFlow、排程與邏輯日期、感測器、模板、除錯(Airflow 3)定時的資料 pipeline 怎麼編排?
相關筆記
這些引擎編排的生資分析分析流程
軟體環境容器與環境
雲端執行Cloud
圖與拓撲排序的原理圖走訪