Skip to content

Data Science › Data Engineering › 處理與 Pipeline

處理與 Pipeline (Processing and Pipelines) ​

Pipeline 把資料從一個系統穩定搬到另一個系統,並在途中完成清理、轉換與交付。它和一次性分析腳本的差別不在程式多複雜,而在於:明天能不能自動再跑一次、來源改了格式會不會被發現、下游是否每次都拿到一致的結果。

一次性分析問Pipeline 問
這次能不能算出答案?明天還能不能穩定重跑?
結果對不對?來源延遲或改格式時怎麼辦?重跑會不會重複寫入?
—下游是不是每次都拿到同樣結構的資料?

ETL 與 ELT ​

ETL(Extract → Transform → Load)是最常見的資料移動框架;pipeline 是更廣的概念,涵蓋資料如何在多個系統之間移動與協調。

模式流程常見場景優點限制
ETL擷取 → 轉換 → 載入在外部程式先整理,再載入目標;來源含非表格資料目標端儲存少;可在載入前去除個資轉換規則改了要重新擷取;需要另外的運算環境
ELT擷取 → 載入 → 轉換先載入 warehouse / lakehouse,再用平台算力轉換原始資料在平台內,可隨時重跑轉換;適合雲端擴充原始資料佔空間;個資控管要在平台內做好
階段內容檢查點
Extract從資料庫、檔案、API、網頁取出資料列數、檔案 checksum、來源時間範圍
Transform清理錯誤值、合併來源、計算指標、展平 JSON、建特徵表schema、型別、缺值比例、key 唯一性
Load寫入分析表、dashboard 後端、feature table寫入列數、寫入策略(append / replace / upsert)、主鍵與時間欄

轉換結果寫到另一層,不要覆寫原始資料;規則改了才能從原始資料重跑。

Batch vs Stream ​

BatchEvent-triggeredStream
觸發固定時間或累積一定量某事件發生(新檔案到達)持續處理沒有終點的事件流
每次執行有明確起訖,稱為一個 job一次性 job長時間運作的服務
延遲分鐘到天秒到分鐘毫秒到秒
例子每日報表、夜間彙總、定序資料批次處理定序 run 完成後自動啟動 demultiplexing即時監控、感測器、clickstream
複雜度低中高

event-triggered 不等於 streaming:很多系統只是事件觸發的 batch。只有延遲真的重要時才值得做 streaming,見 串流處理。

排程與編排 (Scheduling vs Orchestration) ​

SchedulingOrchestration
關心什麼時候觸發多個任務的順序、依賴、重試、失敗處理
比喻發車時間表整個運輸系統的調度
工具cron、雲端排程器Airflow、Dagster、Prefect;生資常用 Nextflow、Snakemake

編排工具的核心概念是 task(執行單位)、dependency(先後順序)與 DAG(有向無環圖)。價值在於協調多個 job、自動重試、記錄每次執行,以及在失敗時知道從哪一步重跑。Airflow 見 Airflow,Nextflow 見 Nextflow。

工具類型適合
Airflow / Dagster / Prefect定時的資料擷取與轉換、跨系統的 ETL
Nextflow / Snakemake以檔案為單位的生資分析流程、HPC(Slurm)/ 雲端批次、容器化工具
dbtwarehouse 內的 SQL 轉換,見 dbt

冪等與重跑 (Idempotency) ​

冪等的 pipeline 對同一輸入重跑多次,結果和跑一次相同。這是能安全重試與補跑 (backfill) 的前提。

寫法冪等?說明
每次 append 整批結果否重跑一次資料就重複
先刪除該分區再寫入(DELETE WHERE date = :d + INSERT,或覆寫該日期分區)是最常見的批次寫法
MERGE / upsert 依主鍵更新是適合增量更新
輸出檔名含執行時間戳否重跑產生多份,下游不知道讀哪份
python
# 以「處理日期」為參數、覆寫該日期分區:重跑或補跑任何一天都安全
def run(day: str):
    raw = extract(day)                       # 只取該日資料
    out = transform(raw)
    assert out["sample_id"].is_unique
    out.to_parquet(f"curated/date={day}/part.parquet")   # 同一路徑覆寫

常見轉換操作 ​

操作pandasPySparkSQL
刪除空白 / 全缺值列dropna(how="all")df.na.drop(how="all")WHERE ... IS NOT NULL
去重drop_duplicates()dropDuplicates()DISTINCT、ROW_NUMBER()
取代錯誤值replace()replace()、when().otherwise()CASE WHEN
修正型別astype()、pd.to_datetime()cast()CAST()
篩選query()、布林索引filter() / where()WHERE
聚合groupby().agg()groupBy().agg()GROUP BY
合併merge()join()JOIN

型別整理要在早期做:型別不對,後面的 join、篩選、聚合都可能出現難追的錯誤(例如 "001" 與 1 對不上)。join 後一定檢查列數、未配對的 key 與重複放大。

平台常同時提供三種轉換介面:低程式碼(Dataflows / Power Query)、SQL、Spark notebook。選哪個看資料量、團隊技能、是否需要版本控制與重用,而不是個人偏好;三者可以在同一條流程的不同層並存。

Spark 上的 pipeline ​

  1. 用明確的 schema 讀入 CSV / JSON / 資料庫
  2. 用 filter()、withColumn()、drop() 清理與轉換
  3. 中途檢查 schema、列數與關鍵規則
  4. 必要時把中間結果寫成 Parquet
  5. 輸出到檔案、資料庫或下游分析
髒資料Spark 讀 CSV 的處理
註解列comment="#"
首列是欄名header=True;已給 schema 時不要再依賴推斷
欄內又有分隔資料先讀成單欄,再用 split() 二次解析
欄位數不一致mode="DROPMALFORMED" 或 PERMISSIVE + columnNameOfCorruptRecord 收集壞列

API 細節見 Spark 與 PySpark。

測試 Pipeline ​

層級檢查什麼工具
單元測試把 extract / transform / load 拆成函式,驗證型別、欄位、轉換規則pytest,見 測試
檢查點驗證擷取後列數合理、轉換後 schema 正確、載入前後一致assert、pandera / Great Expectations
端對端測試整條流程從來源跑到目的地,重複執行結果穩定,下游取得到測試環境 + 小型固定資料集

測試環境與正式環境要分開,否則驗證本身就可能污染正式資料;人工 spot check 也優先在測試資料或 staging 進行。

轉換前後做 profiling ​

轉換不是「成功執行」就好,要確認資料真的變得更可用:

訊號異常例子
列數join 後暴增(key 不唯一)或驟減(key 格式不一致)
缺值比例某欄突然全是缺值(上游改了欄名)
distinct 數類別數變多(大小寫、空白不一致)
分布數值量級改變(單位換了)
型別數字欄變成字串(混入 "N/A")

平行與雲端處理 ​

好處代價
平行處理吞吐量高、處理快協調成本、失敗模式複雜、不是每個任務都能拆
雲端處理依需求租用與擴充、不必維護硬體長期成本、vendor lock-in、資料搬移費用(egress)

資料大到記憶體放不下時,先想怎麼切分與合併部分結果,而不是先想語法,見 超出記憶體的處理。