Skip to content

Data Science › Data Engineering › 資料工程基礎

資料工程基礎 (Data Engineering Foundations) ​

資料工程建立並維護讓資料穩定流動的基礎設施:從來源系統擷取、儲存、轉換,最後交付給報表、分析或模型。本篇講平台與流程的整體視角;以使用者–項目互動為主的推薦系統基礎見 推薦系統基礎。

角色分工 ​

面向Data EngineerData Scientist / 生資分析者
主要目標資料能穩定、正確、準時地流到下游用資料回答問題、建模型
常見工作擷取與儲存、建資料庫、寫 pipeline、監控查資料、使用 pipeline 產出、分析與建模
核心能力軟體工程、資料系統、可靠性統計、建模、實驗設計、領域知識
關心的問題明天還能不能自動跑?來源改格式會怎樣?這份資料能不能回答問題?

在小型研究團隊裡,兩個角色常是同一個人:同一位生資分析者既要寫 Nextflow / Snakemake 把 FASTQ 變成計數表,也要做下游統計。這時資料工程的觀念(原始資料不可變、流程可重跑、每步有檢查)一樣適用。

大資料 (Big Data) ​

big data 不是「資料很多」而已,而是規模、速度或型態超過單機工具與人工流程能輕鬆處理的程度。

面向意義生資例子
Volume資料量大全基因體定序 cohort、數百萬細胞的 scRNA-seq
Velocity資料到來速度快定序儀持續產出、醫院 EHR 即時更新
Variety來源與格式多FASTQ、BAM、VCF、影像、臨床表單、文字病歷

規模上去後,需要的不只是更大的機器,而是自動化搬運與更新、可擴充的儲存與運算、可控的延遲與成本,以及讓多個下游共用一致的資料版本。

現代 vs 傳統架構 ​

面向現代資料架構傳統資料架構
資料規模與型態大量、多種格式較小、以結構化為主
處理方式batch 與 near real-time 並存以 batch 為主
擴充方式雲端彈性擴充、storage 與 compute 分離固定硬體
使用方式self-service analytics依賴中央 IT

資料生命週期 ​

text
資料來源 → 擷取 → 儲存 → 處理 / 轉換 → 交付 (serving)
(sources)  (ingestion) (storage) (processing)  報表、分析、模型、應用程式
階段重點詳見
擷取來源型態、型別判斷、增量更新資料擷取
儲存lake / warehouse / lakehouse、檔案格式儲存與資料模型
處理ETL / ELT、batch / stream、排程處理與 Pipeline
交付下游怎麼取用:SQL 表、API、dashboard、feature table維度模型
貫穿全程品質、治理、版本資料品質、治理

什麼時候該把手動流程升級成 pipeline ​

訊號意義
同一份資料整理每週重做一次手動步驟容易漏、難以重現
結果要每日更新、餵給 dashboard 或模型已經是產品,不是一次性分析
別人問「這張表怎麼來的」答不出來缺少 lineage 與文件
上游一改格式下游就默默算錯缺少 schema 與品質檢查

好的資料工程成果通常不顯眼,但它決定下游分析的速度與可信度。