Skip to content

Data Science › Data Engineering › 資料擷取

資料擷取 (Ingestion) ​

擷取是把資料從來源系統帶進資料平台的第一步。重點不是「讀得進來」,而是先判斷來源型態、型別與更新方式,並保留原始檔以便日後重跑。Python / R 的讀檔語法細節見 匯入資料(Python) 與 匯入資料(R)。

擷取前先回答 ​

問題影響
來源是檔案、資料庫、API,還是事件流?連線方式、認證、速率限制
結構化、半結構化還是非結構化?要不要先展平、補 metadata
一次性匯入還是持續更新?全量 vs 增量、排程
下游是分析、報表、模型,還是只先落地保存?要做多少轉換
日期、ID、缺值怎麼表示?讀取時就指定,不要盲信自動推斷

來源型態 ​

來源特徵讀取時要確認
CSV / TSV簡單、易交換;schema 約束弱,欄位品質容易漂移分隔符號、skiprows(檔頭說明列)、usecols / nrows 先縮小範圍、dtype、缺值字串
Excel多工作表、公式、合併儲存格sheet_name、標題列位置;多個結構相同的 sheet 先補來源欄再合併
純文字非結構化,需要 parsing編碼、斷行、要抽出哪些欄位
JSON半結構化、可巢狀、欄位會隨版本演進外層結構(orient)、巢狀欄位在擷取時展平或先原樣落地
Parquet欄式、有 schema、壓縮只讀需要的欄(columns=)
SQL 資料庫schema 明確、支援型別與多人存取連線 URI、帳密不寫死、在資料庫端先過濾
Web API資料庫之上的一層介面認證、分頁、rate limit、錯誤重試,見 API 與 HTTP
python
import pandas as pd

# CSV:讀取時就指定型別與缺值,避免 "001" 變成 1、"NA" 字串變成缺值
meta = pd.read_csv(
    "samples.tsv", sep="\t",
    dtype={"sample_id": "string", "batch": "category"},
    na_values=["", "NA", "-"],
    parse_dates=["collection_date"],   # 格式不標準時改成讀進來後 pd.to_datetime(format=...)
)

# 巢狀 JSON:展平成表格
import json
records = json.load(open("api_response.json"))["results"]
df = pd.json_normalize(records, sep="_")          # {"a": {"b": 1}} → 欄位 a_b

# 資料庫:在資料庫端先過濾,只拉需要的列
from sqlalchemy import create_engine, text
engine = create_engine("postgresql+psycopg://user@host/db")   # 密碼放環境變數或 .pgpass
with engine.connect() as conn:
    labs = pd.read_sql(text("SELECT * FROM labs WHERE visit_date >= :d"), conn,
                       params={"d": "2025-01-01"})

SQLite 本身就是一個檔案;PostgreSQL 等伺服器型資料庫需要 driver、帳密與網路權限。對擷取來說差別不在 pandas 語法,而在連線與權限設定,見 Python 與 SQLAlchemy。

生資常見的擷取問題 ​

問題症狀做法
Excel 把基因名轉成日期SEPT2 → 2-Sep、MARCH1 → 1-Mar不經 Excel;必須用時先把欄位設為文字;下游以 HGNC 新名稱(SEPTIN2)對照
大型壓縮檔.fastq.gz、.vcf.gz 數十 GB串流讀取,不要解壓到記憶體;VCF 用 bgzip + tabix 索引後依區間讀
檔案傳輸損毀下游解析在中途失敗下載後比對來源提供的 MD5 / SHA256
樣本 ID 不一致metadata 與計數矩陣對不上擷取時就檢查兩邊 ID 集合是否相同,見 資料品質檢查
參考基因體版本不明座標錯位檔名或 metadata 記錄 GRCh37 / GRCh38 與註解版本
bash
# 下載後驗證 checksum(bash;macOS 用 shasum -a 256)
md5sum -c files.md5
sha256sum sample1.fastq.gz

# VCF:壓縮、建索引、只讀某區間
bgzip cohort.vcf && tabix -p vcf cohort.vcf.gz
bcftools view -r chr17:43044295-43125483 cohort.vcf.gz

全量 vs 增量擷取 ​

策略做法適合風險
全量 (full load)每次重抓整份小表、來源沒有更新時間欄成本隨資料量增加
增量 (incremental)只抓 updated_at > 上次水位 的資料大表、持續更新來源刪除的資料抓不到;時鐘或時區不一致會漏資料
CDC (change data capture)讀資料庫的變更日誌需要完整的新增 / 更新 / 刪除需要來源資料庫支援

增量擷取要記錄「水位」(high watermark),並讓重跑同一區間不會重複寫入(冪等),見 處理與 Pipeline。

平台內建的擷取工具 ​

雲端平台常把擷取拆成元件:Microsoft Fabric 的 Data Pipelines(編排、排程)、Dataflows Gen2(Power Query Online 的低程式碼轉換,支援 staging 與 refresh)、Shortcuts(邏輯連結,不複製資料);Databricks 的 Auto Loader 與 Lakeflow Connect;Snowflake 的 stage + COPY INTO。使用時要分清楚哪一層是 raw、哪一層是平台自動管理的暫存、哪一層是給下游的 serving。

落地 (landing) 階段先保留原始資料,未來轉換規則改了才能重跑;擷取最常見的錯誤不是讀不到,而是型別判錯。