Skip to content

Data Science › Data Engineering › 儲存與資料模型

儲存與資料模型 (Storage and Data Models) ​

儲存選型要看資料的結構化程度與下游怎麼用:原始檔先安全落地、整理好的表給分析查詢、大型陣列用適合切片的格式。本篇整理資料形狀、各種儲存系統與常見檔案格式。

三種資料形狀 ​

形狀特徵常見格式 / 系統生資例子
結構化 (structured)固定欄位與型別,可用 rows × columns 表示關聯式資料庫、CSV、Parquet樣本 metadata、計數矩陣、臨床檢驗值
半結構化 (semi-structured)有結構但每筆欄位可不同、可巢狀JSON、XML、YAMLAPI 回應(NCBI E-utilities、Ensembl REST)、FHIR 病歷
非結構化 (unstructured)不適合直接放進表格文字、影像、音訊、影片病理切片、顯微影像、自由文字病歷

非結構化資料常靠補 metadata 或用模型抽取資訊(NER、embedding)變成半結構化,才能被索引與查詢。

儲存系統 ​

系統用途特徵適合
資料庫 (database)最廣義:有組織、可存取的資料集合交易、索引、權限、一致性應用程式、多人寫入(OLTP)
資料倉儲 (data warehouse)分析與報表結構化、整合過、欄式、查詢快;更新成本較高固定的分析問題、BI
資料湖 (data lake)保留大量原始、多樣資料便宜、彈性高;直接分析較難raw landing、日後重新處理
Lakehouse在 data lake 上加 table 語意與治理開放檔案格式 + 交易 + SQL同一份資料同時給工程、分析、ML
物件 / blob 儲存大型物件與檔案幾乎無上限、單價低;S3、GCS、Azure Blob定序原始檔、影像、備份、lake 的底層

data warehouse 是一種 database,但 database 不一定是 warehouse;data lake 也不是便宜版的 warehouse,兩者解決不同問題。

面向Data LakeData Warehouse
資料內容原始資料為主特定用途、整理過的資料
結構各種結構主要是結構化
Schemaschema-on-read(讀時才解釋)schema-on-write(寫入時就檢查)
分析便利性較低較高
成本儲存便宜、彈性高更新與維護較貴

Lakehouse 的 table 層:Delta Lake 等 ​

只把 Parquet 檔丟進物件儲存,缺少「表」該有的能力:同時寫入不會互相覆蓋、能回看舊版本、能安全地更新與刪除。table format 在 Parquet 之上加一層 transaction log 補上這些能力。

Table format主要生態特徵
Delta LakeDatabricks、SparkACID、time travel、MERGE;見 Databricks
Apache IcebergSnowflake、AWS、Trino 等多引擎隱藏分區、schema 演進、跨引擎互通
Apache HudiSpark、Flink偏增量更新與 upsert

整合式平台(如 Microsoft Fabric 的 OneLake)會把 lakehouse、warehouse、pipeline 圍繞同一個儲存層;要注意的是權限與路徑設計會直接影響多個工具,統一儲存層不會自動解決治理問題。

Shortcut / 外部連結 ​

有些平台用 shortcut(或 external table、external location)把資料以邏輯連結掛進來,不必再複製一份。

好處要注意
減少重複搬運,保留原始位置shortcut 與目標兩端的權限要分開檢查
不同工作區可統一存取刪除 shortcut 不等於刪除目標資料

檔案格式 ​

格式類型優點缺點何時用
CSV / TSV列式文字人可讀、到處都能開無型別、大、解析慢、Excel 會改基因名小表交換
Parquet欄式、壓縮、有 schema只讀需要的欄、型別保留、Spark / DuckDB / pandas 原生支援不適合頻繁單筆更新大表分析的預設選擇
Arrow / Feather記憶體欄式格式跨語言零複製、讀寫極快不適合長期封存Python ↔ R 交換中間結果
HDF5 / AnnData (.h5ad)階層式陣列容器大型矩陣切片、單細胞標準格式並行寫入困難表現量矩陣 + metadata
Zarr分塊陣列,適合物件儲存雲端平行讀取、分塊壓縮生態較新雲端上的大型陣列、影像
VCF / BCF基因型文字 / 二進位領域標準、可用 tabix 索引寬、查詢慢變異交換;大量分析轉 Parquet / Hail MatrixTable
BAM / CRAM比對結果二進位可索引隨機存取;CRAM 以參考序列壓縮需要對應的參考基因體版本定序比對結果

Parquet 與 HDF5 的 pandas 讀寫見 記憶體與儲存格式;用 SQL 直接查 Parquet 見 DuckDB 與 Parquet。

SQL vs NoSQL vs 檔案儲存 ​

選項適合不適合
SQL 資料庫交易、複雜查詢、強調一致性與完整性巨量非結構化檔案
NoSQL高吞吐、彈性 schema(document、key-value、graph、time-series)需要多表 join 與嚴格一致性
檔案儲存原始資料落地、大檔保存需要索引、權限細分、併發更新

NoSQL 不是「SQL 的升級版」,而是資料模型或延遲需求不適合關聯式設計時的替代方案,見 NoSQL 基礎。SQL 在資料工程中多用於建立與維護 table / schema,在分析中多用於查詢與聚合。

Catalog:讓資料找得到、看得懂 ​

資料一多,就需要 data catalog 回答:這份資料從哪來?誰在用?欄位代表什麼?多久更新一次、品質如何?沒有 catalog,資料會很快變成只有少數人看得懂的黑盒子,詳見 資料治理。

常見陷阱 ​

陷阱後果做法
直接覆寫原始檔轉換有錯時無法重跑raw 區唯讀,轉換結果寫到另一層
大表存 CSV每次讀取都重新解析、型別飄移落地後轉 Parquet,保留 schema
檔案沒有記錄參考基因體版本GRCh37 / GRCh38 座標混用版本寫進檔名或 metadata
小檔案過多(數萬個 KB 級 Parquet)讀取 overhead 大於計算合併成 100 MB–1 GB 級檔案(Delta OPTIMIZE)