Skip to content

Computing › 開發者工具 › 壓縮與封存

壓縮與封存 (Compression and Archiving) ​

封存 (archive) 把多個檔案打包成一個(tar),壓縮 (compression) 縮小檔案(gzip、zstd、xz);.tar.gz 是兩者合用。生資資料幾乎都以壓縮形式存放,而且有些工具要求特定格式(bgzip 才能建索引)。

格式選擇 ​

格式指令速度 / 壓縮率用途
.gzgzip / pigz(多執行緒)中 / 中最通用;FASTQ、TSV
.bgz / .gz(BGZF)bgzip(htslib)中 / 中VCF、BED、GFF 要用 tabix 建索引時必須用 bgzip;與 gzip 相容可直接 zcat
.zstzstd快 / 高新專案的中間檔、備份
.xzxz慢 / 最高長期封存、發佈
.bz2bzip2慢 / 高舊資料
.zipzip / unzip中 / 中與 Windows 交換
.7z7z慢 / 高分割成多個檔案、跨平台
.tartar不壓縮只打包

BAM、CRAM 已內建壓縮,再 gzip 幾乎沒有效果。

tar ​

bash
tar -czvf project.tar.gz project/              # c 建立、z gzip、v 顯示、f 指定檔名
tar -xzvf project.tar.gz -C /path/to/dest      # x 解開到指定目錄
tar -tzvf project.tar.gz | head                # t 只列出內容,不解開
tar -xzvf archive.tar.gz --wildcards '*data/*.csv'   # 只解開符合的檔案
tar -cvf - project/ | zstd -T8 > project.tar.zst     # 搭配其他壓縮器(多執行緒 zstd)
tar --zstd -xvf project.tar.zst                      # GNU tar 1.31+ 直接支援 zstd
選項意義
-c / -x / -t建立 / 解開 / 列出
-z / -j / -Jgzip / bzip2 / xz
-v顯示處理中的檔名
-f指定封存檔名(放在最後,後面緊接檔名)
-C解開到指定目錄
--exclude='*.tmp'排除

解開前先用 -t 看內容:有些封存檔沒有最上層目錄,直接解開會把一堆檔案灑在目前目錄。

gzip / bgzip ​

bash
gzip file.txt                      # → file.txt.gz(原檔被取代)
gzip -k file.txt                   # -k:保留原檔
gunzip file.txt.gz                 # 解壓
zcat file.txt.gz | head            # 不解壓直接看
pigz -p 8 big.fastq                # 多執行緒 gzip

bgzip -@ 4 calls.vcf               # → calls.vcf.gz(BGZF 區塊壓縮)
tabix -p vcf calls.vcf.gz          # 建索引 → 可依區域快速查詢
gzip -t file.gz && echo OK         # 檢查壓縮檔是否完整(下載中斷常造成損壞)

一般 gzip 壓縮的 VCF 用 tabix 建索引會失敗;用 zcat x.vcf.gz | bgzip > x.bgz.vcf.gz 重壓。見 tabix。

7z:分割大檔 ​

bash
sudo apt install p7zip-full           # 安裝(提供 7z 指令)
7z a -v100m archive.7z big_folder/    # 壓縮並分割成每份 100 MB:archive.7z.001, .002, ...
7z x archive.7z.001                   # 從第一份解開,自動合併所有分割檔
7z l archive.7z                       # 列出內容

適合上傳有單檔大小限制的平台、或用 email / 隨身碟分批傳送。Windows 上 7-Zip 圖形介面可直接開啟 .7z、.tar.gz、.zip。

實務守則 ​

守則原因
壓縮後、傳輸後核對 檢查碼確認沒有損壞
需要索引的檔案用 bgziptabix、bcftools、IGV 需要
大量小檔先 tar 再傳傳輸與檔案系統對大量小檔很慢(HPC 檔案數配額)
解開前先列出內容、指定目的地避免覆蓋或灑滿目前目錄