Skip to content

Data Science › R Foundations › 匯入資料

匯入資料 (Importing Data) ​

先分辨來源型態,再挑工具:文字檔要處理分隔符與型別,Excel 要處理工作表結構,API 回傳巢狀 JSON,資料庫要管理連線,其他統計軟體的檔案帶有 label 與缺值語意。Python 對應見 匯入資料(Python);正式的資料擷取管線見 Ingestion。

來源首選備選 / 說明
CSV / TSVreadr::read_csv() / read_tsv()data.table::fread()(大檔最快)、base read.csv()
Excelreadxl::read_excel()寫檔:writexl、openxlsx
JSON / APIjsonlite::fromJSON()、httr2
關聯式資料庫DBI + 驅動(RPostgres、RMariaDB、RSQLite、duckdb)dbplyr 把 dplyr 翻成 SQL
Stata / SPSS / SAShaven
Parquet / Arrow / Featherarrow大於記憶體的資料:open_dataset()
R 物件readRDS() / saveRDS()qs 套件更快
生資格式Bioconductor 專用讀取器見 生資檔案格式

分隔文字檔 ​

r
library(readr)

df <- read_csv("samples.csv")                         # 印出推論的欄型別,務必看一眼
df <- read_tsv("counts.tsv.gz")                       # 自動解壓 .gz / .bz2 / .zip
read_delim("states2.txt", delim = "/")

# 明確指定型別:ID 保持字串(避免 "001" → 1)、日期指定格式
df <- read_csv("samples.csv",
  col_types = cols(
    sample_id = col_character(),
    age       = col_integer(),
    date      = col_date("%Y-%m-%d"),
    .default  = col_guess()
  ),
  na = c("", "NA", "N/A", "-"),                       # 哪些字串視為缺值
  skip = 2, comment = "#"                             # 跳過說明列、註解
)
problems(df)                                          # 解析失敗的列與原因

read_csv(c("a.csv", "b.csv"), id = "file")            # 多檔一次讀,記錄來源

# 大檔:data.table::fread 多執行緒,自動偵測分隔符
dt <- data.table::fread("variants.tsv.gz", select = c("chrom", "pos", "qual"))
base read.csv()readr::read_csv()data.table::fread()
速度慢快最快
回傳data.frametibbledata.table
欄名make.names() 改寫(my col → my.col)保留原樣保留原樣
型別推論前幾列前 1000 列,並回報抽樣整檔
逗號作小數點read.csv2()read_csv2() / locale(decimal_mark = ",")dec = ","

base R 的 read.table() 家族(read.csv、read.delim、read.csv2、read.delim2)共用 sep、header、dec、comment.char、fill 等參數;匯入出錯時先判斷是分隔符、表頭還是小數點的問題。

讀遠端檔案:read_csv("https://...") 可直接讀,但正式流程應先下載、記錄版本與 checksum,避免網址失效或內容悄悄改變。

Excel ​

r
library(readxl)

excel_sheets("cities.xlsx")                           # 先列出工作表
read_excel("cities.xlsx", sheet = "year_2000")        # 依名稱或位置
read_excel("cities.xlsx", sheet = 2,
           range = "B3:D50",                          # 只讀一個區塊
           skip = 2, col_names = c("capital", "pop"),
           col_types = c("text", "numeric"),          # "skip" 可略過欄
           na = c("", "NA"))

# 所有工作表讀成 list
path <- "cities.xlsx"
sheets <- purrr::map(setNames(excel_sheets(path), excel_sheets(path)),
                     \(s) read_excel(path, sheet = s))

writexl::write_xlsx(list(summary = res, raw = df), "report.xlsx")   # 寫多個工作表

需要格式、公式、修改既有活頁簿時用 openxlsx;舊筆記常見的 XLConnect 依賴 Java(rJava),安裝麻煩,已少用。Excel 會把基因名轉成日期,見 日期與時間。

JSON ​

r
library(jsonlite)

fromJSON('[4, 7, 4, 6]')                       # integer vector
fromJSON('[4, "a", false, null]')              # 混合型別 → 強制轉成 character vector
fromJSON('{"id":1,"name":"Frank"}')            # named list
fromJSON('[{"id":1,"x":2},{"id":2,"x":5}]')    # data.frame(物件陣列自動簡化)
fromJSON("data.json", simplifyVector = FALSE)  # 保留原始巢狀 list

toJSON(list(id = 1, name = "Frank"), auto_unbox = TRUE)   # {"id":1,"name":"Frank"}

巢狀結構讀進來常變成 list-column,用 tidyr::unnest_wider() / unnest_longer() 展開,見 tidyr 資料重塑。

HTTP 與 API ​

httr2 是 httr 的後繼版本,以 pipe 組裝 request。

r
library(httr2)

resp <- request("https://rest.ensembl.org") |>
  req_url_path_append("lookup/symbol/homo_sapiens/BRCA2") |>
  req_url_query(expand = 1) |>
  req_headers(Accept = "application/json") |>
  req_retry(max_tries = 3) |>                  # 失敗自動重試(含 429 / 503)
  req_throttle(rate = 10 / 1) |>               # 每秒最多 10 次,遵守 API 限制
  req_perform()

resp_status(resp)                              # 200
gene <- resp_body_json(resp)                   # 解析成 list
gene$id                                        # "ENSG00000139618"

# 認證:token 放環境變數,不要寫進程式
request(url) |> req_auth_bearer_token(Sys.getenv("API_TOKEN"))
步驟注意
找 endpoint 與參數讀 API 文件;先用瀏覽器或 curl 試
限速與重試NCBI E-utilities 無 API key 時每秒 3 次
分頁迴圈抓到沒有下一頁為止;req_perform_iterative()
解析JSON → list → tibble;檢查欄位缺失
快取結果存檔,避免重複請求

常用生資 API 多半已有 R 包裝(biomaRt、rentrez、KEGGREST),先找套件再自己寫 request。HTTP 觀念見 API 與 HTTP(Python)。

資料庫:DBI ​

r
library(DBI)

con <- dbConnect(RPostgres::Postgres(),
                 dbname = "lab", host = "localhost",
                 user = Sys.getenv("DB_USER"),
                 password = Sys.getenv("DB_PASS"))     # 帳密不寫死;或用 keyring 套件
on.exit(dbDisconnect(con), add = TRUE)                 # 在函式內:離開時一定關連線

dbListTables(con)
dbReadTable(con, "samples")                            # 整張表(小表才用)
dbGetQuery(con, "SELECT sample_id, tissue FROM samples WHERE age > 60")   # 篩選推到資料庫端

# 參數化查詢:避免 SQL injection 與引號問題
dbGetQuery(con, "SELECT * FROM samples WHERE tissue = $1", params = list("liver"))

# 大結果分批讀
res <- dbSendQuery(con, "SELECT * FROM variants")
while (!dbHasCompleted(res)) chunk <- dbFetch(res, n = 1e5)   # 每次 10 萬列
dbClearResult(res)

dbWriteTable(con, "results", results_df, overwrite = TRUE)

# dbplyr:寫 dplyr,在資料庫執行
tbl(con, "samples") |> filter(age > 60) |> count(tissue) |> show_query()
tbl(con, "samples") |> filter(age > 60) |> collect()   # collect() 才把資料拉回 R

本地分析大檔不需要資料庫伺服器:duckdb 可以直接用 SQL 查 CSV / Parquet(完整用法見 DuckDB 與 Parquet)。

r
con <- dbConnect(duckdb::duckdb())
dbGetQuery(con, "SELECT chrom, count(*) FROM 'variants.parquet' GROUP BY chrom")

SQL 本身見 Databases。

Stata / SPSS / SAS:haven ​

r
library(haven)

d <- read_dta("ontime.dta")            # Stata
d <- read_sav("survey.sav")            # SPSS;read_por() 讀 portable 檔
d <- read_sas("trial.sas7bdat")        # SAS

# 帶 value label 的欄位是 haven_labelled 型別
d$sex                                  # 1 [Male], 2 [Female]
d <- as_factor(d)                      # 依 label 轉成 factor(整個 data frame)
zap_labels(d$sex)                      # 只留數值
d <- zap_missing(d)                    # SPSS 使用者定義缺值(-9、999)轉 NA

SPSS / Stata 常用 -9、999 表示缺值。沒處理就計算平均會嚴重失真;匯入後先 summary() 看極端值。

Parquet 與大於記憶體的資料 ​

r
library(arrow)

write_parquet(df, "samples.parquet")           # 欄式、壓縮、保留型別
df <- read_parquet("samples.parquet", col_select = c(sample_id, tissue))

# 多檔資料集:延遲計算,只讀需要的欄與列
ds <- open_dataset("variants/", format = "parquet")   # 可依 chrom= 分割資料夾
ds |> filter(chrom == "chr17", qual > 30) |> select(pos, ref, alt) |> collect()
格式跨語言保留型別適用
CSV是否交換、人工檢查
.rds否(只有 R)是,含任何 R 物件存中間結果、模型
Parquet是(Python / Spark / DuckDB)是大型表格、跨語言共用

生資檔案格式 ​

格式R 讀取回傳
BED / GTF / GFFrtracklayer::import()GRanges
VCFVariantAnnotation::readVcf();表格化用 vcfRVCF 物件
BAMRsamtools、GenomicAlignments::readGAlignments()比對結果
FASTA / FASTQBiostrings::readDNAStringSet()、ShortRead序列集合
salmon / kallisto 定量tximport、tximeta基因層級 counts
10x(matrix.mtx、.h5)Seurat::Read10X()、DropletUtils::read10xCounts()稀疏矩陣 / SingleCellExperiment
AnnData .h5adzellkonverter::readH5AD()SingleCellExperiment
HDF5rhdf5、HDF5Array陣列(可不載入記憶體)

這些套件多數來自 Bioconductor,安裝用 BiocManager::install();見 Bioconductor 入門。

匯入後的檢查 ​

r
dim(df); glimpse(df)                           # 列數、欄數、型別
problems(df)                                   # readr 解析問題
colSums(is.na(df))                             # 每欄缺值
summary(df)                                    # 極端值、編碼成數字的缺值
anyDuplicated(df$sample_id)                    # ID 唯一?
症狀可能原因
數值欄變 character混入 "<0.01"、"N/A"、千分位逗號
ID 前導 0 消失被推論成數值;指定 col_character()
列數比預期少引號未閉合、comment 字元出現在資料中
中文亂碼編碼不是 UTF-8:locale(encoding = "Big5")
欄名有空白、特殊字元janitor::clean_names()