Skip to content

Python Foundations › 效能與擴展 › Polars

Polars ​

Polars 是用 Rust 寫的 DataFrame 引擎:多執行緒、欄式儲存(Apache Arrow),以表達式 (expression) 描述整個查詢,並能在 lazy 模式下先最佳化再執行。資料在數 GB、pandas 開始變慢或吃光記憶體時,常是比上 Spark 更簡單的選擇。

pandasPolars
思考方式一步步修改 DataFrame描述整個查詢,交給引擎執行
執行eager、多數操作單執行緒eager 或 lazy、自動多執行緒
index有(常是混淆來源)沒有,一律用欄位
缺值NaN / None / pd.NA 混用統一 null(NaN 是浮點值,不是缺值)
比記憶體大的資料要自己分塊lazy + streaming 引擎
生態系sklearn、statsmodels、seaborn 直接吃需要時 .to_pandas() / .to_numpy() 轉換

讀取:eager vs lazy ​

python
import polars as pl

df = pl.read_csv("rentals.csv")                # eager:立刻讀成 DataFrame(探索、除錯)
lf = pl.scan_csv("rentals.csv")                # lazy:只建立查詢計畫(LazyFrame)
lf = pl.scan_parquet("variants/*.parquet")     # 多檔、Parquet 也一樣
lf.collect()                                   # 執行並回傳 DataFrame
用 eager用 lazy
探索資料、一步步看中間結果已知完整流程、串接很多步驟
除錯某段轉換資料大、在乎速度與記憶體
只需要部分欄位 / 列(引擎會只讀需要的部分)

表達式 (Expressions) ​

pl.col("x") 本身不是資料,而是「對欄位 x 的運算描述」,放進 select、with_columns、filter、agg 等 context 才會執行。

Context作用pandas 對應
select(...)只保留指定的輸出欄df[["a", "b"]] + 新欄
with_columns(...)保留原欄位,新增或覆寫欄df.assign(...)
filter(...)篩選列df[mask] / df.query()
group_by(...).agg(...)分組彙總df.groupby().agg()
sort(...)排序sort_values()
join(...)合併merge()
python
df = pl.DataFrame({
    "name": ["a", "bb", "ccc", "d"],
    "type": ["Villa", "Flat", "Villa", "Villa"],
    "price": [300, 120, 800, 450],
    "beds": [3, 1, 4, 0],
    "beach": [True, False, True, False],
})

df.select("name", "price")
df.select((pl.col("price") / pl.col("beds")).alias("price_per_bed"))   # alias 命名輸出欄

df.with_columns(
    (pl.col("price") * 0.9).alias("discount_price"),
    pl.when(pl.col("beds") > 0)                                        # 條件運算:取代 np.where
      .then(pl.col("price") / pl.col("beds"))
      .otherwise(None)
      .alias("ppb"),                                                   # [100.0, 120.0, 200.0, null]
)

df.filter((pl.col("price") < 500) & pl.col("beach"))                  # 多條件用 & | ~,每個條件加括號

df.group_by("type").agg(
    pl.len().alias("n"),
    pl.col("price").mean().alias("mean_price"),
)                                                                      # Flat: 1, 120.0;Villa: 3, 516.7

df.with_columns(pl.col("price").rank().over("type").alias("rank_in_type"))   # 視窗函數:類似 groupby().transform

df.with_columns(pl.col(pl.String).str.len_chars().name.suffix("_len"))      # 依 dtype 一次選多欄
df.join(hosts, on="host_id", how="left")

字串用 .str、日期用 .dt、list 欄用 .list 命名空間,和 pandas 類似。

Lazy 查詢與最佳化 ​

python
result = (
    pl.scan_csv("rentals.csv")
    .filter(pl.col("type") == "Villa")
    .with_columns((pl.col("price") / pl.col("beds")).alias("price_per_bed"))
    .select("name", "price", "price_per_bed")
    .collect()
)

print(pl.scan_csv("rentals.csv").filter(pl.col("type") == "Villa").select("name", "price").explain())
# Csv SCAN [rentals.csv]
#   PROJECT 3/5 COLUMNS              ← projection pushdown:只讀用到的 3 欄
#   SELECTION: col("type") == "Villa" ← predicate pushdown:讀檔時就過濾
最佳化意義
projection pushdown只讀查詢用到的欄位
predicate pushdown篩選條件推到讀檔階段,少讀很多列(Parquet 尤其有效)
共同子表達式消除重複的運算只算一次

比記憶體大的資料:streaming ​

python
(
    pl.scan_parquet("gnomad_chr*.parquet")
    .filter(pl.col("AF") > 0.01)
    .group_by("chrom")
    .agg(pl.len())
    .collect(engine="streaming")             # 分批處理,不需要整份放進記憶體
)

pl.scan_csv("huge.csv").filter(...).sink_parquet("filtered.parquet")   # 結果直接寫檔,不經過記憶體

與 pandas / NumPy 互轉 ​

python
pdf = df.to_pandas()                         # 給 seaborn、statsmodels、sklearn
df = pl.from_pandas(pdf)
X = df.select(pl.col(pl.Float64)).to_numpy()

常見做法:繁重的讀取、篩選、join、彙總用 Polars(lazy),結果變小後 .to_pandas() 交給統計 / 繪圖套件。

從 pandas 轉過來的注意事項 ​

pandas 習慣Polars
df["new"] = ... 原地修改物件不可變;df = df.with_columns(...)
依賴 index 對齊、loc沒有 index;用欄位 join / filter
apply(lambda ...)改用表達式;map_elements 是最後手段(會失去平行與最佳化)
df[df.a > 1]df.filter(pl.col("a") > 1)
groupby 結果有 indexgroup_by 結果是一般欄位,順序不保證(需要時 maintain_order=True 或 sort)
NaN 當缺值用 null;fill_null / is_null,fill_nan 只處理浮點 NaN

R 使用者可對照 dplyr:select / filter / mutate(with_columns)/ group_by + summarise(agg)幾乎一一對應,見 R 資料處理。SQL 使用者也可以直接 pl.SQLContext 或改用 DuckDB 查 Parquet,見 Databases。