Skip to content

Deep Learning › 基礎 › PyTorch ↔ Keras 對照

PyTorch ↔ TensorFlow / Keras 對照 ​

本章以 PyTorch 為主。深度學習的觀念(tensor、autograd、loss、optimizer)在兩個框架完全相同,差別在 API 風格:PyTorch 自己寫訓練迴圈,Keras 用 compile / fit 包起來。這篇讓你看得懂 Keras 程式碼並換算成 PyTorch。

Keras 3(TensorFlow 2.16 起的預設)是多後端框架,可跑在 TensorFlow、JAX 或 PyTorch 上;import keras 取代過去的 from tensorflow import keras。

對照表 ​

任務PyTorchTensorFlow / Keras
建立 tensortorch.tensor(x)、torch.zeros(2, 3)tf.constant(x)、tf.zeros((2, 3))
可訓練參數nn.Parameter(層內自動建立)tf.Variable
型別轉換t.float()、t.to(torch.float32)tf.cast(t, tf.float32)
矩陣乘法 / 逐元素a @ b / a * btf.matmul(a, b) / tf.multiply(a, b)
改形狀t.reshape(28, 28)tf.reshape(t, (28, 28))
加總t.sum()tf.reduce_sum(t)
自動微分loss.backward() → w.gradwith tf.GradientTape() as tape: → tape.gradient(loss, w)
全連接層nn.Linear(in, out) + 另外加激活keras.layers.Dense(out, activation="relu")(自動推斷 in)
卷積nn.Conv2d(C_in, C_out, k),輸入 (N, C, H, W)layers.Conv2D(C_out, k),輸入 (N, H, W, C)
循序模型nn.Sequential(...)keras.Sequential([...])
多輸入 / 分支繼承 nn.Module,在 forward 寫資料流Functional API:Input → 層 → keras.Model(inputs, outputs)
損失nn.CrossEntropyLoss()(吃 logits + 類別索引)SparseCategoricalCrossentropy(from_logits=True)
訓練自寫迴圈:forward → loss → backward → stepmodel.compile(optimizer, loss, metrics) → model.fit(...)
評估 / 推論model.eval() + torch.no_grad()model.evaluate() / model.predict()
資料管線Dataset + DataLoadertf.data.Dataset(.batch().shuffle().prefetch())
Early stopping / checkpoint自己寫(見 訓練迴圈)callbacks=[EarlyStopping(...), ModelCheckpoint(...)]
存檔torch.save(model.state_dict(), "m.pt")model.save("m.keras")
初始化nn.init.xavier_uniform_kernel_initializer="glorot_uniform"

Loss 名稱對照最容易出錯:Keras 的 categorical_crossentropy 要 one-hot 標籤、sparse_categorical_crossentropy 要整數標籤;預設輸入是機率(最後一層要 softmax),除非設 from_logits=True。PyTorch 的 CrossEntropyLoss 一律吃 logits 與整數標籤。

同一個模型兩種寫法 ​

python
# Keras
import keras
from keras import layers

model = keras.Sequential([
    keras.Input(shape=(784,)),                 # Keras 3 建議用 Input,取代 Dense(input_shape=...)
    layers.Dense(64, activation="relu"),
    layers.Dropout(0.2),
    layers.Dense(10),                          # logits
])
model.compile(optimizer="adam",
              loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=["accuracy"])
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2,
          callbacks=[keras.callbacks.EarlyStopping(patience=3, restore_best_weights=True)])
python
# PyTorch:同樣的架構;fit() 的內容要自己寫,見 PyTorch 訓練迴圈
import torch
from torch import nn

model = nn.Sequential(
    nn.Linear(784, 64), nn.ReLU(), nn.Dropout(0.2),
    nn.Linear(64, 10),
)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

GradientTape:Keras 的手寫訓練步 ​

需要自訂訓練邏輯時,TensorFlow 用 GradientTape 記錄 forward,等同 PyTorch 的 autograd:

python
import tensorflow as tf

x = tf.Variable(3.0)
with tf.GradientTape() as tape:
    y = x**2 + 2*x + 1
tape.gradient(y, x)                            # 8.0   dy/dx = 2x + 2

# 一步訓練
with tf.GradientTape() as tape:
    loss = loss_fn(y_true, model(x_batch, training=True))   # training=True 讓 dropout / BN 用訓練模式
grads = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(grads, model.trainable_variables))
觀念PyTorchTensorFlow
train / eval 模式model.train() / model.eval() 切換整個模型呼叫時傳 training=True/False
梯度清零要 optimizer.zero_grad()每次新的 tape,不需清零
生資 / 研究生態多數新模型(ESM、scvi-tools、MONAI、Hugging Face)以 PyTorch 為主較早期的基因體模型(如 Basenji、Enformer 原始實作)用 TensorFlow