Skip to content

Deep Learning › 訓練流程 › 高效訓練與擴展

高效訓練與擴展 (Efficient Training and Scaling) ​

模型或資料變大後,瓶頸會出現在 GPU 記憶體、資料讀取速度或單卡算力。前提是訓練邏輯先正確:loss、指標、資料切分、checkpoint 都穩了再加速,否則只是更快地訓練出錯誤的模型。

先找瓶頸 ​

症狀瓶頸優先處理
CUDA out of memoryGPU 記憶體混合精度 → 降 batch + gradient accumulation → gradient checkpointing
GPU 使用率(nvidia-smi)長期很低資料讀取num_workers、pin_memory、預先轉檔(HDF5、Zarr、WebDataset)
GPU 滿載但仍太慢計算量混合精度、torch.compile、多 GPU
每個 epoch 時間很長、中途常失敗流程定期存 checkpoint,HPC 上配合排程器的時間上限

混合精度 (Mixed Precision) ​

大部分運算用 16-bit,必要處(loss、累加)保留 32-bit:記憶體約減半、支援的 GPU 上速度大幅提升。

格式數值範圍需要 GradScaler硬體
float16小,梯度容易下溢成 0是多數 NVIDIA GPU
bfloat16與 float32 相同否Ampere(A100、RTX 30 系列)以後;優先使用
python
import torch
from torch import nn

device = "cuda"
model = model.to(device)
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
scaler = torch.amp.GradScaler("cuda")               # 取代舊的 torch.cuda.amp.GradScaler()(已棄用)

for x, y in train_loader:
    x, y = x.to(device, non_blocking=True), y.to(device, non_blocking=True)
    optimizer.zero_grad()
    with torch.autocast(device_type="cuda", dtype=torch.float16):   # 取代 torch.cuda.amp.autocast()
        loss = nn.functional.cross_entropy(model(x), y)
    scaler.scale(loss).backward()                    # 放大 loss,避免 fp16 梯度下溢
    scaler.unscale_(optimizer)                       # 要做 gradient clipping 時先 unscale
    torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
    scaler.step(optimizer)
    scaler.update()

# bfloat16:不需要 scaler
with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
    loss = nn.functional.cross_entropy(model(x), y)
loss.backward(); optimizer.step()

Gradient Accumulation ​

GPU 只放得下小 batch,但想要大 batch 的效果:累積多個小 batch 的梯度再更新一次。

python
accum = 4                                            # 等效 batch = batch_size × 4
optimizer.zero_grad()
for i, (x, y) in enumerate(train_loader):
    loss = criterion(model(x.to(device)), y.to(device)) / accum   # 除以步數,梯度才是平均
    loss.backward()
    if (i + 1) % accum == 0:
        optimizer.step()
        optimizer.zero_grad()

BatchNorm 仍只看到小 batch,accumulation 無法改善它的統計量;小 batch 時考慮 GroupNorm / LayerNorm(見 Normalization)。

其他技巧 ​

技巧效果用法
torch.compile編譯成融合的 kernel,常見 1.3~2 倍加速model = torch.compile(model)(PyTorch ≥ 2.0;Windows 支援較有限)
Gradient checkpointing不存中間 activation、backward 時重算;省記憶體、多花約 20~30% 時間torch.utils.checkpoint.checkpoint;Hugging Face 模型 model.gradient_checkpointing_enable()
non_blocking=True + pin_memory=TrueCPU → GPU 傳輸與計算重疊見上方程式
預先計算 embedding凍結骨幹時,embedding 只需算一次存起來見 遷移學習
optimizer.zero_grad(set_to_none=True)少一次記憶體寫入(新版已是預設)—

多 GPU 與框架 ​

方式說明
DistributedDataParallel (DDP)每張 GPU 一份模型、各吃不同資料、同步梯度;多 GPU 的標準做法(torchrun --nproc_per_node=4 train.py)
DataParallel舊做法、單程序,較慢,不建議
FSDP把參數、梯度、optimizer 狀態切分到各 GPU;模型大到單卡放不下時
Hugging Face Accelerate同一份訓練迴圈切換單卡 / 多卡 / 混合精度,改動最少
PyTorch Lightning把訓練迴圈結構化成 LightningModule,由 Trainer 處理裝置、精度、checkpoint、logging

多 GPU 訓練後結果改變時,檢查:有效 batch size 變大(學習率是否要跟著調)、各程序的 seed、BatchNorm 是否要用 SyncBatchNorm、validation 指標是否在所有程序間正確彙總。

在 HPC 叢集上提交 GPU 工作(Slurm --gres=gpu:1)、管理 conda / 容器環境見 容器與環境。