Skip to content

LLM › 整合 › Hugging Face

Hugging Face Hub 與 Pipelines ​

Hugging Face 是開源模型與資料集的集散地,transformers 是使用這些模型的標準函式庫。實務上分兩層:pipeline 一行完成常見任務;需要自訂前處理、批次或訓練時,才改用 tokenizer + 模型類別。

Hub 提供什麼 ​

功能用途
模型依任務、語言、授權篩選;含生醫模型(BiomedBERT、BioBERT、ESM 等)
Model card訓練資料、預期用途、限制、評估結果、授權 → 使用前先讀
Datasetsdatasets 套件直接載入、切分、串流大型資料集
Spaces互動 demo
讀 model card 時確認理由
任務類型(分類、NER、生成、embedding)任務不符時程式仍能跑,但結果沒有意義
訓練資料與領域一般網頁訓練的模型在臨床文字上表現常大幅下降
標籤定義社群模型常輸出 LABEL_0、LABEL_1,要查清楚對應什麼
授權部分模型限制商業使用或需同意條款(gated)
大小與硬體需求參數量決定記憶體需求(fp16 約 2 bytes / 參數)

Pipeline:依任務呼叫 ​

python
from transformers import pipeline

# 1. 零樣本分類:執行時才給標籤,不需訓練
clf = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
clf("Single-cell RNA-seq reveals T cell exhaustion in tumors",
    candidate_labels=["immunology", "neuroscience", "plant biology"])   # labels 依分數排序

# 2. 實體辨識:aggregation_strategy 把子詞合併成完整實體
ner = pipeline("token-classification", model="<生醫 NER 模型>", aggregation_strategy="simple")

# 3. 抽取式問答:答案必須是 context 中的一段文字
qa = pipeline("question-answering", model="deepset/roberta-base-squad2")
qa(question="Which gene was knocked out?", context=methods_text)       # {'answer': ..., 'score': ...}

# 4. 摘要、生成
summ = pipeline("summarization", model="facebook/bart-large-cnn")
summ(long_text, max_length=130, min_length=30)

# 通用參數:device=0(GPU)、batch_size=16、truncation=True
任務名稱輸出適合
text-classification固定標籤 + 分數已有對應標籤的微調模型
zero-shot-classification自訂標籤排序快速 baseline、標籤會變動
token-classification實體與位置NER
question-answering原文中的片段文件內查找答案(抽取式,不會編造原文以外內容)
summarization生成的摘要抽象式摘要可能遺漏或捏造
text-generation續寫文字開源 LLM 對話 / 生成
feature-extraction向量embedding(語意搜尋多用 sentence-transformers,見 Embedding)
摘要方式優點缺點
抽取式 (extractive)保留原文措辭,不會捏造不連貫
抽象式 (abstractive)自然流暢可能遺漏、扭曲或捏造

Tokenizer 與模型類別 ​

需要自訂批次、檢查中間結果、取得 embedding 或訓練時,改用底層類別。

python
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

name = "microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForSequenceClassification.from_pretrained(name, num_labels=2)   # 分類頭隨機初始化 → 需要微調

batch = tok(texts, padding=True, truncation=True, max_length=512, return_tensors="pt")
with torch.no_grad():
    probs = model(**batch).logits.softmax(dim=-1)
Tokenizer 參數作用陷阱
padding=True補到批次中最長序列搭配 attention_mask(tokenizer 自動產生)
truncation=True、max_length截斷超長輸入BERT 類多為 512 token;被截掉的內容模型完全看不到,長文件要先切段
return_tensors="pt"回傳 PyTorch tensor—
介面適合代價
pipeline原型、標準任務前處理與輸出格式控制少
AutoTokenizer + AutoModelFor*自訂批次、取中間層、訓練程式較多
Trainer / SFTTrainer微調見 Fine-tuning

Datasets ​

python
from datasets import load_dataset

ds = load_dataset("<dataset-id>")                     # DatasetDict:{"train": ..., "test": ...}
ds["train"].features                                  # 欄位與標籤定義
small = ds["train"].shuffle(seed=0).select(range(200))
tokenized = ds.map(lambda b: tok(b["text"], truncation=True), batched=True)

用固定的資料集與切分做比較,實驗才可重現;切分時注意同一篇論文 / 同一病人的資料不要跨訓練與測試集(見 資料洩漏)。

何時用 pipeline、何時不用 ​

夠用不夠用
常見任務、快速原型自訂前處理、長文件切段後彙整
只需最終結果需要 logits、embedding、注意力等中間結果
小量資料大量資料要精細控制批次與 GPU 記憶體
—訓練或微調