外觀
選擇模型與供應商 (Choosing LLM Providers and Model Families)
選模型不是找「最強的那個」,而是找能穩定達到任務標準的最小、最便宜的模型。模型版本更新很快,排行榜上的名次幾個月就會變,所以重點是一套可重複的比較方法,而不是記住哪個模型最好。
模型層級
多數供應商都提供同一家族的多個層級:
| 層級 | 特性 | 適合 |
|---|---|---|
| 小 / 快速 | 便宜、低延遲 | 分類、路由、簡單擷取、大量批次處理 |
| 中 / 平衡 | 品質與成本折衷 | 多數正式環境任務 |
| 大 / 旗艦 | 品質最高、最貴最慢 | 複雜推理、長文件分析、困難程式 |
| 推理模型 | 回答前先產生推理過程 | 數學、規劃、多步驟除錯;延遲與 token 成本高 |
選擇準則
| 任務 | 優先考量 |
|---|---|
| 摘要、改寫 | 忠實度、context 長度 |
| 資訊擷取、分類 | 一致性、structured output 支援、成本 |
| 寫程式 | 程式能力、工具使用、長 context |
| 多步驟規劃、agent | 指令遵循、tool calling 可靠度 |
| 大量文獻篩選 | 成本、batch API、速率限制 |
| 含病人資料的任務 | 資料處理位置與合約優先於模型能力 |
| 其他面向 | 為什麼重要 |
|---|---|
| Context window | 決定能否一次放入整份文件;但窗口大 ≠ 能有效利用全部內容 |
| 安全與拒答行為 | 有些模型對醫療、藥物問題拒答較多,影響使用體驗 |
| 多模態 | 是否能讀圖、PDF、音訊 |
| 資料政策 | 輸入是否保留、是否用於訓練、資料存放區域 |
| 版本穩定性 | 舊版本何時下架;是否能鎖定版本 |
| 生態系 | SDK、文件、框架整合 |
開源 vs 商用 API
| 商用 API(閉源) | 開源權重 (open-weight) | |
|---|---|---|
| 能力 | 通常最強 | 差距持續縮小;中型模型已足以應付許多任務 |
| 資料位置 | 送到供應商(企業方案可簽資料處理協議) | 可完全留在機構內部 → 適合病歷、未發表資料 |
| 成本結構 | 按 token 計費 | GPU 與維運;大量使用時單價低 |
| 可重現性 | 版本會被更新、下架 | 權重固定,可完全重現 |
| 客製化 | 有限的微調選項 | 可完整 fine-tune |
| 部署工具 | — | Ollama(個人電腦)、vLLM / TGI(伺服器)、llama.cpp(CPU / 量化) |
研究中若需要「論文發表後他人可重現」,開源權重模型 + 固定版本較能滿足;API 模型應至少在方法中記錄確切的模型 ID 與呼叫日期。
選擇流程
text
1. 定義任務與通過標準(例:篩選 recall ≥ 0.95)
2. 建評估集(見「評估與幻覺」)
3. 至少測一個小模型與一個大模型
4. 同時比較品質、延遲、每千次請求成本
5. 選能穩定通過標準的最小模型;困難案例可路由給大模型
6. 新模型推出時,用同一評估集重測失敗時先排除 prompt 問題再怪模型:
| 現象 | 通常是 | 先修 |
|---|---|---|
| 回答空泛 | 任務定義不清 | Prompt |
| 編造事實 | 缺 context | RAG、允許拒答 |
| 格式不穩 | 未用 schema | Structured output |
| 分類邊界錯 | 缺範例 | few-shot 範例涵蓋邊界案例 |
多供應商平台 (Managed LLM Platforms)
雲端平台(AWS Bedrock、Azure AI Foundry、Google Vertex AI)或 API 閘道(OpenRouter、自建 LiteLLM proxy)讓多家模型透過同一個入口存取。
| 好處 | 說明 |
|---|---|
| 單一入口存取多家模型 | 比較或切換模型不必重寫整合 |
| 沿用既有雲端帳號的權限、計費、稽核 | 企業 / 機構治理需求 |
| 資料留在已簽約的雲端區域 | 合規較容易 |
| 內建 guardrail、日誌、監控 | 省去部分自建工作 |
| 注意 | 說明 |
|---|---|
| 存取要另外開通 | 很多「模型呼叫失敗」其實是帳號未啟用該模型或 IAM 權限不足 |
| 各模型回應格式不同 | 程式中仍需一層轉接 (adapter) 統一格式 |
| 功能可能落後原廠 API | 新參數、新模型上架時間不同 |
| 平台 guardrail 不等於完整安全策略 | 高風險流程仍需應用層檢查 |
只用單一供應商、需求簡單時,直接用原廠 API 較單純;需要比較多家模型、或機構已綁定特定雲端時,平台較划算。