外觀
Data Science › LLM › LLMOps
LLMOps
LLM 應用上線後的營運:prompt 與設定的版本管理、回歸測試、監控、回饋迴圈、成本與延遲控制;以及 agent 系統規模化後多出來的問題(路由、工具失敗、排隊、人工把關)。一般 ML 的部署與監控見 部署與監控;評估方法本身見 評估與幻覺。
LLMOps vs MLOps
| 面向 | 傳統 MLOps | LLMOps |
|---|---|---|
| 改變行為的方式 | 重訓模型、改特徵 | 改 prompt、檢索設定、工具、換模型版本 |
| 版本管理對象 | 資料、模型權重 | prompt 模板、模型 ID、參數、檢索索引、工具定義 |
| 評估 | 有標籤的測試集 + 固定指標 | 評估集 + rubric + LLM-as-judge + 人工審查 |
| 主要風險 | 資料漂移、校準、偏誤 | 幻覺、prompt injection、工具誤用、供應商改版 |
| 可重現性 | 固定 seed 即可 | 取樣隨機、API 模型會被更新或下架 |
LLM 應用中要測試的單位是整條 pipeline(檢索 + prompt + 模型 + 解析 + 工具),不是單一 prompt。
Prompt 與設定的版本管理
| 做法 | 理由 |
|---|---|
| prompt 模板放進 git,與程式碼一起 review | 行為改變可追溯;不要散落在 notebook 或聊天紀錄 |
鎖定模型版本(帶日期的 model ID,而非 latest 別名) | 供應商更新別名指向的模型時,行為會無預警改變 |
| 把模型 ID、參數、prompt 版本、索引版本一起記錄到每筆輸出 | 回饋與錯誤才能對應到產生它的設定 |
| dev / staging / production 設定分離 | 避免實驗中的 prompt 直接影響使用者 |
| 每次改動跑評估集 | 防止修好一個案例、壞掉十個(回歸) |
text
改 prompt / 換模型 / 改檢索
↓
跑評估集(golden set + 困難案例 + 安全測試)
↓
與目前版本配對比較(同一批題目)
↓ 沒有退化
小流量上線(canary / A-B)→ 監控 → 全量測試類型
| 測試 | 檢查 | 自動化方式 |
|---|---|---|
| 格式測試 | 輸出符合 JSON schema、必要欄位存在 | pydantic 驗證,可放進 CI |
| Golden set 回歸 | 核心案例仍正確 | 精確比對 / 指標 / LLM-as-judge |
| 安全測試 | 拒絕超出範圍、有害、prompt injection 的輸入 | 對抗樣本集 |
| 檢索測試 | 正確段落有被找到 | recall@k(見 RAG 評估) |
| 工作流程測試 | 工具呼叫、路由、重試行為正確 | 模擬工具(mock)+ trace 檢查 |
| 負載測試 | 延遲、rate limit、併發 | 壓測工具 |
監控
| 層 | 監看什麼 | 例子 |
|---|---|---|
| 輸入 | 分布變化、異常請求、注入攻擊 | 新類型問題變多、長度暴增 |
| 功能 | 工具失敗、檢索落空、逾時、重試次數 | 某個 API 錯誤率上升 |
| 輸出 | 拒答率、格式錯誤率、使用者評分、抽樣人工評分 | 拒答率突然從 2% 升到 15% |
| 成本 / 效能 | token 用量、延遲 p50 / p95、每次請求成本 | 某次 prompt 改版讓輸入 token 翻倍 |
Tracing 要記錄從輸入到最終輸出的完整路徑(每次檢索結果、每次模型呼叫、每次工具呼叫),只看最後答案無法定位錯誤。常用工具:LangSmith、Langfuse、Arize Phoenix、MLflow tracing。
記錄完整 prompt 與輸出時,等於也記錄了使用者輸入的個資或病人資料。log 要套用與原始資料相同的存取控制與保存期限(見 隱私與法規)。
回饋迴圈
| 來源 | 用途 |
|---|---|
| 使用者評分(讚 / 倒讚、修正後的內容) | 找失敗案例,加入評估集 |
| 支援單、抱怨 | 揭露真正重要的失敗模式 |
| Trace 抽樣審查 | 找出不良路由、過時檢索、弱 prompt |
| 自動評審 (LLM-as-judge) | 大量但不完美;要定期用人工標註校正 |
成本與延遲
成本 ≈ 輸入 token × 輸入單價 + 輸出 token × 輸出單價(輸出單價通常是輸入的數倍)。延遲主要由輸出 token 數與模型大小決定。
| 手段 | 效果 | 代價 |
|---|---|---|
| 小模型處理簡單任務、大模型處理困難任務(路由) | 成本常降一個數量級 | 要有路由規則與評估 |
| Prompt caching(固定前綴放前面) | 重複的 system prompt / 文件不必重複計全價,也較快 | 前綴要完全相同才命中 |
| 結果快取 | 相同請求直接回傳 | 只適合不需即時性的請求 |
| 縮短 prompt、精簡檢索結果 | 降低輸入 token | 可能遺漏 context |
| 限制輸出長度、要求精簡格式 | 降低輸出 token 與延遲 | 可能截斷 |
| Batch API(非同步批次) | 大量離線任務(如篩選上萬篇摘要)通常較便宜 | 數小時內才回傳 |
| 串流 (streaming) | 使用者較早看到輸出,體感延遲降低 | 總時間不變 |
| 自架開源模型 | 大量呼叫時單價低、資料不出機構 | GPU、維運成本 |
先用強模型找出「做得到」的上限,再往下換更小、更便宜的模型,直到評估分數開始下降。
Agent 系統的營運
Agent 在 demo 中能跑,不代表在真實流量下能穩定運作。
| Prototype 關心 | 規模化後關心 |
|---|---|
| 能不能完成一次任務 | 能不能在真實條件下重複完成 |
| 一次工具呼叫成功 | 失敗、重試、備援怎麼處理 |
| Prompt 夠不夠好 | 模組怎麼版本化、監控、改進 |
| 一條路徑是否合理 | 路由與協作是否仍好維護 |
| 原則 | 做法 |
|---|---|
| 模組化 | router / supervisor、專職 agent、工具介面、驗證層各自獨立,可單獨測試與替換 |
| 明確路由 | 每個 agent 職責不重疊;有明確結束條件,避免無限委派 |
| 先減少錯誤決策 | 工具描述清楚、限制可用工具、接上可信資料;重試只是最後手段 |
| Agent 專屬監控 | 工具選擇分布、每步延遲、失敗 / 重試次數、任務完成率、業務指標 |
| 人工把關 | 高影響動作(刪資料、寄信、改大量紀錄)需人工核准;模糊案例轉人工 |
| 工具失敗策略 | 適合 |
|---|---|
| 指數退避重試 | 暫時性網路 / 服務錯誤 |
| 呼叫前驗證 | 可疑的工具選擇或參數 |
| 快取備援 | 允許資料稍舊的查詢;不適合即時資料 |
| 佇列延後重試 | 可非同步完成的工作;避免失敗呼叫持續佔用資源 |
| 回報並停止 | 參數錯誤、權限錯誤(重試也沒用) |
太早移除人工把關,agent 看起來更有效率,實際上把風險推到下游。
檢查清單
| 問題 | 對應段落 |
|---|---|
| prompt、模型版本、參數、索引是否一起版本化並記錄在輸出上? | 版本管理 |
| 改動前是否跑評估集並與現行版本配對比較? | 測試類型 |
| 是否能從一筆錯誤輸出追溯到每次檢索與工具呼叫? | 監控 |
| 使用者回饋是否回流成評估案例? | 回饋迴圈 |
| 是否知道每次請求的成本與 p95 延遲? | 成本與延遲 |
| 高影響動作是否有人工核准? | Agent 系統的營運 |