Skip to content

Data Science › LLM › LLMOps

LLMOps ​

LLM 應用上線後的營運:prompt 與設定的版本管理、回歸測試、監控、回饋迴圈、成本與延遲控制;以及 agent 系統規模化後多出來的問題(路由、工具失敗、排隊、人工把關)。一般 ML 的部署與監控見 部署與監控;評估方法本身見 評估與幻覺。

LLMOps vs MLOps ​

面向傳統 MLOpsLLMOps
改變行為的方式重訓模型、改特徵改 prompt、檢索設定、工具、換模型版本
版本管理對象資料、模型權重prompt 模板、模型 ID、參數、檢索索引、工具定義
評估有標籤的測試集 + 固定指標評估集 + rubric + LLM-as-judge + 人工審查
主要風險資料漂移、校準、偏誤幻覺、prompt injection、工具誤用、供應商改版
可重現性固定 seed 即可取樣隨機、API 模型會被更新或下架

LLM 應用中要測試的單位是整條 pipeline(檢索 + prompt + 模型 + 解析 + 工具),不是單一 prompt。

Prompt 與設定的版本管理 ​

做法理由
prompt 模板放進 git,與程式碼一起 review行為改變可追溯;不要散落在 notebook 或聊天紀錄
鎖定模型版本(帶日期的 model ID,而非 latest 別名)供應商更新別名指向的模型時,行為會無預警改變
把模型 ID、參數、prompt 版本、索引版本一起記錄到每筆輸出回饋與錯誤才能對應到產生它的設定
dev / staging / production 設定分離避免實驗中的 prompt 直接影響使用者
每次改動跑評估集防止修好一個案例、壞掉十個(回歸)
text
改 prompt / 換模型 / 改檢索
        ↓
跑評估集(golden set + 困難案例 + 安全測試)
        ↓
與目前版本配對比較(同一批題目)
        ↓  沒有退化
小流量上線(canary / A-B)→ 監控 → 全量

測試類型 ​

測試檢查自動化方式
格式測試輸出符合 JSON schema、必要欄位存在pydantic 驗證,可放進 CI
Golden set 回歸核心案例仍正確精確比對 / 指標 / LLM-as-judge
安全測試拒絕超出範圍、有害、prompt injection 的輸入對抗樣本集
檢索測試正確段落有被找到recall@k(見 RAG 評估)
工作流程測試工具呼叫、路由、重試行為正確模擬工具(mock)+ trace 檢查
負載測試延遲、rate limit、併發壓測工具

監控 ​

層監看什麼例子
輸入分布變化、異常請求、注入攻擊新類型問題變多、長度暴增
功能工具失敗、檢索落空、逾時、重試次數某個 API 錯誤率上升
輸出拒答率、格式錯誤率、使用者評分、抽樣人工評分拒答率突然從 2% 升到 15%
成本 / 效能token 用量、延遲 p50 / p95、每次請求成本某次 prompt 改版讓輸入 token 翻倍

Tracing 要記錄從輸入到最終輸出的完整路徑(每次檢索結果、每次模型呼叫、每次工具呼叫),只看最後答案無法定位錯誤。常用工具:LangSmith、Langfuse、Arize Phoenix、MLflow tracing。

記錄完整 prompt 與輸出時,等於也記錄了使用者輸入的個資或病人資料。log 要套用與原始資料相同的存取控制與保存期限(見 隱私與法規)。

回饋迴圈 ​

來源用途
使用者評分(讚 / 倒讚、修正後的內容)找失敗案例,加入評估集
支援單、抱怨揭露真正重要的失敗模式
Trace 抽樣審查找出不良路由、過時檢索、弱 prompt
自動評審 (LLM-as-judge)大量但不完美;要定期用人工標註校正

成本與延遲 ​

成本 ≈ 輸入 token × 輸入單價 + 輸出 token × 輸出單價(輸出單價通常是輸入的數倍)。延遲主要由輸出 token 數與模型大小決定。

手段效果代價
小模型處理簡單任務、大模型處理困難任務(路由)成本常降一個數量級要有路由規則與評估
Prompt caching(固定前綴放前面)重複的 system prompt / 文件不必重複計全價,也較快前綴要完全相同才命中
結果快取相同請求直接回傳只適合不需即時性的請求
縮短 prompt、精簡檢索結果降低輸入 token可能遺漏 context
限制輸出長度、要求精簡格式降低輸出 token 與延遲可能截斷
Batch API(非同步批次)大量離線任務(如篩選上萬篇摘要)通常較便宜數小時內才回傳
串流 (streaming)使用者較早看到輸出,體感延遲降低總時間不變
自架開源模型大量呼叫時單價低、資料不出機構GPU、維運成本

先用強模型找出「做得到」的上限,再往下換更小、更便宜的模型,直到評估分數開始下降。

Agent 系統的營運 ​

Agent 在 demo 中能跑,不代表在真實流量下能穩定運作。

Prototype 關心規模化後關心
能不能完成一次任務能不能在真實條件下重複完成
一次工具呼叫成功失敗、重試、備援怎麼處理
Prompt 夠不夠好模組怎麼版本化、監控、改進
一條路徑是否合理路由與協作是否仍好維護
原則做法
模組化router / supervisor、專職 agent、工具介面、驗證層各自獨立,可單獨測試與替換
明確路由每個 agent 職責不重疊;有明確結束條件,避免無限委派
先減少錯誤決策工具描述清楚、限制可用工具、接上可信資料;重試只是最後手段
Agent 專屬監控工具選擇分布、每步延遲、失敗 / 重試次數、任務完成率、業務指標
人工把關高影響動作(刪資料、寄信、改大量紀錄)需人工核准;模糊案例轉人工
工具失敗策略適合
指數退避重試暫時性網路 / 服務錯誤
呼叫前驗證可疑的工具選擇或參數
快取備援允許資料稍舊的查詢;不適合即時資料
佇列延後重試可非同步完成的工作;避免失敗呼叫持續佔用資源
回報並停止參數錯誤、權限錯誤(重試也沒用)

太早移除人工把關,agent 看起來更有效率,實際上把風險推到下游。

檢查清單 ​

問題對應段落
prompt、模型版本、參數、索引是否一起版本化並記錄在輸出上?版本管理
改動前是否跑評估集並與現行版本配對比較?測試類型
是否能從一筆錯誤輸出追溯到每次檢索與工具呼叫?監控
使用者回饋是否回流成評估案例?回饋迴圈
是否知道每次請求的成本與 p95 延遲?成本與延遲
高影響動作是否有人工核准?Agent 系統的營運