外觀
Data Science › LLM › 提示工程
提示工程 (Prompt Engineering)
Prompt 是任務規格書:說清楚要做什麼、依據什麼、輸出成什麼樣子。目標不是找出神奇措辭,而是讓任務明確到模型不必猜,且輸出容易檢查。在程式中呼叫時的 message 結構見 API 模式。
Prompt 的組成
| 元素 | 作用 | 例子 |
|---|---|---|
| 指令 (instruction) | 要做的事,一個 prompt 最好只有一個主任務 | 「從摘要中擷取所有基因與疾病的關聯」 |
| 角色 (role / persona) | 改變判斷標準與語氣,不是裝飾 | 「你是審查 systematic review 納入條件的研究助理」 |
| 脈絡 (context) | 背景、原始資料、讀者是誰 | 摘要全文、納入 / 排除條件 |
| 限制 (constraints) | 縮小回答空間 | 「只根據提供的文字;沒有就回答 null」 |
| 輸出格式 (output format) | 讓結果可解析、可比較 | JSON schema、表格欄位、字數上限 |
| 範例 (examples) | 示範什麼叫好答案 | 1–3 組輸入 → 輸出 |
text
<role>你是協助文獻篩選的研究助理。</role>
<task>判斷下面的摘要是否符合納入條件,並說明理由。</task>
<criteria>
- 納入:人類研究、RNA-seq 或 scRNA-seq、有對照組
- 排除:只有細胞株、綜述文章、會議摘要
</criteria>
<abstract>
{abstract_text}
</abstract>
<output_format>
JSON:{"include": true/false, "reason": "<一句話,引用摘要中的關鍵字>", "uncertain": true/false}
資訊不足以判斷時,uncertain 設為 true,不要猜。
</output_format>用分隔符號(XML tag、
"""、Markdown 標題)把指令和資料分開:可避免模型把摘要裡的句子當成指令,也讓模板容易填值與維護。
常見失敗與修正
| 症狀 | 原因 | 修正 |
|---|---|---|
| 回答空泛 | 任務不夠具體 | 說明讀者、用途、要多深 |
| 自行補上不存在的事實 | 缺 context,又沒說可以回答「不知道」 | 提供來源,並明確定義「資訊不足」時的輸出 |
| 格式時好時壞 | 只用文字描述格式 | 給 schema + 範例;在 API 層用 structured output |
| 一個 prompt 做很多事,每件都做不好 | 任務過載 | 拆成多步驟(見下方 prompt chaining) |
| 答案跟著使用者的暗示走 | prompt 透露偏好(「這個基因應該有關吧?」) | 用中性問法;要求列出正反證據 |
| 只在示範例子上有效 | 對一個例子過度調整 | 用 評估集 測多樣輸入 |
範例數量:zero / one / few-shot
| 做法 | 適合 | 注意 |
|---|---|---|
| Zero-shot | 常見任務,指令就能說清楚 | 先從這裡開始 |
| One-shot | 用一個例子定義格式或語氣 | 模型容易照抄例子內容 |
| Few-shot(2–5 個) | 分類邊界模糊、格式複雜 | 例子要涵蓋不同類別與困難案例;順序與比例會影響結果;佔 token |
讓模型分步思考
| 技巧 | 做法 | 適用 |
|---|---|---|
| 分步驟指令 | 「先列出摘要中的所有基因,再逐一判斷是否與疾病有關」 | 擷取、多條件判斷 |
| Chain-of-thought | 要求先寫推理再給答案;或給有推理過程的範例 | 計算、邏輯、規劃 |
| 先擷取證據再回答 | 「先引用相關原文句子,再根據引用回答」 | 文件問答;降低幻覺、方便查核 |
| 自我檢查 | 產生答案後,再要求依清單檢查並修正 | 程式碼、長文件 |
推理模型 (reasoning models) 本身就會先推理,對它們只要把目標和限制講清楚,不必再寫「一步一步想」。
Prompt Chaining
一個大 prompt 拆成多個小步驟,每步輸出成為下一步輸入。
text
擷取(摘要 → 實體 JSON)→ 標準化(實體 → HGNC / MONDO ID)→ 驗證(檢查 ID 存在)→ 彙整(產生表格)
LLM LLM + 資料庫查詢 程式 程式 / LLM| 好處 | 說明 |
|---|---|
| 容易除錯 | 知道是哪一步出錯 |
| 可插入確定性步驟 | 能用程式做的(查資料庫、計算、驗證格式)就不要交給 LLM |
| 每步可換模型 | 簡單步驟用小模型省成本 |
流程固定時用 chaining;下一步要依中間結果動態決定時,才考慮 agent。
System Prompt 與多輪對話
聊天型應用中,system prompt 是最穩定的一層,定義角色、範圍、語氣與例外處理。
| System prompt 該寫 | 例子 |
|---|---|
| 角色與服務範圍 | 「你協助實驗室成員查詢內部 SOP 與儀器使用規範」 |
| 範圍外的處理 | 「與實驗室作業無關的問題,簡短說明無法協助」 |
| 資訊不足的處理 | 「SOP 中找不到答案時直接說找不到,並建議詢問實驗室管理員;不要推測」 |
| 安全規則 | 「涉及危險化學品處置時,一律引用 SDS 並提醒依安全規範操作」 |
| 語氣與長度 | 「回答簡潔,先給結論,再列步驟」 |
| 多輪對話的設計問題 | 做法 |
|---|---|
| 「記憶」從哪來 | 每次請求都重送相關歷史;模型本身不記得前一次呼叫 |
| 歷史越來越長 | 保留最近幾輪 + 舊對話摘要;換主題時重置 |
| 前面的錯誤答案污染後續 | 發現錯誤時重開對話,或從歷史中移除 |
| 規則被使用者「說服」而失效 | 規則放 system prompt;高風險規則在程式端強制執行,不只靠 prompt |
「我不知道」是功能,不是失敗。沒有明確定義何時該拒答、何時該轉人工,模型會傾向給一個看似合理的答案。
可重用的 Prompt 設定
當同一種設定反覆使用,就把它從單次 prompt 移到更持久的位置。
| 層級 | 放什麼 | 例子 |
|---|---|---|
| 單次 prompt | 這次任務的指令與資料 | 「把這段方法改寫成 150 字的摘要」 |
| Prompt 模板(程式中) | 固定結構 + 變數欄位 | 文獻篩選模板,迴圈填入每篇摘要 |
| 自訂指令 (custom instructions) | 個人的長期偏好 | 「回答用繁體中文;比較時用表格;程式碼用 Python」 |
| 自訂助手 (custom GPT、Claude Projects 等) | 指令 + 參考文件 + 工具,給團隊重複使用 | 載入實驗室 SOP 的問答助手 |
| 進階技巧 | 用途 |
|---|---|
| 模擬 / 角色扮演 | 練習口試、論文答辯:「扮演審查委員提問,我回答後給回饋」;要定義何時切換角色與何時結束 |
| 多角色 prompt | 一個角色執行、另一個角色評分;要寫清楚各角色何時發言 |
| Prompt 版本管理 | 模板放進 git,搭配評估集比較版本(見 LLMOps) |
可重用的設定會同時放大優點與缺點。共用給團隊之前,先在多樣輸入上測試範圍、預設值與衝突的指令。
檢查清單
| 問題 | 沒做到的後果 |
|---|---|
| 任務是否單一且明確? | 每件事都做一半 |
| 是否提供足夠 context,不必猜? | 幻覺 |
| 是否定義「資訊不足」時的輸出? | 編造答案 |
| 輸出格式是否明確且可解析? | 下游程式壞掉 |
| 是否在多樣、困難的輸入上測過? | 上線後才發現失敗模式 |
| 能用程式做的步驟是否交給程式? | 計算、ID 查詢出錯 |