Skip to content

Data Science › LLM › 提示工程

提示工程 (Prompt Engineering) ​

Prompt 是任務規格書:說清楚要做什麼、依據什麼、輸出成什麼樣子。目標不是找出神奇措辭,而是讓任務明確到模型不必猜,且輸出容易檢查。在程式中呼叫時的 message 結構見 API 模式。

Prompt 的組成 ​

元素作用例子
指令 (instruction)要做的事,一個 prompt 最好只有一個主任務「從摘要中擷取所有基因與疾病的關聯」
角色 (role / persona)改變判斷標準與語氣,不是裝飾「你是審查 systematic review 納入條件的研究助理」
脈絡 (context)背景、原始資料、讀者是誰摘要全文、納入 / 排除條件
限制 (constraints)縮小回答空間「只根據提供的文字;沒有就回答 null」
輸出格式 (output format)讓結果可解析、可比較JSON schema、表格欄位、字數上限
範例 (examples)示範什麼叫好答案1–3 組輸入 → 輸出
text
<role>你是協助文獻篩選的研究助理。</role>

<task>判斷下面的摘要是否符合納入條件,並說明理由。</task>

<criteria>
- 納入:人類研究、RNA-seq 或 scRNA-seq、有對照組
- 排除:只有細胞株、綜述文章、會議摘要
</criteria>

<abstract>
{abstract_text}
</abstract>

<output_format>
JSON:{"include": true/false, "reason": "<一句話,引用摘要中的關鍵字>", "uncertain": true/false}
資訊不足以判斷時,uncertain 設為 true,不要猜。
</output_format>

用分隔符號(XML tag、"""、Markdown 標題)把指令和資料分開:可避免模型把摘要裡的句子當成指令,也讓模板容易填值與維護。

常見失敗與修正 ​

症狀原因修正
回答空泛任務不夠具體說明讀者、用途、要多深
自行補上不存在的事實缺 context,又沒說可以回答「不知道」提供來源,並明確定義「資訊不足」時的輸出
格式時好時壞只用文字描述格式給 schema + 範例;在 API 層用 structured output
一個 prompt 做很多事,每件都做不好任務過載拆成多步驟(見下方 prompt chaining)
答案跟著使用者的暗示走prompt 透露偏好(「這個基因應該有關吧?」)用中性問法;要求列出正反證據
只在示範例子上有效對一個例子過度調整用 評估集 測多樣輸入

範例數量:zero / one / few-shot ​

做法適合注意
Zero-shot常見任務,指令就能說清楚先從這裡開始
One-shot用一個例子定義格式或語氣模型容易照抄例子內容
Few-shot(2–5 個)分類邊界模糊、格式複雜例子要涵蓋不同類別與困難案例;順序與比例會影響結果;佔 token

讓模型分步思考 ​

技巧做法適用
分步驟指令「先列出摘要中的所有基因,再逐一判斷是否與疾病有關」擷取、多條件判斷
Chain-of-thought要求先寫推理再給答案;或給有推理過程的範例計算、邏輯、規劃
先擷取證據再回答「先引用相關原文句子,再根據引用回答」文件問答;降低幻覺、方便查核
自我檢查產生答案後,再要求依清單檢查並修正程式碼、長文件

推理模型 (reasoning models) 本身就會先推理,對它們只要把目標和限制講清楚,不必再寫「一步一步想」。

Prompt Chaining ​

一個大 prompt 拆成多個小步驟,每步輸出成為下一步輸入。

text
擷取(摘要 → 實體 JSON)→ 標準化(實體 → HGNC / MONDO ID)→ 驗證(檢查 ID 存在)→ 彙整(產生表格)
     LLM                      LLM + 資料庫查詢              程式                   程式 / LLM
好處說明
容易除錯知道是哪一步出錯
可插入確定性步驟能用程式做的(查資料庫、計算、驗證格式)就不要交給 LLM
每步可換模型簡單步驟用小模型省成本

流程固定時用 chaining;下一步要依中間結果動態決定時,才考慮 agent。

System Prompt 與多輪對話 ​

聊天型應用中,system prompt 是最穩定的一層,定義角色、範圍、語氣與例外處理。

System prompt 該寫例子
角色與服務範圍「你協助實驗室成員查詢內部 SOP 與儀器使用規範」
範圍外的處理「與實驗室作業無關的問題,簡短說明無法協助」
資訊不足的處理「SOP 中找不到答案時直接說找不到,並建議詢問實驗室管理員;不要推測」
安全規則「涉及危險化學品處置時,一律引用 SDS 並提醒依安全規範操作」
語氣與長度「回答簡潔,先給結論,再列步驟」
多輪對話的設計問題做法
「記憶」從哪來每次請求都重送相關歷史;模型本身不記得前一次呼叫
歷史越來越長保留最近幾輪 + 舊對話摘要;換主題時重置
前面的錯誤答案污染後續發現錯誤時重開對話,或從歷史中移除
規則被使用者「說服」而失效規則放 system prompt;高風險規則在程式端強制執行,不只靠 prompt

「我不知道」是功能,不是失敗。沒有明確定義何時該拒答、何時該轉人工,模型會傾向給一個看似合理的答案。

可重用的 Prompt 設定 ​

當同一種設定反覆使用,就把它從單次 prompt 移到更持久的位置。

層級放什麼例子
單次 prompt這次任務的指令與資料「把這段方法改寫成 150 字的摘要」
Prompt 模板(程式中)固定結構 + 變數欄位文獻篩選模板,迴圈填入每篇摘要
自訂指令 (custom instructions)個人的長期偏好「回答用繁體中文;比較時用表格;程式碼用 Python」
自訂助手 (custom GPT、Claude Projects 等)指令 + 參考文件 + 工具,給團隊重複使用載入實驗室 SOP 的問答助手
進階技巧用途
模擬 / 角色扮演練習口試、論文答辯:「扮演審查委員提問,我回答後給回饋」;要定義何時切換角色與何時結束
多角色 prompt一個角色執行、另一個角色評分;要寫清楚各角色何時發言
Prompt 版本管理模板放進 git,搭配評估集比較版本(見 LLMOps)

可重用的設定會同時放大優點與缺點。共用給團隊之前,先在多樣輸入上測試範圍、預設值與衝突的指令。

檢查清單 ​

問題沒做到的後果
任務是否單一且明確?每件事都做一半
是否提供足夠 context,不必猜?幻覺
是否定義「資訊不足」時的輸出?編造答案
輸出格式是否明確且可解析?下游程式壞掉
是否在多樣、困難的輸入上測過?上線後才發現失敗模式
能用程式做的步驟是否交給程式?計算、ID 查詢出錯