除了 GPT 模型效能之外,我覺得最重要有二:
1. 使用者之 domain knowledge: 知識越強越有效能,因為判斷力越佳(辨別 ChatGPT之回應),也能深入提問/給予指示。這需要時間與學習... 但這屬於專業知識,自己一定要努力!!
2. 提示工程 (prompting engineering):
除了思維鏈(chain of thought)和少樣本學習(few-shot learning)之外,還有一些其他有效的提示工程技術可以提升prompting的效能:
- 任務分解(Task decomposition):將複雜任務分解為更小、更容易管理的子任務。
- 自我一致性(Self-consistency):生成多個解決方案並選擇最一致的答案。
- 思維樹(Tree of thoughts):探索多條思維路徑,選擇最佳路徑。
- 零樣本提示(Zero-shot prompting):不提供示例,直接描述任務。[這效能有限]
- 反向提示(Reverse prompting):從期望的輸出開始,反向構建提示。
- 角色扮演(Role-playing):讓AI扮演特定角色來完成任務。
- 思維框架(Thought frameworks):提供結構化的思考過程。
- 多步推理(Multi-step reasoning):引導AI通過多個步驟得出結論。
- 反例學習(Learning from mistakes):使用錯誤示例來強化正確行為。
- 元提示(Meta-prompting):使用AI生成或優化提示。
這些技術可以單獨使用或結合使用,以提高AI輸出的質量和相關性。
這也需要時間與學習... 但這對醫療人員屬於新領域,想善用GPT者一定要努力!!
*** prompting engineering技能的關鍵之一定是 domain knowledge!! 因為prompting engineering的應用一定跟特定領域有關!!
Note: GPT 模型之效能,一定逐年提升,因為太競爭了!!我們可以坐享其成,但上述 domain knowledge & prompting engineering... 仍然關鍵!!
以下是一項prompting engineering提升效能(正確率)的實證:
另外:使用ChatGPT之困境:如何判斷與提升ChatGPT回應之品質
判斷和提升ChatGPT回應品質的關鍵在於多方面能力的培養:
1. 知識基礎:紮實的專業知識和廣博的通識教育是評估AI回應的基石。跨領域的知識積累能幫助我們更敏銳地識別AI可能出現的錯誤或偏差。這如前述「使用者之 domain knowledge」
2.
批判性思考能力:這包括邏輯推理、辨識謬誤、多角度思考和質疑資訊來源的能力。培養批判性思維有助於我們不盲目接受AI的回答,而是進行深入分析和評估。
3.
閱讀與寫作能力:深度閱讀是積累知識的重要途徑,而寫作則能訓練我們組織思路和清晰表達。這兩項能力是提升知識儲備和批判思考的基礎。
4.
提升寫作能力:寫下重點後,可請 ChatGPT或高手評論,可更提升知識深入,也能提升寫作/表達能力。這也是提升/改善 ChatGPT回應品質關鍵之一:給予明確/完整的指示。
5.
實踐與交流: 學以致用和與高手切磋至關重要。實踐有助於將知識內化,而與他人交流可以expose自身思維盲點、接觸多元觀點,並磨練表達能力、提升批判能力。
6.
善用ChatGPT作為學習工具:ChatGPT在提供和彙整文獻方面具有優勢,可以作為快速提升「基本知識」的起點。然而,我們還需要:
o 驗證ChatGPT提供的資訊
o 學會提出更精確的問題以獲得更佳品值的回答
o 將ChatGPT的回答視為思考的起點,而非終點