2024年8月6日 星期二

提升 ChatGPT 效能的關鍵

除了 GPT 模型效能之外,我覺得最重要有二:

1. 使用者之 domain knowledge: 知識越強越有效能,因為判斷力越佳(辨別 ChatGPT之回應),也能深入提問/給予指示。這需要時間與學習... 但這屬於專業知識,自己一定要努力!!

2. 提示工程 (prompting engineering):

除了思維鏈(chain of thought)和少樣本學習(few-shot learning)之外,還有一些其他有效的提示工程技術可以提升prompting的效能:

  1. 任務分解(Task decomposition):將複雜任務分解為更小、更容易管理的子任務。
  2. 自我一致性(Self-consistency):生成多個解決方案並選擇最一致的答案。
  3. 思維樹(Tree of thoughts):探索多條思維路徑,選擇最佳路徑。
  4. 零樣本提示(Zero-shot prompting):不提供示例,直接描述任務。[這效能有限]
  5. 反向提示(Reverse prompting):從期望的輸出開始,反向構建提示。
  6. 角色扮演(Role-playing):讓AI扮演特定角色來完成任務。
  7. 思維框架(Thought frameworks):提供結構化的思考過程。
  8. 多步推理(Multi-step reasoning):引導AI通過多個步驟得出結論。
  9. 反例學習(Learning from mistakes):使用錯誤示例來強化正確行為。
  10. 元提示(Meta-prompting):使用AI生成或優化提示。

這些技術可以單獨使用或結合使用,以提高AI輸出的質量和相關性。

這也需要時間與學習... 但這對醫療人員屬於新領域,想善用GPT者一定要努力!!

*** prompting engineering技能的關鍵之一定是 domain knowledge!! 因為prompting engineering的應用一定跟特定領域有關!!

Note: GPT 模型之效能,一定逐年提升,因為太競爭了!!我們可以坐享其成,但上述 domain knowledge & prompting engineering... 仍然關鍵!! 


以下是一項prompting engineering提升效能(正確率)的實證:

Source: Boosting GPT-4V’s Accuracy in Dermoscopic Classification with Few-Shot Learning.
Comment on “Can ChatGPT vision diagnose melanoma? An exploratory diagnostic
accuracy study”
Jinge Wang, PHD, Gangqing Hu, PHD
PII: S0190-9622(24)02572-6
DOI: https://doi.org/10.1016/j.jaad.2024.06.098

另外:使用ChatGPT之困境:如何判斷與提升ChatGPT回應之品質

判斷和提升ChatGPT回應品質的關鍵在於多方面能力的培養:

1.       知識基礎:紮實的專業知識和廣博的通識教育是評估AI回應的基石。跨領域的知識積累能幫助我們更敏銳地識別AI可能出現的錯誤或偏差。這如前述「使用者之 domain knowledge」

2.       批判性思考能力:這包括邏輯推理、辨識謬誤、多角度思考和質疑資訊來源的能力。培養批判性思維有助於我們不盲目接受AI的回答,而是進行深入分析和評估。

3.       閱讀與寫作能力:深度閱讀是積累知識的重要途徑,而寫作則能訓練我們組織思路和清晰表達。這兩項能力是提升知識儲備和批判思考的基礎。

4.       提升寫作能力:寫下重點後,可請 ChatGPT或高手評論,可更提升知識深入,也能提升寫作/表達能力。這也是提升/改善 ChatGPT回應品質關鍵之一:給予明確/完整的指示。

5.       實踐與交流: 學以致用和與高手切磋至關重要。實踐有助於將知識內化,而與他人交流可以expose自身思維盲點、接觸多元觀點,並磨練表達能力、提升批判能力。

6.       善用ChatGPT作為學習工具:ChatGPT在提供和彙整文獻方面具有優勢,可以作為快速提升「基本知識」的起點。然而,我們還需要:

o    驗證ChatGPT提供的資訊

o    學會提出更精確的問題以獲得更佳品值的回答

o    ChatGPT的回答視為思考的起點,而非終點