提升 ChatGPT 效能的關鍵

除了 GPT 模型效能之外，我覺得最重要有二：

1. 使用者之 domain knowledge: 知識越強越有效能，因為判斷力越佳（辨別 ChatGPT之回應），也能深入提問/給予指示。這需要時間與學習... 但這屬於專業知識，自己一定要努力！！

2. 提示工程 (prompting engineering)：

除了思維鏈(chain of thought)和少樣本學習(few-shot learning)之外，還有一些其他有效的提示工程技術可以提升prompting的效能：

1. 任務分解(Task decomposition)：將複雜任務分解為更小、更容易管理的子任務。
2. 自我一致性(Self-consistency)：生成多個解決方案並選擇最一致的答案。
3. 思維樹(Tree of thoughts)：探索多條思維路徑，選擇最佳路徑。
4. 零樣本提示(Zero-shot prompting)：不提供示例，直接描述任務。[這效能有限]
5. 反向提示(Reverse prompting)：從期望的輸出開始，反向構建提示。
6. 角色扮演(Role-playing)：讓AI扮演特定角色來完成任務。
7. 思維框架(Thought frameworks)：提供結構化的思考過程。
8. 多步推理(Multi-step reasoning)：引導AI通過多個步驟得出結論。
9. 反例學習(Learning from mistakes)：使用錯誤示例來強化正確行為。
10. 元提示(Meta-prompting)：使用AI生成或優化提示。

這些技術可以單獨使用或結合使用，以提高AI輸出的質量和相關性。

這也需要時間與學習... 但這對醫療人員屬於新領域，想善用GPT者一定要努力！！

*** prompting engineering技能的關鍵之一定是 domain knowledge!! 因為prompting engineering的應用一定跟特定領域有關！！

Note: GPT 模型之效能，一定逐年提升，因為太競爭了！！我們可以坐享其成，但上述 domain knowledge & prompting engineering... 仍然關鍵！！ 

以下是一項prompting engineering提升效能（正確率）的實證：

Source: Boosting GPT-4V’s Accuracy in Dermoscopic Classification with Few-Shot Learning.

Comment on “Can ChatGPT vision diagnose melanoma? An exploratory diagnostic

accuracy study”

Jinge Wang, PHD, Gangqing Hu, PHD

PII: S0190-9622(24)02572-6

DOI: https://doi.org/10.1016/j.jaad.2024.06.098

另外：使用ChatGPT之困境：如何判斷與提升ChatGPT回應之品質

判斷和提升ChatGPT回應品質的關鍵在於多方面能力的培養：

1.       知識基礎：紮實的專業知識和廣博的通識教育是評估AI回應的基石。跨領域的知識積累能幫助我們更敏銳地識別AI可能出現的錯誤或偏差。這如前述「使用者之 domain knowledge」

2.       批判性思考能力：這包括邏輯推理、辨識謬誤、多角度思考和質疑資訊來源的能力。培養批判性思維有助於我們不盲目接受AI的回答，而是進行深入分析和評估。

3.       閱讀與寫作能力：深度閱讀是積累知識的重要途徑，而寫作則能訓練我們組織思路和清晰表達。這兩項能力是提升知識儲備和批判思考的基礎。

4.       提升寫作能力：寫下重點後，可請 ChatGPT或高手評論，可更提升知識深入，也能提升寫作/表達能力。這也是提升/改善 ChatGPT回應品質關鍵之一：給予明確/完整的指示。

5.       實踐與交流： 學以致用和與高手切磋至關重要。實踐有助於將知識內化，而與他人交流可以expose自身思維盲點、接觸多元觀點，並磨練表達能力、提升批判能力。

6.       善用ChatGPT作為學習工具：ChatGPT在提供和彙整文獻方面具有優勢，可以作為快速提升「基本知識」的起點。然而，我們還需要：

o    驗證ChatGPT提供的資訊

o    學會提出更精確的問題以獲得更佳品值的回答

o    將ChatGPT的回答視為思考的起點，而非終點