GPT PROMPT 最佳實(shí)踐(中):GPT復(fù)雜任務(wù)方案和Prompt高級(jí)策略

Chain of Thought

我們?cè)趯?shí)際學(xué)習(xí)過程中，老師或家長都會(huì)鼓勵(lì)我們“慢慢來，一步步好好 想想怎么做出來”，從而提升我們的思維能力。 對(duì)于大模型也一樣，具備 逐步思考能力。 我們要想讓GPT更好的推理能力，需要借助鏈?zhǔn)剿伎己吐?/span> 思考。 鏈?zhǔn)剿伎季褪菍?fù)雜任務(wù)分解為一系列簡單的任務(wù)，讓GPT把推理 過程拆分成若干步驟，一步步輸出關(guān)鍵環(huán)節(jié)的中間狀態(tài), 并最終完成目 標(biāo)。

      
        Bad：(1362+5145)*145-(1517*42+24)=?
      
      
        Good：請(qǐng)你幫我計(jì)算一下(1362+5145)*145-(1517*42+24)=?，每一步運(yùn)算過程都要展示出來，并確保計(jì)算的正確性。
      
    

實(shí)際上，一個(gè)常規(guī)的問題，加上“l(fā)et’s do it step by step” 之類的詞語, gpt 輸出質(zhì)量就會(huì)有 明顯的提升，尤其是在邏輯推理與數(shù)學(xué)計(jì)算任務(wù)上。 分步驟請(qǐng)求的好處就是每一步更好控制，并且某些結(jié)果可以緩存，質(zhì)量相 對(duì)更高，壞處是可能Tokens消耗要多一點(diǎn)，時(shí)間也要長一點(diǎn)。

      
        Bad：宇宙中有外星人嗎？
      
      
        Good：宇宙中有外星人嗎？Let's think step by step。
      
    

下面是一個(gè)鏈?zhǔn)剿伎嫉?Case：一個(gè)分步驟 翻譯的Prompt：

      
        首先給GPT傳入的字幕文本數(shù)組，然后讓GPT在翻譯的時(shí)候分成三步：
      
      
        - 第一步：將數(shù)組的字符串合并成一個(gè)段落，一起翻譯成中文
      
      
        - 第二步：再將翻譯好的段落拆分成數(shù)組，和輸入的數(shù)組一一匹配
      
      
        - 第三步 檢查返回的數(shù)組長度是不是和輸入的數(shù)組長度相等，如果不相等返回第二步重試
      
      
        
          ------
        
      
      
        You are a program responsible for translating subtitles. Your task is to translate the
      
      
        subtitles into 簡體中文, maintaining a colloquial tone and style, avoiding long
      
      
        sentences, and ignoring verbal tics such as 'so', 'you know', etc.
      
      
        The input will be a JSON-formatted string array, which should be translated in
      
      
        accordance with the following steps:
      
      
        Step1: Join the string array to a sentence, then translate it to 簡體中文;
      
      
        Step2: Split the translated sentence to a string array, each item of which should
      
      
        correspond to an item in the original input array.
      
      
        Step3: Verify if the count of items in the output array equals that of the input array. If it
      
      
        doesn't, go back to Step 2 and try again.
      
      
        Respond with a JSON-formatted string array:
      
      
        
          ------
        
      
    

4.5

給 GPT 時(shí)間： 思考

  Give GPTs time to "think"

1、給 GPT 時(shí)間“思考”-讓模型先自行找出解決方案

Instruct  the model to work out its own solution before rushing to a  conclusion

策略： 指示模型在匆忙得出結(jié)論之前制定自己的解決方案 

有時(shí)，當(dāng)我們明確指示模型在得出結(jié)論之前從第一原理進(jìn)行推理時(shí)，我們就 會(huì)得到更好的結(jié)果。 比如，我們讓模型出題并判斷學(xué)生的回答 是否正確。實(shí)際執(zhí)行過程中， 往往GPT會(huì)有慣性回答，即便是學(xué)生回答錯(cuò)誤，GPT也會(huì)認(rèn)為是正確的！所以這個(gè)時(shí)候 我們可以通過提示模型首先生成自己 的的答案，再和學(xué)生的答案進(jìn)行比對(duì)，來讓模型成功注意到這一點(diǎn)。

再比如，一個(gè)AI學(xué)習(xí)考查的prompt，我們希望既能準(zhǔn)確判斷學(xué)生的答案對(duì)錯(cuò)，在學(xué)生出錯(cuò)時(shí)要求 給出合理的提示同時(shí)又不能向?qū)W生透露答案。 將要求拆解一下：

這時(shí)候就需要將推理過程拆分成若干步驟，這樣可以獲得更好的推理能力。按照這個(gè)思 路，我們可以將整個(gè)Prompt分成幾步：

步驟1 - GPT不要依賴學(xué)生的答案，自己去解決原始的問題，因?yàn)閷W(xué)生的答案可能是錯(cuò)誤 的。

步驟2 - 將步驟1中GPT生成的答案與學(xué)生的答案進(jìn)行比較，評(píng)估學(xué)生的答案是否正確。

步驟3 - 如果比較兩個(gè)答案后發(fā)現(xiàn)學(xué)生的答案是錯(cuò)誤的，確定你可以給學(xué)生什么提示，但 不直接給出答案。 并且要求將每一步結(jié)果打印出來。

解決了如何判斷結(jié)果和提示的問題后，怎么不透露答案很簡單，就是要求GPT輸出特定 格式，例如JSON，在得到GPT完整的輸出結(jié)果后，對(duì)結(jié)果進(jìn)行解析，不要輸出GPT的 中間推理過程，只是輸出最后對(duì)學(xué)生的提示結(jié)果。

另外，并非要將所有的步驟放在一個(gè)Prompt里面，還有一個(gè)方案就是將單個(gè)請(qǐng)求拆分成 多 個(gè)請(qǐng)求：

請(qǐng)求1：輸入原始問題，要求GPT給出自己的推理和答案，并且這個(gè)結(jié)果還可以緩存起 來；

請(qǐng)求2：輸入原始問題、GPT自己的推理和答案、學(xué)生的答案，給出學(xué)生答案的判斷。

請(qǐng)求3：根據(jù)請(qǐng)求2中返回的結(jié)果，讓GPT以導(dǎo)師的身份給出相應(yīng)的提示，但是不泄露答 案。 最后給學(xué)生返回結(jié)果。 給 GPT 時(shí)間“思考”

2、給 GPT 時(shí)間“思考”-讓模型用內(nèi)心獨(dú)白或查詢進(jìn)行推理

Use inner monologue or a sequence of queries to hide the model's reasoning process

策略：使用內(nèi)心獨(dú)白或一系列查詢來隱藏模型的推理過程

前面的策略表明，模型在回答特定問題之前詳細(xì)推理問題有時(shí)很重要。對(duì)于某些應(yīng)用程序，模型用于得出最終答案的推理過程不適 合與用戶共享。 例如，在AI學(xué)習(xí)考查類prompt里，要求GPT出題但是不能把出題的邏輯和正確答案說出來，就是這樣。

內(nèi)心 獨(dú)白 的想法是指示GPT將對(duì)用戶要隱藏的部分內(nèi)容。 或者，這可以通過一系列查詢 來實(shí)現(xiàn)，其中除最后一個(gè)查詢外的所有查詢都對(duì)最終用戶隱藏其輸出。 如prompt這么寫： 如果學(xué)生回答錯(cuò)誤，請(qǐng)確定您可以在不泄 露答案的情況下給學(xué)生提示。

總之：首先，我們可以要求模型自己解決問題。這提供了額外的優(yōu)勢(shì)，即模型的解決方案不會(huì)因?qū)W生嘗試的解決方案而產(chǎn)生偏差。

接下來，我們可以讓模型使用所有可用信息來評(píng)估學(xué)生答案的正確性。最后，我們可以讓模型構(gòu)建一個(gè)導(dǎo)師的角色，以一種不 會(huì)透露答案的方式向?qū)W生提供提示。 假設(shè)我們正在使用一個(gè)模型來列出與特定問題相關(guān)的來源摘錄。 列出每個(gè)摘錄后，模型需要確定是應(yīng)該開始編寫另一個(gè)摘 錄還是應(yīng)該停止。 如果源文檔很大，則模型通常會(huì)過早停止并且無法列出所有相關(guān)摘錄。 在這種情況下，通常可以通過使 用后續(xù)查詢提示模型來查找它在以前的傳遞中遺漏的任何摘錄，從而獲得更好的性能。

Ask the model if it missed anything on previous passes

策略： 詢問模型在之前 的傳遞中是否遺漏了任何內(nèi)容

對(duì)我們的啟示是最后結(jié)束 prompt可以讓模型在輸出用戶答對(duì)題數(shù)時(shí)，先自己排查一下是否有遺漏，再給出總結(jié)；

4、給 GPT 時(shí)間“思考” -后退一推理步prompt

Step-Back Prompting

這個(gè)是谷歌提出一種稱為“Step-Back Prompting”的Prompt技術(shù)，讓LLMs自己抽象問題，得到更高 維度的概念和原理，再用這些知 識(shí)推理并解決問題。 后退提問是一種思考策略，意在從更宏觀或更基礎(chǔ)的角度去理解和分析一個(gè)特定的問題或情境。 這種策 略要求我們?cè)诿鎸?duì)一個(gè)具體問題時(shí)，先“后退” 一步，從一個(gè)更廣泛或更根本的角度去提問和思考。 這樣做的目的是幫助我們更 深入地理解問題的背景、原因或相關(guān)的基礎(chǔ)知識(shí)，從而更好地回答原始問題。

基于這個(gè)論文思路的中文Prompt如下：

      
        
          ##你是世界知識(shí)的專家，擅長用后退提問策略，一步步仔細(xì)思考并回答問題。
        
      
      
        后退提問是一種思考策略，意在從更宏觀或更基礎(chǔ)的角度去理解和分析一個(gè)特定的問題或情境。你在面對(duì)一個(gè)具體問題時(shí)，先“后退”一步，從一個(gè)更廣泛或更根本的角度去提問和思考。來幫助你更深入地理解問題的背景、原因或相關(guān)的基礎(chǔ)知識(shí)，從而更好地回答原始問題。
      
      
        
          ##策略
        
      
      
        - 核心概念識(shí)別：首先確定問題的核心概念。例如，如果問題涉及到物理學(xué)中的力，那么可能需要后退到基礎(chǔ)的力的定義和原理。
      
      
        - 問題的范圍：嘗試識(shí)別問題的范圍和上下文。這有助于確定后退的深度。有些問題可能只需要稍微后退一步，而其他問題可能需要深入到基礎(chǔ)原理。
      
      
        - 歷史和背景：對(duì)于一些問題，了解其歷史背景和發(fā)展可能會(huì)有助于提出恰當(dāng)?shù)暮笸藛栴}。
      
      
        - 原理和假設(shè)：明確當(dāng)前問題的基礎(chǔ)原理和假設(shè)。這可以幫助確定應(yīng)該從哪些方面后退。
      
      
        
          ##執(zhí)行步驟
        
      
      
        1.用中文和用戶打招呼，要求用戶輸入一個(gè)問題，每當(dāng)用戶輸入一個(gè)問題，你要根據(jù)以下流程回答問題.
      
      
        2.給出至少3個(gè)符合<策略>的可選<后退提問>并分別回答。
      
      
        3.將上述回答作為論據(jù)，有邏輯，條理的，使用可視化輔助對(duì)用戶的問題進(jìn)行最終作答。通過向 GPT 提供其他工具的輸出來彌補(bǔ)它們的弱點(diǎn)。
      
      
        例如：時(shí)效性語聊問題，使用web- search；文本檢索系統(tǒng)可以告訴 GPT 相關(guān)文檔。代碼執(zhí)行引擎可以幫助 GPT 進(jìn)行數(shù)學(xué)運(yùn)算和運(yùn)行代碼。
      
    

這些高級(jí)策略可以看出來，大模型非常具有人的特性，你如果能夠按照人的思維方式去很好調(diào) 教他，效果會(huì)越來越好。

4.6

使用外部工具： 檢索 、變量、API、知識(shí)庫等

1、使用外部工具-嵌入的搜索實(shí)現(xiàn)高效的知識(shí)檢索

Use embeddings-based search to implement efficient knowledge retrieval

通過向 GPT 提供其他工具的輸出來彌補(bǔ)它們的弱點(diǎn)。 例如:時(shí)效性語聊問題，使用 web- search ;文本檢索系統(tǒng)可以告訴 GPT 相關(guān)文檔。 代碼執(zhí)行引擎可以幫助 GPT 進(jìn)行 數(shù)學(xué)運(yùn)算和運(yùn)行代碼。

如果模型作為其輸入的一部分提供，則可以利用外部信息源。 這可以幫助模型生成更明智和最新的響應(yīng)。 例如，如果用戶 詢問有關(guān)特定電影的問題，則在模型的輸入中添加有關(guān)電影的高質(zhì)量信息（例如演員、導(dǎo)演等）可能很有用。 嵌入可用于 實(shí)現(xiàn)高效的知識(shí)檢索，以便可以在運(yùn)行時(shí)將相關(guān)信息動(dòng)態(tài)添加到模型輸入中。

文本嵌入是可以測量文本字符串之間相關(guān)性的向量。相似或相關(guān)的字符串將比不相關(guān)的字符串更緊密地結(jié)合在一起。這一 事實(shí)，加上快速矢量搜索算法的存在，意味著嵌入可用于實(shí)現(xiàn)有效的知識(shí)檢索。 特別是，文本語料庫可以拆分為塊，并且 每個(gè)塊都可以嵌入和存儲(chǔ)。 然后可以嵌入給定的查詢并執(zhí)行矢量搜索，以從語料庫中查找與查詢最相關(guān)的嵌入文本塊（即 在嵌入空間中最接近）。

2、使用外部工具-使用代碼來執(zhí)行計(jì)算或調(diào)用外部 API

Use code execution to perform more accurate calculations or call external APIs

不能依靠 GPT 自行準(zhǔn)確地執(zhí)行算術(shù)或長計(jì)算。 如果需要，可以指示模型編寫和運(yùn)行代碼，而不是進(jìn)行自己的計(jì)算。 特別 是，可以指示模型將要運(yùn)行的代碼放入指定的格式。 生成輸出后，可以提取并運(yùn)行代碼。

最后，如有必要，代碼執(zhí)行引擎 （即 Python 解釋器）的輸出可以作為下一個(gè)查詢的模型輸入提供。

聊天完成 API 允許在請(qǐng)求中傳遞函數(shù)說明列表。這使模型能夠根據(jù)提供的架構(gòu)生成函數(shù)參數(shù)。生成的函數(shù)參數(shù)由 API 以 J SON 格式返回，可用于執(zhí)行函數(shù)調(diào)用。 然后，可以在以下請(qǐng)求中將函數(shù)調(diào)用提供的輸出反饋到模型中以關(guān)閉循環(huán)。 這是 使用 GPT 模型調(diào)用外部函數(shù)的推薦方法。

聊天完成 API 允許在請(qǐng)求中傳遞函數(shù)說明列表。

這使模型能夠根據(jù)提供的架構(gòu)生成函數(shù)參數(shù)。生成的函數(shù)參數(shù)由 API 以 JSON 格式返回，可用于執(zhí)行函數(shù)調(diào)用。然后，可以在 以下請(qǐng)求中將函數(shù)調(diào)用提供的輸出反饋到模型中以關(guān)閉循環(huán)。 這是使用 GPT 模型調(diào)用外部函數(shù)的推薦方法。

case：可以 使用變量 Using variables獲取到一些用戶的屬性。

      
        你的名字叫{ai_name}，][你是{ai_role}，][你的性別是{ai_gender}，][{ai_description}。]
      
      
        [我是一名{user_grade}的學(xué)生，][我的名字叫{user_name}，][我的性別是{user_gender}。]
      
    

除了使用檢索、變量、API， 還可以直接使用prompt接知識(shí)庫或者通過函數(shù)觸發(fā)知識(shí)庫等。

【后臺(tái)回復(fù)「prompt」獲取PPT文件】

關(guān)于 prompt復(fù)雜任務(wù)的一些方法和策略， 有什么想聊的也歡迎留言討論～

...................END...................

hello，我是阿外，10 年+PM&Designer，AGI領(lǐng)域關(guān)注者和研究者。 歡迎關(guān)注「波悟館」（bo_club），也可以加我微信，申請(qǐng)加入讀者群，和更多小伙伴一起學(xué)習(xí)交流，共同成長。

推薦閱讀

GPT PROMPT 最佳實(shí)踐（一）

BingChat的產(chǎn)品啟示

Stable Diffusion安裝教程

免費(fèi)使用GPT-4

如果你覺得文章對(duì)你有幫助，請(qǐng)一定要點(diǎn)下面??的「分享」、「贊」和「在看」哦～