李彥宏:10年后全世界有50%的工作會是提示詞工程??

機器有機器的作用，人有人的獨特個性和價值。 正因為如此，一方面，ChatGPT 等人工智能語言模型需要通過不斷與人類的公共知識信息數(shù)據(jù)交互、匯聚，不斷與人類進行對話，才能擁有越來越好的智能表現(xiàn)； 另一方面，作為人工智能機器的用戶，各行各業(yè)的人們只有專注于自己更高級的獨特想像力和創(chuàng)造性思考，并由此給機器以更清晰的愿景指令和更有價值的個性化引示，才能讓 ChatGPT 等人工智能語言模型產(chǎn)品在專門領域中發(fā)揮出最佳作用，成為更善解人意的合作伙伴和人類的助手。

提出好問題比 記憶知識更重要，這是利用好 ChatGPT 的關鍵。

最近閱讀了電子工業(yè)出版社博文視點剛剛出版的新書《與 AI 對話：ChatGTP 提示工程揭秘》，書中第一部分首先從整體上介紹了 ChatGPT、機器學習及大模型革新及其背后的自然語言處理知識的原理和演進思路，第二部分“提示工程”講得很精彩，深得要領，不僅講其道理，更舉其實例。第三部分延伸討論了國產(chǎn)類ChatGPT產(chǎn)品和其缺陷和局限。

在人工智能時代的今天，為了消除愿景與現(xiàn)實之間的鴻溝，以好奇心和想像力去（向人工智能機器）提出問題、提出好問題，越發(fā)顯得格外重要了。其余的“智能體力活兒”交給您的 AI 助手去辦吧。

書中詳細目錄如下：

向上滑動閱覽

第 1 部分 ?基礎知識

1 ?? ChatGPT ：開啟人工智能的新時代 2

1.1 ChatGPT 是什么 2

1.2 ChatGPT 的歷史 4

1.2.1 GPT-1 ：預訓練加微調 4

1.2.2 GPT-2 ：更大更強 5

1.2.3 GPT-3 ：能力涌現(xiàn) 7

1.2.4 ChatGPT ：與 AI 對話 1 0

1.2.5 GPT-4 ：多模態(tài) 12

1.3 ChatGPT 的應用場景 14

1.4 ChatGPT 的局限性 17

2 ?? 從網(wǎng)頁到 API ：手把手教你使用 ChatGPT 20

2.1 使用官方網(wǎng)站與 ChatGPT 進行交互 20

2.2 用 API 的方式訪問 ChatGPT 27

2.3 使用 ChatGPT 的其他方式 30

3 ?? 演進之路：從語言模型到提示工程 37

3.1 什么是語言模型 38

3.2 語言模型的發(fā)展歷程 40

3.2.1 20 世紀 50 年代之前：雛形初現(xiàn) 40

3.2.2 20 世紀的后五十年：由興到衰 41

3.2.3 21 世紀：新時代 42

3.3 Transformer 模型的結構和原理 47

3.3.1 注意力機制 47

3.3.2 自注意力機制 48

3.3.3 位置信息 49

3.3.4 縮放點乘注意力 49

3.3.5 多頭自注意力 50

3.3.6 多層自注意力 51

3.3.7 交叉注意力 51

3.3.8 完整的 Transformer 模型 52

3.4 語言模型的訓練 53

3.4.1 自回歸訓練 54

3.4.2 基于人工反饋的強化學習 57

3.5 提示工程 61

3.5.1 提示工程是什么 61

3.5.2 設計良好提示的常見技巧 63

3.5.3 提示工程的重要性 70

第 2 部分 ?提示工程

4 ?? 人人都能用 AI ：構建提示指令，化解各類難題 74

4.1 難題已攻克： AI 助你跨越語言的障礙 74

4.2 不只是糾錯： AI 讓語言表達更精準 80

4.3 文學創(chuàng)作新思路：人機協(xié)作讓作品更具靈感 85

4.4 新聞報道加速器：從收集素材到成稿只需幾秒 97

4.5 一問即答： AI 讓信息獲取更簡單 103

4.6 專家意見何處尋： AI 扮演領域專家角色為你答疑解惑 108

4.7 決策神器：如何讓 AI 給出明確回答，助你做決定 118

4.8 邏輯驅動的能力提升：數(shù)學和編程是一回事兒 122

5 ?? 從新手到專家：普通人如何成為提示工程師 131

5.1 詞法和句法分析 132

5.1.1 中文分詞 133

5.1.2 命名實體 135

5.1.3 詞性標注 137

5.1.4 依存句法分析 139

5.1.5 總結 144

5.2 信息抽取 145

5.2.1 關鍵詞提取 145

5.2.2 實體關系抽取 150

5.2.3 結構化事件抽取 153

5.2.4 總結 156

5.3 分類與聚類 157

5.3.1 文本分類 15 7

5.3.2 情感分析 160

5.3.3 文本聚類 16 4

5.3.4 總結 172

5.4 理解和問答 172

5.4.1 常識知識問答 172

5.4.2 閱讀理解問答 176

5.4.3 問題理解和意圖識別 18 1

5.4.4 總結 188

5.5 受控文本生成 189

5.5.1 文本摘要 189

5.5.2 文本復述 194

5.5.3 數(shù)據(jù)到文本的生成 199

5.5.4 總結 206

5.6 謠言和不實信息檢測 206

第 3 部分 ?延伸討論

6 ?? 狂歡將至：國產(chǎn)“ ChatGPT ”接踵而來 216

6.1 元語智能 ： ChatYuan 216

6.2 復旦大學 ： MOSS 218

6.3 百度 ： 文心一言 219

6.4 清華大學 ： ChatGLM 221

6.5 其他 223

7 ?? 道阻且長：“ ChatGPT ”們的缺陷與局限 224

7.1 幻覺 ： 一柄雙刃劍 224

7.2 毒性 ： 一個社會問題 231

7.3 記憶 ： 短期的更困難 231

7.4 多模態(tài) ： 到底有什么用 234

參考文獻 242

---

提示工程是什么？

提示工程（Prompt Engineering） 是一種針對預訓練語言模型（如 ChatGPT），通過設計、實驗和優(yōu)化輸入提示來引導模型生成高質量、準確和有針對性的輸出的技術。在自然語言處理領域，隨著深度學習技術的不斷發(fā)展，預訓練語言模型（如 BERT、GPT 等）已經(jīng)取得了顯著的進展，大大提高了多種自然語言處理任務的性能。雖然這些模型具有很高的性能，但 如何有效地引導這些模型來完成特定的任務 仍然是一個具有挑戰(zhàn)性的問題。于是便有了提示工程這一新技術。

設計良好提示的常見技巧

構建恰當?shù)奶崾緦τ诔浞职l(fā)揮預訓練語言模型的潛力及提高實際應用效果至關重要。通過使用合適的提示技巧，可以引導模型更精確地理解任務需求，從而提高模型在特定任務上的性能。探討提示工程的技巧能夠幫助我們更好地與模型互動，提升模型在回答問題、生成文本等方面的準確性。此外，探討提示工程的技巧有助于在處理復雜任務時，更好地利用模型的強大表達能力，提高任務完成的質量和效率。 以下是一些具體的建議和技巧，以幫助各位讀者更好地開展提示工程。

0 1

多樣化的提示方式

不同的任務可能需要不同類型的引導，一個特定的提示方法可能對某些任務非常有效，而對其他任務不那么有效。為了找到最佳的提示方法，可以嘗試 多種不同的提示策略 ，然后評估哪一種策略在特定任務上表現(xiàn)得最好。

例如，假設要讓模型對一組句子進行情感分析，可以嘗試以下多樣化的提示策略。

（1）直接詢問： 直接問模型句子的情感極性：“這句話的情感是積極的還是消極的？”

（2）角色扮演： 讓模型扮演某個角色，例如一個情感分析專家：“作為一名情感分析專家，你認為這句話的情感是積極的還是消極的？”

（3）使用數(shù)值： 要求模型用具體的數(shù)值來表示情感極性：“請用 0（完全消極）到 10（完全積極）之間的一個數(shù)值得分來評估這句話的情感。”

（4）提供選項： 給模型提供一個選項列表，并讓其從中選擇最符合的答案：“下列選項中哪一個最能描述這句話的情感？A.積極 B.中性 C.消極”。

通過嘗試這些多樣化的提示策略，可以找到對于情感分析任務最有效的方法。讀者可以使用類似的方法為其他任務尋找合適的提示策略，從而提高模型在特定任務上的表現(xiàn)。

0 2

明確地描述問題

通過將問題重新表述為更明確、更易于理解的形式，幫助模型更好地理解任務，稱為問題重述。問題重述旨在 確保模型能夠明確把握任務的核心需求 ，并且按照期望的方式生成輸出。在實踐中，問題重述有以下幾個關鍵點。

假設需要模型為一篇文章生成一個摘要。原始問題可能是：“請給這篇文章寫個摘要。”為了更好地引導模型理解任務，可以使用問題重述技巧對問題進行優(yōu)化。

（1）簡化問題： 將問題簡化為：“請總結這篇文章的主要觀點。”

（2）明確任務： 確保問題明確表明了模型所需執(zhí)行的任務：“請閱讀以下文章，并用兩到三句話總結文章的核心觀點。”

（3）提供細節(jié)： 提供更多關于任務的細節(jié)：“請閱讀以下文章，然后用兩到三句話總結文章的核心觀點。請確保摘要簡潔明了，突出文章的主題。”

（4）使用示例： 給出一個示例以幫助模型理解任務背景和期望的輸出形式：“例如，如果文章討論了氣候變化的影響，摘要可以是：‘本文探討了氣候變化對全球生態(tài)系統(tǒng)的影響。作者指出，溫室氣體排放和海平面上升是主要的威脅因素。為了應對這些挑戰(zhàn)，文章呼吁采取全球性的行動。’請根據(jù)這篇文章生成類似的摘要。

問題重述技巧提供了更明確的任務描述、細節(jié)和示例，從而幫助模型更好地理解任務并生成更符合要求的輸出。這對于提高模型在各種任務上表現(xiàn)出的性能至關重要。

0 3

提供任務的背景知識

在某些情況下，模型可能 需要一些額外的背景知識 來更好地解決問題。特別是在一些專業(yè)的領域任務中，在輸入中提供這些背景信息，可以幫助模型更好地理解問題的背景，生成更準確、更有針對性的答案。

例如，假設我們正在詢問模型一個關于特定歷史事件的問題，但它可能不具備該事件的相關知識。這時，可以在問題中提供一些關于該事件的背景信息，以幫助模型更好地理解問題。

不提供背景知識的問題示例：

請描述提示工程的概念和作用。

提供背景知識的問題示例：

提示工程是一種針對預訓練語言模型（如 ChatGPT），通過設計、實驗和優(yōu)化輸入提示（Prompt）來引導模型生成高質量、準確和有針對性的輸出的技術。請描述提示工程的概念及其在自然語言處理中的作用。

在沒有提供背景知識之前，模型并不清楚提示工程是指什么。在不同的領域中，提示工程也許有不同的含義。通過提供背景知識，使模型理解了背景，明確了概念，生成與問題更相關的準確答案。

0 4

逐漸增加提示難度

通過逐漸增加提示難度來引導模型解決問題，這種策略叫作 梯度提示 ，是一種重要的提示工程應用技巧。這種方法可以讓模型在較低的難度級別上建立基本概念，逐漸向更高的難度級別推進，以提高模型的理解和生成能力。梯度提示的實施步驟如下。

（1）確定任務的難度級別： 針對特定任務，將其分解為不同難度級別的子任務。例如，在文本摘要任務中，可以先從簡單的關鍵詞提取開始，逐步過渡到生成完整的摘要。

（2）設計提示： 為每個難度級別的子任務設計相應的提示。簡單級別的提示可以幫助模型理解基本概念，高級別的提示則可以引導模型生成更復雜的輸出。

（3）分階段回答： 按照難度級別的順序，讓模型逐個完成對子任務的回答。在完成一個子任務后，對模型的回答進行反饋，幫助模型增進對任務及相關背景知識的理解，以實現(xiàn)梯度學習。

（4）評估與優(yōu)化： 對于每個子任務，評估模型回答的水平，可以根據(jù)需要調整提示。

（5）整合輸出： 將不同難度級別的子任務輸出整合成完整的任務結果。例如，在文本摘要任務中，可以將關鍵詞提取和完整摘要生成的結果結合，形成最終的摘要。使用梯度提示技巧，可以更有效地引導模型逐步學習解決問題的方法。這種方法有助于提高模型在復雜任務上的性能，同時降低對模型無法回答的復雜問題產(chǎn)生幻覺回答的風險。

0 5

在提示中給出例子

提供示例是提示工程最重要的技巧。 示例可以幫助模型更好地理解任務需求和期望的輸出格式，從而提高模型的生成質量和適用性。

提供示例的方法有以下幾個步驟。

（1）確定任務需求： 先明確任務的目標和要求，以便為模型提供有針對性的示例。

（2）選擇合適的示例： 為模型提供具有代表性的示例，使其能夠捕捉到任務的關鍵特征。示例應當簡潔明了，易于理解，同時要盡可能覆蓋任務的不同方面的要求。

（3）將示例融入輸入： 將示例以自然、連貫的方式融入輸入文本中，讓模型能夠順暢地理解和處理。可以使用列表、問答或對話的形式呈現(xiàn)示例，使其更具可讀性。

（4）驗證模型效果： 通過觀察模型在示例上的表現(xiàn)，驗證示例是否能夠有效地引導模型理解任務需求和輸出格式。如果模型的表現(xiàn)不佳，則可以嘗試調整示例或提示方式。

（5）優(yōu)化示例： 根據(jù)模型的反饋，對示例進行優(yōu)化和調整，以增強其引導效果。可以嘗試提供不同類型的示例，或調整示例的數(shù)量和順序。

接下來給出幾個明確的例子，幫助讀者更好地理解和掌握這一強大的提示工程技巧。

在第一個例子中，假設希望使用預訓練語言模型完成一個英語縮寫詞的解釋任務。可以通過提供如下示例幫助模型更好地理解任務需求和期望的輸出格式。

      
        輸入：“LOL”
      
      
        輸出：“Laughing Out Loud”
      
      
        請?zhí)峁┫铝杏⒄Z縮寫詞的完整解釋：
      
      
        1.?NASA?
      
      
        2. ASAP
      
    

在這個例子中，明確地告訴模型任務是解釋英語縮寫詞，并且給出了一個示例（LOL→ Laughing Out Loud），以幫助模型理解期望的輸出格式。這樣，模型可以更準確地生成符合任務需求的答案。

（篇幅有限，更多明確案例還請參考本書，可以幫助讀者更好地理解和掌握這一強大的提示工程技巧。）

0 6

讓 ChatGPT 扮演特定的角色

角色扮演是一種在提示工程中常用的技巧，通過讓預訓練語言模型扮演特定角色，可以引導它生成與所扮演角色相符的輸出。這種方法有助于 提高輸出的準確性、專業(yè)性和可讀性。 通過設置合適的角色和場景，可以激發(fā)模型的創(chuàng)造力，從而更好地解決問題并完成任務。

例如，假設需要讓 ChatGPT 生成一篇關于健康飲食的文章，從而獲取關于營養(yǎng)素攝取的建議。可以讓 ChatGPT 扮演一位營養(yǎng)師，以問答的形式向模型提問。這樣的提示可能是：

作為一位專業(yè)的營養(yǎng)師，請給我一些建議，如何在日常飲食中保證足夠的營養(yǎng)素攝取？

通過讓模型扮演營養(yǎng)師的角色，可以提高其在這一領域的專業(yè)性和可信度，使輸出更符合實際需求。

07

多次實驗并定量評估

實驗與評估是提示工程在實際應用中不可或缺的關鍵一步，因為它可以幫助我們 定量地了解提示的性能 ，從而更明確其在業(yè)務中的表現(xiàn)能力。在實際應用中，需要針對特定任務設計和測試多種提示，然后通過評估確定采用哪種提示為我們的實際業(yè)務帶來最佳的效果。

在進行實驗與評估時，通常會遵循以下步驟。

（1）選擇任務： 確定要解決的問題或要完成的任務，例如文本分類、情感分析、摘要生成等。

（2）設計提示： 針對所選任務，設計多種可能有效的提示。可以使用問題重述、角色扮演等技巧來生成不同的提示。

（3）實驗設置： 將數(shù)據(jù)集分為訓練集、驗證集和測試集。訓練集用于訓練模型，驗證集用于在實驗過程中調整提示和模型參數(shù)，測試集用于評估最終的模型性能。

（4）實施實驗： 使用不同的提示訓練模型，并記錄每個提示的性能指標。這些性能指標可以包括準確率、精確度、召回率、F1 值等，具體取決于任務類型。

（5）分析結果： 比較不同提示在驗證集上的性能，找出效果最好的提示。可以嘗試結合多種提示策略，以進一步提高模型性能。

（6）最終評估： 使用選定的最佳提示在測試集上評估模型性能。給出一個更公正、更客觀的模型性能指標。通過實驗與評估，可以找到適合特定任務的最佳提示方案，并根據(jù)實驗結果對模型進行調優(yōu)。這種方法有助于提高模型在各種任務上的泛化能力和準確性。

京東618限時5折優(yōu)惠，到手58￥