作者：Vincent Koc
         
         
翻譯：高翊之
           
         
校對：陳超
        
       
      
     
    
    

     

      

       

        

       
      
      

       

        

         

          
本文約3000字，建議閱讀6分鐘
          
運用大語言模型（LLM’s）的參考架構模式和心智模型。
         
        
       
      
     
    

AI模式的需求

在創(chuàng)建新事物的時候，我們都會依賴經過嘗試檢驗的方法、途經和模式。這個說法適用于軟件工程領域，但對于生成式AI和人工智能來說可能并非如此。對于像生成式AI等新興技術，我們缺乏充分記錄的模式來支持我們的解決辦法。

在這里，基于我對大語言模型無數(shù)次生產實現(xiàn)的評估，我將分享一些生成式AI的方法和模式。這些模式是為了幫助緩解和克服生成式AI實現(xiàn)過程中的一些挑戰(zhàn)，比如成本、延遲和“幻覺”。

模式名錄

1. 分層緩存策略帶來的模型微調

2. 專家小組——多路復用的AI代理

3. 多任務下的大語言模型微調

4. 規(guī)則導向與生成模型的融合

5. 利用知識圖譜的大語言模型

6. AI代理群

7. 可組合的模塊化大語言模型

8. 大語言模型的記憶認知構建

9. “紅藍”雙模型的協(xié)作評估

1） 分層緩存策略帶來的模型微調

這里為大語言模型引入緩存策略時，我們是為解決成本、冗余和訓練數(shù)據(jù)上的組合問題。

通過緩存初始結果，系統(tǒng)可以在后續(xù)查詢中更迅速地給予回答，提高效率。當我們有足夠數(shù)據(jù)后，微調層開始發(fā)揮作用，運用早期交互的反饋，優(yōu)化為更專用的模型。

這個專用的模型不僅精簡了流程，而且將AI的專長適應于特定的任務，使其在客戶服務和個性化內容創(chuàng)造等這些精確度和適應性至關重要的環(huán)境中更高效。

對于入門來說，可以使用GPTCache等預構建的工具，或者利用Redis, Apache Cassandra, Memcached等常用緩存數(shù)據(jù)庫自己構建。在添加額外服務的時候，確保要監(jiān)控和測量延時。

2） 專家小組——多路復用的AI代理

想象一個生態(tài)系統(tǒng)，其中有多個專注于特定任務的生成式AI模型（“代理”）。每一個都是其領域內的專家，并行工作來處理一次詢問。這種多路復用的策略帶來了多樣化的響應，緊接著被整合以提供一個全面的答案。

這樣的設置最適合于解決復雜問題，其中問題的不同方面需要不同的專業(yè)知識。它就像是一個專家團隊，各自解決更大問題的其中一個方面。

這個模式用一個更大的模型，如GPT-4，來理解語境。它將其拆分成特定的任務或信息請求，來傳遞給較小的代理。代理可以是較小的語言模型，如Phi-2或TinyLlama。它們被訓練完成特定任務，訪問特定工具。代理也可以是如GPT, Llama等有著個性特征、語境提示詞和函數(shù)調用的通用模型。

3） 多任務下的大語言模型微調

這里我們同時對大語言模型進行多任務而非單任務微調。這種方法促進了跨領域間的知識技能穩(wěn)定遷移，增強了模型的通用性。

這種多任務學習對需要高能力勝任各種任務的平臺尤其有用，比如虛擬助手或AI賦能的研究工具。它可能有助于簡化復雜領域內訓練、測試的工作流。

訓練大語言模型的一些資源和包包括DeepSpeed, 以及Hugging Face上Transformer庫的訓練功能。

4） 規(guī)則導向與生成模型的融合

一些現(xiàn)存的商業(yè)系統(tǒng)和組織應用在一定程度上仍是基于規(guī)則的。通過融合生成特性與基于規(guī)則邏輯的結構化精度，這種模式旨在提出具有創(chuàng)造性且符合規(guī)范的解決方案。

對于產出要嚴格遵循標準或規(guī)定的行業(yè)而言，這是一種強大的策略。它確保AI在理想?yún)?shù)范圍內的同時，仍能具有創(chuàng)造和吸引力。一個很好的例子是，它可以為基于規(guī)則的電話交互式語音應答系統(tǒng)（IVR系統(tǒng)）、或傳統(tǒng)聊天機器人（不基于大語言模型），生成用戶請求的回應和信息流。

5) 利用知識圖譜的大語言模型

將知識圖譜融合到大語言模型給予了它們以事實為導向的“超能力”，使輸出不僅能感知上下文，而且更加符合事實。

這種方法在內容需要無條件真實準確的應用中非常重要，比如說教育內容創(chuàng)作，醫(yī)療建議或是任何錯誤信息會帶來嚴重后果的領域。

知識圖譜和圖本體論（圖的一組概念）將復雜的主題和組織問題拆解成結構化的格式，幫助大語言模型獲得深入的上下文。你也可以利用語言模型生成JSON或RDF格式的圖本體，這里是我為你們創(chuàng)建的示例提示。

可用于知識圖譜的工具包括圖形數(shù)據(jù)庫，如ArangoDB、Amazon Neptune、Azure Cosmos DB和Neo4j。還有更廣泛的數(shù)據(jù)集和服務用以訪問更廣泛知識圖譜的工具，包括Google Enterprise Knowledge Graph API、PyKEEN Datasets和Wikidata。

6） AI代理群

受自然界中蟲群畜群的啟發(fā)，這個模型運用大量的AI代理共同解決問題，每方貢獻獨特的視角。

最終聚合成的輸出結果反映了一種集體智慧的形式，超越了任何單個代理能達到的水平。在需要多樣的創(chuàng)造性解決方案、或是處理復雜數(shù)據(jù)集的時候，這種模式尤為有利。

應用模型的例子可以是從多個“專家”視角來審閱一篇研究論文，或是一次性在多個用例中（從欺詐到報價）評估客戶的互動。我們使用這些代理，并整合輸出。對于大規(guī)模的群，你可以部署如Apache Kafka等信息服務，來處理代理和服務間的消息傳遞。

7） 可組合的模塊化大語言模型

這個設計強調適應性，采用模塊化的AI系統(tǒng)，可以為了最優(yōu)任務表現(xiàn)進行動態(tài)重新配置。它就像有一把瑞士軍刀，其中每一個模件都可以依需選擇性地激活。這使得它在需要為不同顧客互動和產品需求定制方案的企業(yè)中非常高效。

你可以部署各種自主代理框架和架構來開發(fā)每個代理及其工具。示例框架包括CrewAI、Langchain、Microsoft Autogen和SuperAGI。

對于一個銷售的模塊化整體，設置的代理可以分別專注于開發(fā)潛在客戶、處理預訂、生成消息以及更新數(shù)據(jù)庫。如果專業(yè)的AI公司在未來提供了特定的服務，你可以針對給定的一組任務或特定領域的問題，用外部或第三方服務替換某個模塊。

8） 大語言模型的記憶認知構建

這種方法為AI引入了一個類似人類記憶的因素，使模型能夠回憶，并基于之前的交互構建更精細的響應。

它對于持續(xù)的對話或是學習情境很有幫助，因為AI隨著時間深化理解，很像一位專注的私人助理或者適應性的學習平臺。隨著時間推移，這種記憶認知的方法可通過總結、存儲關鍵的事件以及討論發(fā)展成一個矢量數(shù)據(jù)庫。

為了控制總結的計算量，你可以權衡使用如spaCy等更小的NLP庫，或在處理大量數(shù)據(jù)時使用BART語言模型。所用數(shù)據(jù)庫是基于矢量的，并運用了相似性搜索來定位關鍵“事實”，以在提示詞階段檢索短期記憶。如果對一個可行的解決方案感興趣，可以看一個采取了相似模式的開源解決方法MemGPT。

9）“紅藍”雙模型的協(xié)作評估

在“紅藍”雙模型的協(xié)作評估模型中，一個AI生成內容，另一個AI對其進行批判性評估，就像縝密的同行評審過程。這個雙模型的設定非常適用于質量控制，使它在可行度和準確性至關重要的內容生成平臺中應用廣泛，比如新聞聚合或教育材料制作。

這個方法可以用于將復雜任務中的部分人類反饋替換為經過精調的模型，用以模擬人工審查過程，并改進評估復雜語言場景和輸出的結果。

總結

這些生成式AI的設計模式不僅僅是模板，而是未來智能系統(tǒng)發(fā)展的框架。隨著我們的繼續(xù)探索與創(chuàng)新，很明顯，我們選擇的架構定義了創(chuàng)造出的AI的能力以及本質。

這個清單絕不是最終版。隨著生成式AI模式和用例的擴展，我們還會見證這個領域的發(fā)展。本文的靈感來源于Tomasz Tunguz發(fā)表的AI設計模式。

譯者簡介

高翊之，清華大學本科在讀，喜歡數(shù)據(jù)科學人工智能相關方向，日常熱愛運動與藝術，期待在數(shù)據(jù)派的大家庭里盡一份綿薄之力，共同探索數(shù)據(jù)的廣泛應用~