Jigsaw Datase提高大型語言模型性能的工具

Jigsaw 是微軟推出的一種可以提高大型語言模型性能（如 GPT-3、Codex 等）的新工具。

Jigsaw 部署了理解程序語法和語義的后處理技術，然后利用用戶反饋來提高未來的性能；該工具旨在使用多模式輸入為 Python Pandas API 合成代碼。Pandas 是數據科學中廣泛使用的 API，具有數百個用于 manipulating dataframes 或具有行和列的表的函數。

目標是使部分審查自動化，以提高使用 Codex 等大型語言模型進行代碼合成的開發(fā)人員的生產力。

Jigsaw 獲取英語查詢并使用適當的上下文對其進行預處理，以構建可以饋送到大型語言模型的輸入。該模型被視為一個黑盒子，并且 Jigsaw 已使用 GPT-3 和 Codex 進行了評估。這種設計的優(yōu)勢在于它支持即插即用最新和最好的可用型號。微軟在實驗中發(fā)現，Jigsaw 可以在 30% 的時間內創(chuàng)建正確的輸出。如果代碼失敗，那么修復過程在后處理階段開始。

在后處理過程中，Jigsaw 應用了三種變換來修復代碼。這些轉變中的每一個都是由他們在 GPT-3 和 Codex 中觀察到的故障模式所激發(fā)的。而 GPT-3 和 Codex 失敗的方式都類似，因此 Jigsaw 解決這些失敗模式的后處理對兩者都很有用。

微軟在各種數據集上評估了 Codex 和 Jigsaw (with Codex)，并測量了準確率。Codex 給出了約 30% 的開箱即用的準確性，Jigsaw 則將準確率提高到 60% 以上；通過用戶反饋，準確率可提高到 80% 以上。