PaLM 2谷歌下一代大型語言模型

PaLM 2 是谷歌推出的下一代大型語言模型。擅長高級推理任務(wù)，包括代碼和數(shù)學(xué)、分類和問答、翻譯和多語言能力以及自然語言生成。

谷歌聲稱 PaLM 2 是一種最先進(jìn)的語言模型，要優(yōu)于其之前所有的 LLM，包括 PaLM。目前，PaLM 2 已被用于 Med-PaLM 2 和 Sec-PaLM，并為谷歌的生成人工智能功能和工具（如 Bard 和 PaLM API）提供支持。

推理：PaLM 2 可以將復(fù)雜的任務(wù)分解為更簡單的子任務(wù)，并且比以前的 LLM（如 PaLM）更善于理解人類語言的細(xì)微差別。例如，PaLM 2 擅長理解謎語和成語，這需要理解詞語的歧義和比喻意義，而不是字面意義。

多語言翻譯：PaLM 2 在一個包含 100 多種語言的語料庫上進(jìn)行了訓(xùn)練，使得 PaLM 2 擅長多語言任務(wù)，包括比以前的模型更細(xì)微的措辭。

編碼：PaLM 2 還可以理解、生成和調(diào)試代碼，并接受了 20 多種編程語言的預(yù)訓(xùn)練。這意味著它擅長使用 Python 和 JavaScript 等流行的編程語言，但也能夠使用 Prolog、Fortran 和 Verilog 等語言生成專用代碼。將此與其語言功能相結(jié)合可以幫助團(tuán)隊跨語言協(xié)作。

PaLM 2 因其構(gòu)建方式而擅長高級推理、翻譯和代碼生成等任務(wù)。它通過統(tǒng)一大型語言模型中三個不同的研究進(jìn)展，對其前身 PaLM 進(jìn)行了改進(jìn)：

• 使用計算最優(yōu)縮放：計算最優(yōu)縮放的基本思想是按比例縮放模型大小和訓(xùn)練數(shù)據(jù)集大小。這種新技術(shù)使 PaLM 2 比 PaLM 更小，但效率更高，整體性能更好，包括更快的推理、更少的服務(wù)參數(shù)和更低的服務(wù)成本。
• 改進(jìn)的數(shù)據(jù)集混合：以前的 LLM，如 PaLM，使用的預(yù)訓(xùn)練數(shù)據(jù)集主要是英文文本。PaLM 2 通過更多語言和多樣化的預(yù)訓(xùn)練混合改進(jìn)了其語料庫，其中包括數(shù)百種人類和編程語言、數(shù)學(xué)方程式、科學(xué)論文和網(wǎng)頁。
• 更新的模型架構(gòu)和目標(biāo)： PaLM 2 具有改進(jìn)的架構(gòu)，并接受了各種不同任務(wù)的訓(xùn)練，所有這些都有助于 PaLM 2 學(xué)習(xí)語言的不同方面。